Are We Looking At AI All Wrong? Why We May Be Ready for the Next Stage of Computing to Help Us Be...

Hypemoon · 2023-06-14T21:40:01.000Z

As humans, symbolism is the key to understanding the world around us, it’s how we interpret objects, ideas, and the relationships between and among them. We are wholly dependent upon analogy, which is what makes our current computing technology extremely convoluted, complex, and at this point in time, archaic. The growing popularity of artificial intelligence (AI) and the use cases we are already seeing with OpenAI's ChatGPT aren't necessarily the best applications that go beyond mere "hype" and stock inflation. Under traditional computing, we don’t fully understand what these artificial neural networks (ANN) are doing or why they even work as well as they do. The utter lack of transparency also provides a major disadvantage in our understanding of how data is collected and analyzed to spit out the results we so desperately attach ourselves to that we come to label as “progress.” Consider the following example of an ANN that is able to distinguish “circles” and “squares” from one another. One way to achieve that distinction is the obvious – if one output layer indicates a circle, and the other indicates a square. But what if you wanted the ANN to discern that particular shape’s “color” – is it “red” or “blue”? Since “color” is an entirely separate data set, it requires additional output neurons to be able to account for that feature in the final output. In this case, there would need to be four output neurons – one each for the blue circle, blue square, red circle, and red square. Now, what if we wanted a computation that also considered additional information, such as “size” or “position/location”? More features mean more neurons that need to account for each possibility associated in defining that particular feature (or combination of features) with the “circle” and the “square”. In other words, it becomes incredibly complex. Bruno Olshausen, a neuroscientist at the University of California, Berkeley, recently spoke to this need for having a neuron for every possible combination of features. “This can’t be how our brains perceive the natural world, with all its variations. You have to propose…a neuron for all combinations,” he said, further explaining that we in essence, would need “a purple Volkswagen detector” or something so obscure to account for every possible combination of information we are hoping to consider in any given experiment. Enter ‘hyperdimensional computing’. What Is ‘Hyperdimensional Computing’? The heart of hyperdimensional computing is the algorithm’s ability to decipher specific pieces of information from complex images (think of metadata) and then represent that collective information as a single entity, known as a “hyperdimensional vector.” Unlike traditional computing, hyperdimensional computing allows us to solve problems symbolically and in a sense, be able to efficiently and accurately “predict” the outcome of a particular problem based on the data contained in the hyperdimensional vector. What Olshausen argues, among other colleagues, is that information in the brain is represented by the activity of a ton of neurons, making the perception of our fictitious “purple Volkswagen” impossible to be contained by a single neuron’s actions, but instead, through thousands of neurons that, collectively, come to comprise a purple Volkswagen. With the same set of neurons acting differently, we could see an entirely different concept or result, such as a pink Cadillac. The key, according to a recent discussion in WIRED, is that each piece of information, such as the idea of a car or its make, model, color, or all of them combined, is represented as a single entity – a hyperdimensional vector or hypervector. A “vector” is just an ordered array of numbers – 1, 2, 3, etc – where a 3D vector consists of three numbers – the x, y, and z coordinates of an exact point in 3D space. A “hypervector”, on the other hand, could be an array of thousands or hundreds of thousands of numbers that represent a point in that amount of dimensional space. For example, a hypervector that represents an array of 10,000 numbers represents a point in 10,000-dimensional space. This level of abstraction affords us the flexibility and ability to evolve modern computing and harmonize it with emerging technologies, such as artificial intelligence (AI). “This is the thing that I’ve been most excited about, practically in my entire career,” Olshausen said. To him and many others, hyperdimensional computing promises a new world in which computing is efficient and robust and machine-made decisions are entirely transparent. Transforming ‘Metadata’ Into Hyperdimensional Algorithms to Generate Complex Results The underlying algebra tells us why the system chose that particular answer, which cannot be said for traditional neural networks. In developing hybrid systems in which these neural networks can map things out IRL to hypervectors, and then allow for hyperdimensional algebra to take over is the crux of how AI should be used to actually empower us to better understand the world around us. “This is what we should expect of any AI system,” says Olshausen. “We should be able to understand it just like we understand an airplane or a television set.” Going back to the example with “circles” and “squares” and applying it to high-dimension spaces, we need vectors to represent the variables of “shape” and “color” – but also, we need vectors to represent the values that can be assigned to the variables – “CIRCLE”, “SQUARE”, “BLUE”, and “RED.” Most importantly, these vectors must be distinct enough to actually quantify these variables. Now, let’s turn attention to Eric Weiss, a student of Olshausen, who in 2015, demonstrated one aspect of hyperdimensional computing’s unique abilities in how to best represent a complex image as a single hyperdimensional vector that contains information about ALL the objects in the image – colors, positions, sizes. In other words, an extremely advanced representation of an image’s metadata. “I practically fell out of my chair,” Olshausen said. “All of a sudden, the light bulb went on.” At that moment, more teams began focusing their efforts on developing “hyperdimensional algorithms” to replicate the “simple” tasks that deep neural networks had already been engaged in two decades prior – such as classifying images. Creating a ‘Hypervector’ For Each Image For example, if you were to take an annotated data set that consists of images of handwritten digits, this hyperdimensional algorithm would analyze the specific features of each image, creating a “hypervector” for each image. Creating a “Class” of Hypervectors for Each Digit From there, the algorithm would add the hypervectors for all images of “zero” to create a hypervector for the “idea of zero,” and repeats that for all the digits, generating 10 “class” hypervectors – one for each digit. Those stored classes of hypervectors are now measured and analyzed against the hypervector created for a new, unlabeled image for the purpose of the algorithm determining which digit most closely matches the new image (based on the predetermined class of hypervectors for each digit). IBM Research Dives In In March, Abbas Rahimi and two colleagues at IBM Research in Zurich used hyperdimensional computing with neural networks to solve a classic problem in abstract visual reasoning – something that has presented a significant challenge for typical ANNs, and even some humans. The team first created a “dictionary” of hypervectors to represent the objects in each image, where each hypervector in the dictionary represented a specific object and some combination of its attributes. From there, the team trained a neural network to examine an image to generate a bipolar hypervector – where a particular attribute or element can be a +1 or -1. “You guide the neural network to a meaningful conceptual space,” Rahimi said. The value here is that once the network has generated hypervectors for each of the context images, and for each candidate for the blank slot, another algorithm is used to analyze the hypervectors to create “probability distributions” for a number of objects in the image. In other words, algebra is able to be used to predict the most likely candidate image to fill the vacant slot. And the team’s approach yielded a near 88 percent accuracy on one set of problems, where neural network-only solutions were less than 61 percent accurate. We’re Still In Infancy Despite its many advantages, hyperdimensional computing is still very much in its infancy and requires testing against real-world problems and at much bigger scales than what we’ve seen so far – for example, the need to efficiently search over 1 billion items or results and find a specific result. Ultimately, this will come with time, but it does present the questions of where and how we apply and integrate the use of artificial intelligence. Read about how a 40-minute church service, powered by AI, drew in over 300 attendees in Germany as a first-of-its-kind experiment. Click here to view full gallery at Hypemoon

Come esseri umani, il simbolismo è la chiave per comprendere il mondo che ci circonda, è il modo in cui interpretiamo gli oggetti, le idee e le relazioni tra di essi.
Siamo totalmente dipendenti dall'analogia, che è ciò che rende la nostra attuale tecnologia informatica estremamente contorta, complessa e, in questo momento, arcaica.
La crescente popolarità dell'intelligenza artificiale (IA) e i casi d'uso a cui stiamo già assistendo con ChatGPT di OpenAI non rappresentano necessariamente le migliori applicazioni che vadano oltre il semplice "hype" e l'inflazione azionaria.
Con l'informatica tradizionale, non comprendiamo appieno cosa facciano queste reti neurali artificiali (ANN) o perché funzionino così bene. La totale mancanza di trasparenza rappresenta anche un grosso svantaggio nella nostra comprensione di come i dati vengono raccolti e analizzati per sputare fuori i risultati a cui ci attacchiamo così disperatamente che finiamo per etichettare come "progresso".
Consideriamo il seguente esempio di una rete neurale artificiale in grado di distinguere “cerchi” e “quadrati” l’uno dall’altro.
Un modo per ottenere questa distinzione è ovvio: se uno strato di output indica un cerchio e l'altro indica un quadrato.
Ma cosa succederebbe se si volesse che la rete neurale artificiale discernesse il “colore” di quella particolare forma: è “rosso” o “blu”?
Poiché "colore" è un set di dati completamente separato, richiede neuroni di output aggiuntivi per poter tenere conto di quella caratteristica nell'output finale. In questo caso, ci sarebbero bisogno di quattro neuroni di output, uno ciascuno per il cerchio blu, il quadrato blu, il cerchio rosso e il quadrato rosso.
Ora, cosa succederebbe se volessimo un calcolo che tenesse conto anche di informazioni aggiuntive, come “dimensione” o “posizione/luogo”?
Più caratteristiche significano più neuroni che devono tenere conto di ogni possibilità associata alla definizione di quella particolare caratteristica (o combinazione di caratteristiche) con il “cerchio” e il “quadrato”.
In altre parole, diventa incredibilmente complesso.
Bruno Olshausen, neuroscienziato dell'Università della California a Berkeley, ha recentemente parlato di questa necessità di avere un neurone per ogni possibile combinazione di caratteristiche.
"Non può essere così che i nostri cervelli percepiscono il mondo naturale, con tutte le sue varianti. Bisogna proporre... un neurone per tutte le combinazioni", ha detto, spiegando ulteriormente che in sostanza avremmo bisogno di "un rilevatore Volkswagen viola" o qualcosa di così oscuro da tenere conto di ogni possibile combinazione di informazioni che speriamo di considerare in un dato esperimento.
Ecco che entra in gioco il “calcolo iperdimensionale”.
Che cosa è il "calcolo iperdimensionale"?
Il cuore del calcolo iperdimensionale è la capacità dell’algoritmo di decifrare parti specifiche di informazioni da immagini complesse (si pensi ai metadati) e quindi rappresentare tali informazioni collettive come un’unica entità, nota come “vettore iperdimensionale”.
A differenza dell'informatica tradizionale, l'informatica iperdimensionale ci consente di risolvere i problemi in modo simbolico e, in un certo senso, di essere in grado di "prevedere" in modo efficiente e accurato l'esito di un particolare problema in base ai dati contenuti nel vettore iperdimensionale.
Ciò che Olshausen sostiene, insieme ad altri colleghi, è che le informazioni nel cervello sono rappresentate dall'attività di una tonnellata di neuroni, rendendo impossibile che la percezione della nostra fittizia "Volkswagen viola" possa essere contenuta dalle azioni di un singolo neurone, ma piuttosto da migliaia di neuroni che, collettivamente, arrivano a comprendere una Volkswagen viola.
Con lo stesso insieme di neuroni che agiscono in modo diverso, potremmo vedere un concetto o un risultato completamente diverso, come una Cadillac rosa.
La chiave, secondo una recente discussione su WIRED, è che ogni informazione, come l'idea di un'auto o la sua marca, modello, colore o tutti questi elementi combinati, è rappresentata come un'unica entità: un vettore iperdimensionale o ipervettore.
Un "vettore" è semplicemente un array ordinato di numeri (1, 2, 3, ecc.) in cui un vettore 3D è costituito da tre numeri (le coordinate x, y e z di un punto esatto nello spazio 3D).
Un "ipervettore", d'altro canto, potrebbe essere un array di migliaia o centinaia di migliaia di numeri che rappresentano un punto in quella quantità di spazio dimensionale. Ad esempio, un ipervettore che rappresenta un array di 10.000 numeri rappresenta un punto in uno spazio di 10.000 dimensioni.
Questo livello di astrazione ci offre la flessibilità e la capacità di far evolvere l'informatica moderna e di armonizzarla con le tecnologie emergenti, come l'intelligenza artificiale (IA).
"Questa è la cosa che mi ha entusiasmato di più, praticamente in tutta la mia carriera", ha detto Olshausen. Per lui e per molti altri, l'informatica iperdimensionale promette un nuovo mondo in cui l'informatica è efficiente e solida e le decisioni prese dalle macchine sono completamente trasparenti.
Trasformare i “metadati” in algoritmi iperdimensionali per generare risultati complessi
L'algebra di base ci dice perché il sistema ha scelto quella particolare risposta, cosa che non si può dire per le reti neurali tradizionali.
Il punto cruciale di come l'intelligenza artificiale dovrebbe essere utilizzata per consentirci di comprendere meglio il mondo che ci circonda è lo sviluppo di sistemi ibridi in cui queste reti neurali possono mappare le cose nella vita reale in ipervettori e poi consentire all'algebra iperdimensionale di prendere il sopravvento.
"Questo è ciò che dovremmo aspettarci da qualsiasi sistema di intelligenza artificiale", afferma Olshausen. "Dovremmo essere in grado di capirlo proprio come comprendiamo un aereo o un televisore".
Tornando all'esempio con "cerchi" e "quadrati" e applicandolo a spazi ad alta dimensione, abbiamo bisogno di vettori per rappresentare le variabili "forma" e "colore", ma anche per rappresentare i valori che possono essere assegnati alle variabili: "CERCHIO", "QUADRATO", "BLU" e "ROSSO".
Ancora più importante, questi vettori devono essere sufficientemente distinti per quantificare effettivamente queste variabili.
Ora, volgiamo l'attenzione a Eric Weiss, uno studente di Olshausen, che nel 2015 ha dimostrato un aspetto delle capacità uniche del calcolo iperdimensionale su come rappresentare al meglio un'immagine complessa come un singolo vettore iperdimensionale che contiene informazioni su TUTTI gli oggetti nell'immagine: colori, posizioni, dimensioni.
In altre parole, una rappresentazione estremamente avanzata dei metadati di un'immagine.
"Sono praticamente caduto dalla sedia", ha detto Olshausen. "All'improvviso, mi si è accesa la lampadina".
In quel momento, più team iniziarono a concentrare i loro sforzi sullo sviluppo di “algoritmi iperdimensionali” per replicare i compiti “semplici” in cui le reti neurali profonde erano già state impegnate due decenni prima, come la classificazione delle immagini.
Creazione di un "ipervettore" per ogni immagine
Ad esempio, se si prendesse un set di dati annotati composto da immagini di cifre scritte a mano, questo algoritmo iperdimensionale analizzerebbe le caratteristiche specifiche di ciascuna immagine, creando un "ipervettore" per ciascuna immagine.
Creazione di una “classe” di ipervettori per ogni cifra
Da lì, l'algoritmo aggiungerebbe gli ipervettori per tutte le immagini di "zero" per creare un ipervettore per "l'idea di zero" e ripeterebbe ciò per tutte le cifre, generando 10 ipervettori di "classe", uno per ogni cifra.
Tali classi di ipervettori memorizzate vengono ora misurate e analizzate rispetto all'ipervettore creato per una nuova immagine non etichettata allo scopo di determinare, tramite l'algoritmo, quale cifra corrisponde più da vicino alla nuova immagine (in base alla classe predeterminata di ipervettori per ciascuna cifra).
La ricerca IBM si tuffa
A marzo, Abbas Rahimi e due colleghi dell'IBM Research di Zurigo hanno utilizzato il calcolo iperdimensionale con reti neurali per risolvere un classico problema di ragionamento visivo astratto, qualcosa che ha rappresentato una sfida significativa per le reti neurali artificiali tipiche e persino per alcuni esseri umani.
Il team ha prima creato un “dizionario” di ipervettori per rappresentare gli oggetti in ogni immagine, dove ogni ipervettore nel dizionario rappresentava un oggetto specifico e una combinazione dei suoi attributi.
Da lì, il team ha addestrato una rete neurale per esaminare un'immagine per generare un ipervettore bipolare, in cui un particolare attributo o elemento può essere +1 o -1.
"Guidiamo la rete neurale verso uno spazio concettuale significativo", ha affermato Rahimi.
Il valore qui è che una volta che la rete ha generato ipervettori per ciascuna delle immagini di contesto e per ciascun candidato per lo slot vuoto, viene utilizzato un altro algoritmo per analizzare gli ipervettori per creare "distribuzioni di probabilità" per un certo numero di oggetti nell'immagine.
In altre parole, l'algebra può essere utilizzata per prevedere l'immagine candidata più probabile per riempire lo spazio vacante. E l'approccio del team ha prodotto una precisione vicina all'88 percento su un set di problemi, in cui le soluzioni basate solo sulla rete neurale erano accurate meno del 61 percento.
Siamo ancora all'infanzia
Nonostante i suoi numerosi vantaggi, il calcolo iperdimensionale è ancora agli inizi e richiede test su problemi del mondo reale e su scale molto più grandi di quelle che abbiamo visto finora, ad esempio, la necessità di cercare in modo efficiente oltre 1 miliardo di elementi o risultati e trovare un risultato specifico.
Alla fine, questo arriverà col tempo, ma pone la questione di dove e come applichiamo e integriamo l'uso dell'intelligenza artificiale.
Scopri come una funzione religiosa di 40 minuti, supportata dall'intelligenza artificiale, ha attirato oltre 300 partecipanti in Germania, in un esperimento unico nel suo genere.
Clicca qui per vedere la galleria completa su Hypemoon

Scopri di più dal Creator

Ultime notizie