Autore: Lynn Yang, Silicon Release

Una sera della settimana scorsa stavo ascoltando un podcast su Spotify mentre cenavo.​

L'ospite presente era Vinod Khosla, il primo investitore di OpenAI e fondatore di Khosla Ventures, una delle principali società di venture capital tecnologico nella Silicon Valley.

Ovviamente non capita tutti i giorni di avere la possibilità di entrare nella mente del primo investitore di OpenAI.

Quindi ho raccolto i punti fondamentali di Khosla e li ho condivisi con voi. Ecco sette dei punti fondamentali di Khosla sull’intelligenza artificiale:

(uno)

Contesto correlato: l'host ha chiesto a Khosla, in quanto primo investitore in OpenAI, quali sono i principali casi d'uso dell'IA che utilizza nella sua vita quotidiana.

Khosla: Principalmente due, ChatGPT e la guida autonoma di Tesla.

È incredibile quante volte ho parlato di Tesla. Sembra di guidare da soli. Sai, l'altra sera sono atterrato alle 3 del mattino. In quel momento ho pensato: sono troppo stanco, non sarò un guidatore sicuro. Quindi ho semplicemente detto: portami a casa. È stata un'esperienza davvero straordinaria.​

Questi sono gli usi principali dell’IA per me. E utilizzo questi due scopi molte volte al giorno.​

Per quanto riguarda ChatGPT, lo sto utilizzando per progettare il mio giardino primaverile.​

Ho detto a ChatGPT: voglio piante che crescano nella zona 9a (riferendosi alle piante adatte alla coltivazione nella zona 9a nella classificazione delle zone di rusticità delle piante USDA). Voglio l'altezza di ciascuna area perché le sto sovrapponendo.​

Poi ho anche detto: voglio dei fiori che sbocciano in primavera, dei fiori che sbocciano all'inizio dell'estate, dei fiori che sbocciano a fine estate, e dei fiori che sbocciano in autunno.​

Questo è in realtà un lavoro simile al design. Ho chiesto a ChatGPT di aiutarmi a disporre 20 piante e mi ha fornito tutte queste informazioni tra cui: quantità di irrigazione, zona climatica, altezza, aree senza sole, aree con ombra parziale, aree con ombra intensa.​

Quindi, ChatGPT ha fatto qualcosa di straordinario. Queste cose mi avrebbero richiesto 3-4 ore. Quindi sì, i giardini sono tutti progettati da me, non assumo un designer. E posso prometterti questo: il mio giardino sta fiorendo proprio in questo momento e potresti non crederci.​

(due)

Contesto correlato: Il conduttore ha chiesto a Khosla, in qualità di primo investitore in OpenAI, cosa pensa dell'annuncio di Apple della sua strategia AI e della cooperazione con OpenAI e quale impatto avrebbe questa cooperazione sull'ecosistema delle startup AI nei prossimi anni?

Khosla: Penso che Apple debba fare qualcosa riguardo all'intelligenza artificiale perché la reputazione di Siri ha iniziato a deteriorarsi.​

Prima di tutto, l'approccio intelligente di Apple è mantenerlo aperto e consentire agli utenti di accedere a qualsiasi LLM. Ma Apple ha scelto di incorporarlo e integrarlo in iOS, il che è stato sufficiente per sconvolgere Elon Musk, che ha affermato di vietare i dispositivi Apple.​

Quindi penso che la cosa più importante sia che Apple abbia effettivamente dimostrato qualcosa di molto importante: come interagiamo con i computer? ​

Penso che col tempo Siri si evolverà fino a diventare l'inizio di una vera interfaccia per gli esseri umani. Da questo punto di vista, penso che questa sia una grande notizia perché stiamo vedendo l'inizio di tutto questo. Questo è emozionante.​

Dal punto di vista di OpenAI, questa cooperazione ha effettivamente determinato chiaramente la migliore posizione di OpenAI nell’interazione diretta con gli utenti. In effetti, molte persone vogliono questo business.​

D'altra parte, penso che Apple avrebbe dovuto considerare attentamente: dove pensa Apple sarà la migliore intelligenza artificiale tra 1-2 anni?​

Pertanto, in molti modi, la collaborazione di Apple con OpenAI è una verifica di OpenAI e una pietra miliare molto importante nel modo in cui gli esseri umani interagiscono con le macchine.

(tre)

Contesto correlato: Il conduttore ha chiesto a Khosla come il caso Apple illustra quanto si può fare con un modello piccolo. Qual è allora il posizionamento futuro dei modelli di grandi dimensioni? E se tutti vogliono modelli piccoli, il futuro sarà così: potrai parlare con molte persone, alcune con un QI di 50, altre con un QI di 100 e altre con un QI di 10.000. E poi la chiave è: dove vuoi spendere i tuoi soldi, vuoi spendere i tuoi soldi per fare una domanda a qualcuno con un QI di 10.000, o vuoi spenderli per chiedere a qualcuno con un QI di forse 70 chi conosce il contenuto della tua email? In questo caso si tratta dell'equilibrio tra la direzione di lavorazione del prodotto e il costo calcolato per il modello. Pensi che il futuro sarà una competizione così competitiva?

Khosla: I modelli piccoli e quelli grandi sono diversi e non possono sostituirsi a vicenda.​

Inoltre, potrei non essere d’accordo con il futuro dell’ipotesi del QI. In effetti, quello che penso che accadrà è che l’informatica diventerà molto economica in futuro.​

La mia scommessa: tra un anno, i costi informatici saranno da 1/5 a 1/10 di quelli attuali. Quindi il mio consiglio a tutte noi startup è: ignora i costi computazionali, perché qualsiasi ipotesi tu faccia, qualsiasi dollaro speso per il software di ottimizzazione, sarà inutile entro un anno.​

Il motivo è questo: ogni proprietario di un modello di grandi dimensioni cerca di ridurre i costi di elaborazione. E mentre gli ingegneri di OpenAI, Google e le società di cloud computing lavorano per ridurre il costo dei costosi chip AI, l’informatica diventerà presto molto economica.​

Quindi dimenticatelo e affidati alla concorrenza tra i vari grandi modelli sul mercato, come Gemini e OpenAI di Google, per ridurre i costi al punto da non avere più importanza. Infatti, finché scende all’attuale 10% o meno, non ha importanza.​

Inoltre, attualmente, se un modello di grandi dimensioni è migliore di altri modelli di grandi dimensioni, il suo costo di formazione sarà molto più elevato. Questo è il motivo per cui penso che i modelli open source non siano fattibili perché il costo della formazione è troppo alto. Ma una volta che sarai addestrato, vorrai essere utilizzato il più ampiamente possibile, per due motivi:

Innanzitutto, vuoi ottenere il massimo da esso e il modello dal costo più basso ne trarrà il massimo.​

In secondo luogo, ma ancora più importante, è disponibile un’enorme quantità di dati per addestrare il modello di prossima generazione.​

Quindi vuoi massimizzare l'utilizzo per una serie di motivi. Se stai giocando a un gioco a lungo termine, ecco cosa penso: giochi modello AI, per lo più giocati su un periodo di 5 anni, non su un periodo di un anno. Durante questo lasso di tempo i costi diminuiranno.​

Oggi Nvidia ottiene entrate piuttosto buone da tutti, ma ogni modello funzionerà su più tipi di GPU o elaborazione e richiede la maggior parte della generazione di dati. Quindi credo: nei prossimi anni il fatturato non sarà più un indicatore importante per le aziende modello.​

Naturalmente, non vuoi perdere più soldi di quanto puoi permetterti. Ma non vuoi guadagnare molti soldi perché stai cercando di ottenere molto utilizzo da parte degli utenti e stai cercando di ottenere molti dati dall'utilizzo degli utenti e imparare a essere un modello migliore.​

Penso che ci sia molto di più da guadagnare dai modelli in termini di intelligenza, che si tratti di ragionamento, pensiero probabilistico, qualche tipo di corrispondenza di modelli, ecc., c'è molto spazio affinché questi modelli possano migliorare.​

Quindi penso che quasi ogni anno assistiamo a progressi sorprendenti. Alcune aziende funzionano meglio di altre, e questa è la differenza principale tra le aziende: OpenAI è molto brava nell'esecuzione, Google ha una tecnologia eccellente, ma l'esecuzione non è abbastanza chiara.

(Quattro)

Contesto correlato: il conduttore ha chiesto a Khosla se pensi a un orizzonte temporale di cinque anni, in questo momento, alcune persone nel mondo tecnologico credono davvero che tutto il valore dell'intelligenza artificiale troverà la sua strada nelle grandi aziende esistenti. Ma anche allora era mercificato. Quindi quali pensi che saranno le prospettive quinquennali? E quali sono gli argomenti legati all'intelligenza artificiale che ti preoccupano di più e quali non sono coinvolti dalle grandi aziende esistenti?

Khosla: Quindi non credo che se stai costruendo modelli di base e cercando di competere con OpenAI e Google, quella sia una buona posizione in cui trovarsi.​

Poiché i grandi LLM apparterranno ai grandi attori che possono funzionare su cluster molto grandi, sono loro che possono pagare per contenuti/dati proprietari, sia che si tratti di pagare per Reddit, sia che si paghi per una rete che può visitare l'azienda per ogni articolo scientifico.​

Quindi il giocatore più grande ha un vantaggio.​

D'altro canto, abbiamo recentemente annunciato un investimento nella società di logica simbolica Symbolica. Hanno adottato un approccio molto diverso alla modellazione. Non si basa su grandi quantità di dati, né su grandi quantità di calcoli. Si tratta in realtà di un investimento ad alto rischio e ad alta crescita. Se Symbolica avrà successo, sarà drammatico.​

Quindi penso che, anche a livello di modello, ci siano altri modi. Se chiamo il mio amico Josh Tenenbaum del MIT, mi dirà che il contributo più grande è la programmazione probabilistica. Perché il pensiero umano è probabilistico e diverso dal pattern match. Questo è un fattore importante.​

Quindi penso che la tecnologia sottostante sia lungi dall’essere completa. Stiamo sfruttando sempre più i modelli Transformer, ma ce ne sono altri ancora da sviluppare. È solo che tutti hanno paura di investire in qualcosa di diverso da un modello Transformer. E noi no.​

Sai, sono molto concentrato sulle cose esoteriche. In effetti, Symbolica è una teoria chiamata teoria delle categorie di cui la maggior parte dei matematici non ha mai sentito parlare.​

Quindi abbiamo fatto una grande scommessa probabilmente 15, 18 mesi fa. Penso che sia sciocco investire nel cloud computing perché le persone acquistano GPU per costruire il cloud computing, ma perderanno nei confronti di Amazon, della scala e dell'efficienza di Amazon e di Microsoft.​

Entrambe le società stanno realizzando chip personalizzati in modo da non dover pagare le tasse Nvidia per alcuni anni. Sì, e AMD c'è ancora molto da fare nello spazio dei chip. Ma al livello successivo, a livello applicativo, si apre un'enorme opportunità.​

(cinque)

Contesto correlato: nel contenuto seguente, Khosla parla di quelle che vede come le enormi opportunità per le applicazioni IA ed elenca molti esempi.

Khosla: Una delle mie grandi previsioni è che in futuro quasi tutte le competenze saranno gratuite.​

Quindi, secondo questa logica, sia che si parli di medici di base, insegnanti, ingegneri strutturali o oncologi. Esistono centinaia o addirittura migliaia di settori professionali, ognuno dei quali produrrà un'azienda di grande successo.​

Recentemente abbiamo anche investito in un'azienda che costruisce ingegneri strutturali. Ovviamente abbiamo investito in qualcosa come Devin che è stato molto popolare. Tutti conoscono Devin, stanno costruendo un programmatore di intelligenza artificiale, non stanno costruendo strumenti come Copilot per programmatori, stanno costruendo un programmatore. Ma abbiamo anche appena investito in un'azienda che costruisce ingegneri strutturali chiamata Hedral.​

Una cosa è molto strana. Quanti ingegneri strutturali ci sono adesso? Quanto abbiamo speso per i lavori strutturali? Consegni la struttura di un edificio a un ingegnere strutturale e due mesi dopo ottieni qualcosa e un cambiamento. Tuttavia, puoi ottenere 5 varianti da un ingegnere strutturale AI in 5 ore e risparmiare mesi sul tuo progetto di costruzione. Quindi questo è un buon esempio di nicchia. Ma questo potrebbe essere un mercato di nicchia multimiliardario.​

Quindi il mio punto è:…