In una recente intervista sul podcast Training Data di Sequoia Capital, il CTO di Microsoft Kevin Scott ha ribadito la sua fiducia nel valore duraturo delle leggi di scalabilità del Large Language Model (LLM).
Leggi anche: App AI che presentano "etichette di sicurezza" che evidenziano rischi e test
Scott, che ha avuto un ruolo importante nell’accordo da 13 miliardi di dollari tra Microsoft e OpenAI, rimane ottimista riguardo al potenziale di continui progressi. Ha risposto al dibattito in corso affermando che l’idea di ridimensionare le leggi è ancora rilevante nel campo dell’intelligenza artificiale.
La ricerca OpenAI supporta la scalabilità dei vantaggi
Le leggi di scaling LLM proposte dai ricercatori OpenAI nel 2020 affermano che l'efficienza dei modelli linguistici aumenta in modo proporzionale alla dimensione del modello. Scott ha screditato la legge dei rendimenti decrescenti, affermando che è ancora possibile raggiungere una crescita esponenziale, ma che potrebbero essere necessarie le prossime generazioni di supercomputer per realizzarla.
Mentre alcuni studiosi mettono in dubbio la sostenibilità delle leggi di scalabilità, OpenAI fa ancora affidamento su di esse come componente chiave del suo piano di intelligenza artificiale. Le osservazioni di Scott sono in linea con l’approccio di Microsoft a questi principi, il che implica che il colosso della tecnologia non ha intenzione di fermare lo sviluppo di modelli di intelligenza artificiale più grandi.
La comunità dell'intelligenza artificiale discute i futuri miglioramenti del modello
La posizione di Scott è del tutto opposta a quella di alcuni critici dell’intelligenza artificiale che pensano che la crescita si sia fermata al GPT-4 e ad altri modelli simili. Alcuni critici hanno citato gli ultimi modelli, tra cui Gemini 1.5 Pro di Google e Claude Opus di Anthropic, per non aver mostrato miglioramenti significativi rispetto ai modelli precedenti. Il critico dell'intelligenza artificiale Gary Marcus ha sottolineato questo punto di vista ad aprile, mettendo in dubbio la mancanza di progressi significativi dal rilascio di GPT-4.
Ma Scott è comunque ottimista riguardo alla possibilità di nuove scoperte. Ha anche accettato il fatto che ci siano pochi dati nell’intelligenza artificiale, ma ha sottolineato che questo non sarà più un problema in futuro.
"Il prossimo campione sta arrivando, e non posso dirvi quando, e non posso prevedere esattamente quanto sarà bello, ma quasi certamente sarà migliore per le cose che sono fragili in questo momento."
Kevin Scott
L’ampio finanziamento di Microsoft a OpenAI testimonia la sua fiducia nel futuro progresso dei LLM. Alcune delle funzionalità di intelligenza artificiale includono Microsoft Copilot, il che rende evidente che l'azienda desidera migliorare l'uso dell'intelligenza artificiale. Ed Zitron, un critico dell’intelligenza artificiale, ha affermato che, in una certa misura, l’intelligenza artificiale potrebbe essere bloccata perché le persone si aspettano troppo da essa.