Secondo Cointelegraph, lo sviluppatore di intelligenza artificiale OpenAI ha introdotto diversi aggiornamenti ai suoi modelli all'inizio di ottobre, volti a migliorare le capacità conversazionali e il riconoscimento delle immagini. Il 1° ottobre, OpenAI ha annunciato quattro nuovi strumenti progettati per facilitare gli sviluppatori nella creazione dei suoi modelli di intelligenza artificiale.

Un aggiornamento significativo è la Realtime API, che consente agli sviluppatori di creare applicazioni vocali generate dall'intelligenza artificiale utilizzando un singolo prompt. Questo strumento supporta esperienze multimodali a bassa latenza tramite lo streaming di input e output audio, consentendo conversazioni naturali simili alla modalità vocale avanzata di ChatGPT. In precedenza, gli sviluppatori dovevano combinare più modelli per ottenere queste esperienze, con conseguente maggiore latenza per applicazioni in tempo reale come conversazioni speech-to-speech. Con la capacità di streaming della Realtime API, gli sviluppatori possono ora abilitare interazioni immediate e naturali, molto simili agli assistenti vocali. L'API funziona su GPT-4, rilasciato a maggio 2024, che può ragionare su audio, visione e testo in tempo reale.

Un altro aggiornamento include uno strumento di messa a punto per gli sviluppatori, che consente loro di migliorare le risposte AI generate da immagini e input di testo. I fine tuner basati sulle immagini migliorano la capacità dell'AI di comprendere le immagini, migliorando così le capacità di ricerca visiva e rilevamento degli oggetti. Questo processo coinvolge il feedback umano, in cui vengono forniti esempi di risposte buone e cattive all'AI. Inoltre, OpenAI ha introdotto "model distillation" e "prompt caching", che consentono ai modelli più piccoli di imparare da quelli più grandi e ridurre i costi e i tempi di sviluppo riutilizzando il testo già elaborato.

Le capacità avanzate dei modelli di OpenAI sono un importante argomento di vendita, poiché una parte sostanziale dei ricavi dell'azienda deriva da aziende che sviluppano le proprie applicazioni sulla base della tecnologia di OpenAI. Secondo Reuters, OpenAI prevede che i suoi ricavi saliranno a 11,6 miliardi di dollari l'anno prossimo, rispetto ai 3,7 miliardi stimati nel 2024.