OpenAI releases update to enable real-time reasoning across audio, vision, and text

Odaily星球日报 · 2024-10-02T11:43:00.000Z

Odaily Planet Daily News OpenAI made four updates to its models in October, helping its AI models to have better conversations and improve image recognition capabilities. The first major update is the Realtime API, which allows developers to create AI-generated voice applications using a single prompt to achieve natural conversations similar to ChatGPT's advanced voice model. Previously, developers had to "stitch together" multiple models to create these experiences. Audio inputs usually need to be fully uploaded and processed before receiving a response, which means that real-time applications such as voice conversations with each other have high latency. With the streaming capabilities of the Realtime API, developers can now achieve instant and natural interactions, just like voice assistants. The API runs on GPT-4, which was released in May 2024, and can reason across audio, vision, and text in real time. Another update includes fine-tuning tools for developers that enable them to improve AI responses generated from image and text inputs. Image-based fine-tuners enable AI to better understand images, thereby enhancing visual search and object detection capabilities. The process includes feedback from humans, who provide examples of good and bad reactions for training. In addition to the speech and vision updates, OpenAI also launched "model distillation" and "prompt caching," allowing smaller models to learn from larger models and reduce development costs and time by reusing processed text. According to Reuters, OpenAI expects revenue to increase to $11.6 billion next year, up from an estimated $3.7 billion in 2024. (Cointelegraph)

Odaily Planet Daily News OpenAI a apporté quatre mises à jour à son modèle en octobre pour aider son modèle d'IA à mener de meilleures conversations et à améliorer les capacités de reconnaissance d'images. La première mise à jour majeure est l'API Live, qui permet aux développeurs de créer des applications vocales générées par l'IA à l'aide d'une seule invite, permettant ainsi des conversations naturelles similaires au mode vocal avancé de ChatGPT. Auparavant, les développeurs devaient « assembler » plusieurs modèles pour créer ces expériences. L'entrée audio doit souvent être entièrement téléchargée et traitée avant qu'une réponse ne soit reçue, ce qui signifie une latence plus élevée pour les applications en temps réel telles que les conversations vocales. Grâce aux capacités de streaming de l'API Realtime, les développeurs peuvent désormais réaliser des interactions instantanées et naturelles, tout comme un assistant vocal. L'API fonctionne sur GPT-4, publié en mai 2024, et peut effectuer des inférences audio, visuelles et textuelles en temps réel. Une autre mise à jour inclut des outils de réglage fin pour les développeurs, leur permettant d'améliorer les réponses de l'IA générées à partir de la saisie d'images et de texte. Les spinners basés sur l'image permettent à l'intelligence artificielle de mieux comprendre les images, améliorant ainsi les capacités de recherche visuelle et de détection d'objets. Le processus inclut les commentaires des humains, qui fournissent des exemples de bonnes et de mauvaises réponses lors de la formation. En plus des mises à jour de la parole et de la vision, OpenAI introduit également la « distillation de modèles » et la « mise en cache d'indices » qui permettent à des modèles plus petits d'apprendre à partir de modèles plus grands et de réduire les coûts et le temps de développement en réutilisant le texte traité. OpenAI s'attend à ce que ses revenus atteignent 11,6 milliards de dollars l'année prochaine, contre 3,7 milliards de dollars attendus en 2024, a rapporté Reuters. (Cointélégraphe)

Découvrez-en plus sur le créateur

Dernières actualités