По данным Cointelegraph, разработчик искусственного интеллекта OpenAI представил несколько обновлений своих моделей в начале октября, направленных на улучшение разговорных способностей и распознавания изображений. 1 октября OpenAI анонсировала четыре новых инструмента, призванных облегчить разработчикам создание моделей ИИ.

Одним из важных обновлений является Realtime API, который позволяет разработчикам создавать голосовые приложения, генерируемые ИИ, с помощью одной подсказки. Этот инструмент поддерживает малозадерживаемые, многомодальные впечатления за счет потоковой передачи аудиовходов и выходов, что позволяет вести естественные разговоры, аналогичные расширенному голосовому режиму ChatGPT. Раньше разработчикам приходилось объединять несколько моделей для достижения этих впечатлений, что приводило к более высокой задержке для приложений реального времени, таких как разговоры «речь-речь». Благодаря возможности потоковой передачи Realtime API разработчики теперь могут включать немедленное, естественное взаимодействие, во многом похожее на голосовых помощников. API работает на GPT-4, выпущенном в мае 2024 года, который может рассуждать о звуке, изображении и тексте в реальном времени.

Другое обновление включает в себя инструмент тонкой настройки для разработчиков, позволяющий им улучшать ответы ИИ, генерируемые из изображений и текстовых вводов. Тонкие настройки на основе изображений улучшают способность ИИ понимать изображения, тем самым улучшая возможности визуального поиска и обнаружения объектов. Этот процесс включает в себя обратную связь от человека, где ИИ предоставляются примеры хороших и плохих ответов. Кроме того, OpenAI представила «дистилляцию модели» и «кэширование подсказок», которые позволяют меньшим моделям учиться на более крупных и сокращать затраты и время разработки за счет повторного использования уже обработанного текста.

Расширенные возможности моделей OpenAI являются важным коммерческим аргументом, поскольку существенная часть доходов компании поступает от предприятий, создающих собственные приложения на основе технологии OpenAI. По данным Reuters, OpenAI прогнозирует, что ее доход вырастет до $11,6 млрд в следующем году по сравнению с предполагаемыми $3,7 млрд в 2024 году.