За даними Cointelegraph, на початку жовтня розробник штучного інтелекту OpenAI представив кілька оновлень своїх моделей, спрямованих на покращення розмовних здібностей і розпізнавання зображень. 1 жовтня OpenAI анонсувала чотири нові інструменти, призначені для полегшення розробки розробниками своїх моделей ШІ.

Одним із важливих оновлень є Realtime API, який дозволяє розробникам створювати голосові додатки, згенеровані штучним інтелектом, за допомогою єдиного запиту. Цей інструмент підтримує мультимодальні роботи з низькою затримкою, передаючи потокове аудіо введення та виведення, уможливлюючи природні розмови, подібні до розширеного голосового режиму ChatGPT. Раніше розробникам доводилося поєднувати кілька моделей, щоб отримати такий досвід, що призводило до вищої затримки для додатків у реальному часі, таких як голосові розмови. Завдяки можливості потокового передавання Realtime API розробники тепер можуть увімкнути негайну природну взаємодію, подібно до голосових помічників. API працює на GPT-4, випущеному в травні 2024 року, який може аналізувати аудіо, зображення та текст у режимі реального часу.

Інше оновлення включає інструмент тонкого налаштування для розробників, що дозволяє їм покращувати відповіді штучного інтелекту, створені на основі введених зображень і тексту. Точні налаштування на основі зображень покращують здатність штучного інтелекту розуміти зображення, покращуючи тим самим можливості візуального пошуку та виявлення об’єктів. Цей процес передбачає зворотній зв’язок людини, де приклади хороших і поганих відповідей надаються штучному інтелекту. Крім того, OpenAI запровадив «дистиляцію моделі» та «швидке кешування», які дозволяють меншим моделям навчатися у більших і зменшують витрати та час на розробку шляхом повторного використання вже обробленого тексту.

Розширені можливості моделей OpenAI є важливою перевагою, оскільки значну частину доходу компанія отримує від компаній, які створюють власні програми на основі технології OpenAI. Згідно з даними Reuters, наступного року дохід OpenAI зросте до 11,6 мільярда доларів проти 3,7 мільярда доларів у 2024 році.