Według Cointelegraph, twórca sztucznej inteligencji OpenAI wprowadził na początku października kilka aktualizacji do swoich modeli, których celem jest poprawa zdolności konwersacyjnych i rozpoznawania obrazów. 1 października OpenAI ogłosiło cztery nowe narzędzia zaprojektowane w celu ułatwienia deweloperom budowania na swoich modelach AI.
Jedną ze znaczących aktualizacji jest Realtime API, które pozwala programistom tworzyć aplikacje głosowe generowane przez AI przy użyciu jednego monitu. To narzędzie obsługuje multimodalne doświadczenia o niskim opóźnieniu poprzez strumieniowe przesyłanie danych wejściowych i wyjściowych audio, umożliwiając naturalne konwersacje podobne do trybu Advanced Voice Mode ChatGPT. Wcześniej programiści musieli łączyć wiele modeli, aby osiągnąć te doświadczenia, co skutkowało większym opóźnieniem w przypadku aplikacji w czasie rzeczywistym, takich jak konwersacje mowy na mowę. Dzięki możliwości przesyłania strumieniowego Realtime API programiści mogą teraz włączyć natychmiastowe, naturalne interakcje, podobnie jak asystenci głosowi. API działa na GPT-4, wydanym w maju 2024 r., który może rozumować w czasie rzeczywistym na podstawie dźwięku, obrazu i tekstu.
Kolejna aktualizacja obejmuje narzędzie do precyzyjnego dostrajania dla deweloperów, pozwalające im na ulepszanie odpowiedzi AI generowanych z obrazów i danych tekstowych. Dostrajacze oparte na obrazach poprawiają zdolność AI do rozumienia obrazów, tym samym zwiększając możliwości wyszukiwania wizualnego i wykrywania obiektów. Proces ten obejmuje ludzkie sprzężenie zwrotne, w którym przykłady dobrych i złych odpowiedzi są dostarczane do AI. Ponadto OpenAI wprowadziło „destylacja modelu” i „szybkie buforowanie”, które umożliwiają mniejszym modelom uczenie się od większych i zmniejszają koszty i czas rozwoju poprzez ponowne wykorzystanie już przetworzonego tekstu.
Zaawansowane możliwości modeli OpenAI są istotnym argumentem sprzedaży, ponieważ znaczna część przychodów firmy pochodzi z firm budujących własne aplikacje na bazie technologii OpenAI. Według Reutersa, OpenAI prognozuje, że przychody wzrosną do 11,6 mld USD w przyszłym roku, w porównaniu z szacowanymi 3,7 mld USD w 2024 r.