W niedawnym wywiadzie dla podcastu Training Data firmy Sequoia Capital dyrektor techniczny firmy Microsoft, Kevin Scott, ponownie potwierdził swoje przekonanie o trwałej wartości przepisów dotyczących skalowania dużych modeli językowych (LLM).
Przeczytaj także: Aplikacje AI będą zawierać „etykiety bezpieczeństwa” podkreślające ryzyko i testy
Scott, który odegrał dużą rolę w wartej 13 miliardów dolarów umowie pomiędzy Microsoftem a OpenAI, pozostaje optymistą co do potencjału dalszego rozwoju. Odpowiedział na toczącą się debatę stwierdzeniem, że idea skalowania przepisów jest nadal aktualna w dziedzinie sztucznej inteligencji.
Badania OpenAI wspierają korzyści skalowania
Prawa skalowania LLM zaproponowane przez badaczy OpenAI w 2020 roku stwierdzają, że efektywność modeli językowych wzrasta proporcjonalnie do rozmiaru modelu. Scott zdyskredytował prawo malejących zysków, twierdząc, że osiągnięcie wykładniczego wzrostu jest nadal możliwe, ale osiągnięcie tego może zająć następne generacje superkomputerów.
Chociaż niektórzy uczeni kwestionują trwałość przepisów dotyczących skalowania, OpenAI nadal opiera się na nich jako na kluczowym elemencie swojego planu dotyczącego sztucznej inteligencji. Uwagi Scotta wpisują się w podejście Microsoftu do tych zasad, co sugeruje, że technologiczny gigant nie ma zamiaru wstrzymywać rozwoju większych modeli AI.
Społeczność AI debatuje nad przyszłymi ulepszeniami modeli
Stanowisko Scotta jest całkowicie przeciwne stanowisku niektórych krytyków sztucznej inteligencji, którzy uważają, że wzrost zatrzymał się na GPT-4 i innych podobnych modelach. Niektórzy krytycy cytowali najnowsze modele, w tym Gemini 1.5 Pro firmy Google i Claude Opus firmy Anthropic, za to, że nie wykazały znaczących ulepszeń w stosunku do poprzednich modeli. Krytyk sztucznej inteligencji Gary Marcus podkreślił ten punkt widzenia w kwietniu, kwestionując brak znaczących postępów od czasu wydania GPT-4.
Mimo to Scott optymistycznie ocenia możliwość nowych odkryć. Pogodził się także z faktem, że sztuczna inteligencja ma niewiele punktów danych, ale podkreślił, że w przyszłości nie będzie to już stanowić problemu.
„Następna próbka nadejdzie i nie mogę powiedzieć, kiedy i nie mogę dokładnie przewidzieć, jak dobra będzie, ale prawie na pewno będzie lepsza w przypadku rzeczy, które są obecnie kruche”.
Kevina Scotta
Duże fundusze Microsoftu na OpenAI potwierdzają jego wiarę w przyszły rozwój LLM. Niektóre funkcje sztucznej inteligencji obejmują Microsoft Copilot, co pokazuje, że firmie zależy na ulepszeniu wykorzystania sztucznej inteligencji. Ed Zitron, krytyk sztucznej inteligencji, powiedział, że sztuczna inteligencja może w pewnym stopniu utknąć, ponieważ ludzie oczekują od niej zbyt wiele.