V nedávném rozhovoru v podcastu Sequoia Capital’s Training Data CTO společnosti Microsoft Kevin Scott zopakoval svou víru v trvalou hodnotu zákonů o škálování velkých jazykových modelů (LLM).
Přečtěte si také: Aplikace AI obsahují „bezpečnostní štítky“ zdůrazňující rizika a testování
Scott, který hrál velkou roli v dohodě mezi Microsoftem a OpenAI v hodnotě 13 miliard dolarů, zůstává optimistou ohledně potenciálu dalšího pokroku. Na probíhající debatu reagoval prohlášením, že myšlenka škálování zákonů je pro oblast AI stále relevantní.
Výzkum OpenAI podporuje výhody škálování
Zákony LLM škálování navržené výzkumníky OpenAI v roce 2020 uvádějí, že účinnost jazykových modelů roste úměrně s velikostí modelu. Scott zdiskreditoval zákon klesajících výnosů a řekl, že je stále možné dosáhnout exponenciálního růstu, ale jeho realizace může trvat až další generace superpočítačů.
Zatímco někteří učenci zpochybňují udržitelnost zákonů o škálování, OpenAI na ně stále spoléhá jako na klíčovou součást svého plánu AI. Scottovy poznámky jsou v souladu s přístupem Microsoftu k těmto principům, což znamená, že technologický gigant nemá v úmyslu zastavit vývoj větších modelů AI.
Komunita umělé inteligence diskutuje o budoucích vylepšeních modelů
Scottův postoj je zcela opačný než někteří kritici AI, kteří si myslí, že růst se zastavil na GPT-4 a dalších podobných modelech. Někteří kritici citovali nejnovější modely, včetně Gemini 1. 5 Pro od Googlu a Claude Opus od Anthropic, za to, že nevykazovaly výrazná vylepšení oproti předchozím modelům. Kritik AI Gary Marcus zdůraznil tento názor v dubnu a zpochybnil nedostatek významného pokroku od vydání GPT-4.
Ale přesto je Scott ohledně možnosti nových objevů optimistický. Přijal také skutečnost, že v AI je málo datových bodů, ale zdůraznil, že v budoucnu to již nebude problém.
"Další vzorek se blíží a nemohu vám říci kdy, a nedokážu přesně předpovědět, jak dobrý bude, ale téměř jistě bude lepší ve věcech, které jsou právě teď křehké."
Kevin Scott
Velké financování OpenAI ze strany Microsoftu je důkazem jeho důvěry v budoucí rozvoj LLM. Některé z funkcí umělé inteligence zahrnují Microsoft Copilot, z čehož je zřejmé, že společnost má zájem o zlepšení používání umělé inteligence. Ed Zitron, kritik umělé inteligence, řekl, že do určité míry může umělá inteligence uvíznout, protože od ní lidé očekávají příliš mnoho.