Într-un interviu recent pe podcastul Sequoia Capital Training Data, CTO Microsoft, Kevin Scott, și-a reiterat credința în valoarea durabilă a legilor de scalare a modelului lingvistic mare (LLM).
Citește și: Aplicații AI care prezintă „etichete de siguranță” care evidențiază riscurile și testele
Scott, care a jucat un rol important în acordul de 13 miliarde de dolari dintre Microsoft și OpenAI, rămâne optimist cu privire la potențialul de progrese continue. El a răspuns la dezbaterea în curs afirmând că ideea de scalare a legilor este încă relevantă pentru domeniul AI.
Cercetarea OpenAI susține beneficiile de scalare
Legile de scalare a LLM propuse de cercetătorii OpenAI în 2020 afirmă că eficiența modelelor lingvistice crește proporțional cu dimensiunea modelului. Scott a discreditat legea randamentelor descrescătoare, spunând că este încă posibil să se obțină o creștere exponențială, dar ar putea fi nevoie de următoarele generații de supercalculatoare pentru a o realiza.
În timp ce unii cercetători pun la îndoială durabilitatea legilor de scalare, OpenAI se bazează în continuare pe ele ca o componentă cheie a planului său de IA. Remarcile lui Scott sunt în conformitate cu abordarea Microsoft față de aceste principii, ceea ce implică faptul că gigantul tehnologic nu are intenția de a opri dezvoltarea unor modele AI mai mari.
Comunitatea AI dezbate viitoarele îmbunătățiri ale modelului
Poziția lui Scott este opusă unora dintre criticii AI care cred că creșterea s-a oprit la GPT-4 și alte modele similare. Unii critici au citat cele mai recente modele, inclusiv Gemini 1. 5 Pro de la Google și Claude Opus de la Anthropic, pentru că nu au prezentat îmbunătățiri semnificative față de modelele anterioare. Criticul AI Gary Marcus a subliniat acest punct de vedere în aprilie, punând la îndoială lipsa unor progrese semnificative de la lansarea GPT-4.
Dar, totuși, Scott este optimist cu privire la posibilitatea unor noi descoperiri. El a acceptat, de asemenea, faptul că există puține puncte de date în AI, dar a subliniat că acest lucru nu va mai fi o problemă în viitor.
„Urmează următorul eșantion și nu vă pot spune când și nu pot prezice exact cât de bun va fi, dar aproape sigur va fi mai bun la lucrurile care sunt fragile acum.”
Kevin Scott
Finanțarea mare a Microsoft în OpenAI este o dovadă a încrederii sale în dezvoltarea viitoare a LLM. Unele dintre caracteristicile AI includ Microsoft Copilot, ceea ce face evident că compania este dornică să-și îmbunătățească utilizarea AI. Ed Zitron, un critic al inteligenței artificiale, a spus că, într-o anumită măsură, inteligența artificială poate fi blocată pentru că oamenii așteaptă prea mult de la ea.