У нещодавньому інтерв’ю в подкасті Sequoia Capital Training Data технічний директор Microsoft Кевін Скотт підтвердив свою віру в незмінну цінність законів масштабування великої мовної моделі (LLM).
Читайте також: Додатки зі штучним інтелектом матимуть «мітки безпеки», що підкреслюють ризики та тестування
Скотт, який відіграв важливу роль в угоді між Microsoft і OpenAI на суму 13 мільярдів доларів, залишається оптимістичним щодо потенціалу подальшого розвитку. Він відповів на триваючу дискусію, заявивши, що ідея законів масштабування все ще актуальна для сфери ШІ.
Дослідження OpenAI підтверджують переваги масштабування
Закони масштабування LLM, запропоновані дослідниками OpenAI у 2020 році, стверджують, що ефективність мовних моделей зростає пропорційно розміру моделі. Скотт дискредитував закон спадної віддачі, сказавши, що все ще можливо досягти експоненціального зростання, але для цього можуть знадобитися наступні покоління суперкомп’ютерів.
Хоча деякі вчені ставлять під сумнів стійкість законів про масштабування, OpenAI все ще покладається на них як на ключовий компонент свого плану ШІ. Зауваження Скотта узгоджуються з підходом Microsoft до цих принципів, який передбачає, що технологічний гігант не має наміру зупиняти розробку більших моделей ШІ.
Спільнота AI обговорює майбутні вдосконалення моделі
Позиція Скотта абсолютно протилежна деяким критикам ШІ, які вважають, що зростання зупинилося на GPT-4 та інших подібних моделях. Деякі критики згадували останні моделі, зокрема Gemini 1. 5 Pro від Google і Claude Opus від Anthropic, за те, що вони не продемонстрували значних покращень порівняно з попередніми моделями. Критик штучного інтелекту Гері Маркус підкреслив цю точку зору в квітні, ставлячи під сумнів відсутність значних досягнень після випуску GPT-4.
Але все ж Скотт оптимістично дивиться на можливість нових відкриттів. Він також погодився з тим, що в штучному інтелекті мало точок даних, але підкреслив, що це більше не буде проблемою в майбутньому.
«Наступний зразок надійде, і я не можу сказати вам, коли, і я не можу точно передбачити, наскільки він буде хорошим, але він майже напевно буде кращим у речах, які зараз крихкі».
Кевін Скотт
Велике фінансування Microsoft OpenAI є свідченням її впевненості в майбутньому розвитку LLM. Деякі функції штучного інтелекту включають Microsoft Copilot, що свідчить про те, що компанія прагне покращити використання штучного інтелекту. Ед Зітрон, критик штучного інтелекту, сказав, що певною мірою штучний інтелект може застрягти, тому що люди очікують від нього занадто багато.
