В недавнем интервью подкасту Sequoia Capital Training Data технический директор Microsoft Кевин Скотт подтвердил свою веру в непреходящую ценность законов масштабирования моделей больших языков (LLM).
Читайте также: Приложения искусственного интеллекта будут иметь «знаки безопасности», подчеркивающие риски и тестирование
Скотт, сыгравший большую роль в сделке на 13 миллиардов долларов между Microsoft и OpenAI, по-прежнему с оптимизмом смотрит на потенциал дальнейшего развития. Он ответил на продолжающиеся дебаты, заявив, что идея законов масштабирования по-прежнему актуальна в области ИИ.
Исследования OpenAI подтверждают преимущества масштабирования
Законы масштабирования LLM, предложенные исследователями OpenAI в 2020 году, гласят, что эффективность языковых моделей увеличивается пропорционально размеру модели. Скотт дискредитировал закон убывающей отдачи, заявив, что экспоненциального роста все еще возможно достичь, но для его реализации, возможно, потребуются следующие поколения суперкомпьютеров.
Хотя некоторые ученые подвергают сомнению устойчивость законов масштабирования, OpenAI по-прежнему полагается на них как на ключевой компонент своего плана ИИ. Замечания Скотта соответствуют подходу Microsoft к этим принципам, который подразумевает, что технологический гигант не намерен останавливать разработку более крупных моделей ИИ.
Сообщество ИИ обсуждает будущие улучшения моделей
Позиция Скотта совершенно противоположна позиции некоторых критиков ИИ, которые считают, что рост остановился на GPT-4 и других подобных моделях. Некоторые критики ссылаются на последние модели, в том числе Gemini 1.5 Pro от Google и Claude Opus от Anthropic, за то, что они не показали значительных улучшений по сравнению с предыдущими моделями. Критик искусственного интеллекта Гэри Маркус подчеркнул эту точку зрения в апреле, поставив под сомнение отсутствие значительных достижений с момента выпуска GPT-4.
Но тем не менее Скотт с оптимизмом смотрит на возможность новых открытий. Он также признал тот факт, что в ИИ мало данных, но подчеркнул, что в будущем это больше не будет проблемой.
«Приближается следующий образец, и я не могу сказать вам, когда, и я не могу точно предсказать, насколько он будет хорош, но он почти наверняка будет лучше в тех вещах, которые сейчас хрупкие».
Кевин Скотт
Крупное финансирование Microsoft OpenAI является свидетельством ее уверенности в будущем развитии LLM. Некоторые из функций искусственного интеллекта включают Microsoft Copilot, что свидетельствует о том, что компания стремится улучшить использование искусственного интеллекта. Эд Зитрон, критик ИИ, сказал, что в некоторой степени ИИ может застрять, потому что люди ожидают от него слишком многого.