Автор: Марио Габриэле
Составитель: Block unicorn
Священная война искусственного интеллекта
Я предпочел бы прожить свою жизнь так, словно Бог существует, и только после смерти узнать, что Бога нет, чем жить так, как будто Бога нет, и только после смерти узнать, что Бог существует. — Блез Паскаль
Религия — это интересная вещь. Возможно, потому что она совершенно недоказуема в любом направлении, или, возможно, как говорит моя любимая фраза: «Вы не можете противостоять чувствам фактами».
Характерной чертой религиозной веры является то, что в процессе роста веры они ускоряются с такой невероятной скоростью, что почти невозможно усомниться в существовании Бога. Когда люди вокруг вас все больше в это верят, как вы можете сомневаться в божественном присутствии? Когда мир перестраивается вокруг одной доктрины, где еще можно найти место для ереси? Когда храмы и соборы, законы и нормы организованы согласно новой, непоколебимой евангелии, где еще остается пространство для противодействия?
Когда авраамические религии впервые появились и распространились по континентам, или когда буддизм из Индии распространился по всей Азии, колоссальная динамика веры создала самоподдерживающийся цикл. С увеличением числа обращенных и созданием сложных теологических систем и ритуалов вокруг этих верований становится все труднее ставить под сомнение эти основные предпосылки. Становиться еретиком в море наивности нелегко. Великолепные церкви, сложные религиозные тексты и процветающие монастыри служат физическими доказательствами божественного присутствия.
Но история религии также говорит нам, как легко разрушить такие структуры. С распространением христианства на Скандинавский полуостров древние северные верования разрушились всего за несколько поколений. Религиозная система Древнего Египта просуществовала тысячелетия, в конечном итоге исчезнув с появлением новых, более устойчивых верований и более крупных структур власти. Даже внутри одной и той же религии мы видели драматические расколы — Реформация разорвала западное христианство, а Великий раскол привел к разделению восточной и западной церквей. Эти расколы часто начинаются с, казалось бы, незначительных доктринальных разногласий, которые постепенно перерастают в совершенно различные системы верований.
Священное писание
Бог — это метафора, превосходящая все уровни интеллектуального мышления. Вот и всё. — Джозеф Кэмпбелл
Просто говоря, верить в Бога — значит быть религиозным. Возможно, создание Бога тоже не отличается.
С момента своего появления оптимистичные исследователи искусственного интеллекта представляли свою работу как творение Бога — то есть создание Бога. В последние годы взрывной рост крупных языковых моделей (LLMs) еще больше укрепил веру верующих в то, что мы идем по священному пути.
Это также подтверждает блог, написанный в 2019 году. Хотя люди вне сферы искусственного интеллекта узнали о нем лишь недавно, (горькие уроки) канадского компьютерного ученого Ричарда Саттона стали все более важным текстом в сообществе, постепенно эволюционирующим из скрытых знаний в новую, всеобъемлющую религиозную основу.
В 1,113 словах (каждой религии нужно священное число) Саттон подводит один технический вывод: «Наиболее важный урок, который можно извлечь из 70 лет исследований в области искусственного интеллекта, заключается в том, что универсальный подход к использованию вычислений в конечном итоге оказывается наиболее эффективным и представляет собой огромные преимущества». Прогресс моделей искусственного интеллекта был результатом экспоненциального увеличения вычислительных ресурсов, несущихся на огромной волне закона Мура. В то же время Саттон указывает, что многие работы в области искусственного интеллекта сосредоточены на оптимизации производительности с помощью специализированных технологий — увеличением человеческих знаний или узких инструментов. Хотя эти оптимизации могут оказаться полезными в краткосрочной перспективе, с точки зрения Саттона, они в конечном итоге являются пустой тратой времени и ресурсов, как если бы вы пытались отрегулировать плавники серфинга или попробовать новое восковое покрытие, когда надвигается огромная волна.
Это и есть основа того, что мы называем «горькой религией». У нее есть только одна заповедь, которую в сообществе обычно называют «законом расширения»: экспоненциальный рост вычислений повышает производительность; остальное — глупость.
Горькая религия расширяется от крупных языковых моделей (LLMs) к мировым моделям и сейчас стремительно распространяется через такие не трансформированные храмы, как биология, химия и воплощенный интеллект (робототехника и автономные транспортные средства).
Однако по мере распространения учения Саттона определения также начинают меняться. Это признак всех активных и жизнеспособных религий — споры, расширения, комментарии. «Закон расширения» больше не означает просто расширение вычислений (ковчег — это не просто корабль), теперь он относится к различным методам, направленным на повышение производительности трансформеров и вычислений, в том числе с некоторыми приемами.
Теперь классика охватывает попытки оптимизации каждой части стека AI, от приемов, применяемых к самим основным моделям (объединение моделей, смешивание экспертов (MoE) и извлечение знаний), до генерации синтетических данных для кормления этих всегда голодных богов, при этом проводятся многочисленные эксперименты.
Враждующие конфессии
Недавно в сообществе искусственного интеллекта возник вопрос с оттенком священной войны: остается ли «горькая религия» верной.
На этой неделе Гарвард, Стэнфорд и MIT опубликовали новую статью под названием (Закон расширения точности), что стало началом этого конфликта. В статье обсуждается конец количественных приростов эффективности технологий, которые были полезны для улучшения производительности моделей искусственного интеллекта и открытой экосистемы. Научный сотрудник исследовательского института Аллена по искусственному интеллекту Тим Деттмерс в нижеследующем посте излагает его важность, называя его «самой важной статьей за долгое время». Она представляет собой продолжение нарастающего диалога последних нескольких недель и выявляет заметную тенденцию: растущее укрепление двух религий.
Генеральный директор OpenAI Сэм Алтман и генеральный директор Anthropic Дарио Амодеи принадлежат к одной и той же конфессии. Оба они с уверенностью заявляют, что мы достигнем универсального искусственного интеллекта (AGI) примерно через 2-3 года. Алтман и Амодеи можно назвать двумя персонажами, наиболее полагающимися на святость «горькой религии». Все их стимулы склоняются к чрезмерным обязательствам, создавая максимальную шумиху, чтобы накопить капитал в этой игре, почти полностью управляемой экономией масштаба. Если закон расширения не является «альфой и омегой», первоначальной и конечной, началом и концом, то зачем вам 22 миллиарда долларов?
Бывший главный научный сотрудник OpenAI Илья Сутскевер придерживается другой системы принципов. Он вместе с другими исследователями (включая многих из OpenAI, согласно недавно утекшей информации) считает, что расширение приближается к пределу. Эта группа считает, что для поддержания прогресса и воплощения AGI в реальный мир необходимо новое научное и исследовательское направление.
Сутскевер разумно указывает, что идея постоянного расширения от Алтмана экономически нецелесообразна. Как спросил исследователь искусственного интеллекта Ноам Браун: «Ведь мы действительно собираемся тренировать модели, стоимость обучения которых составляет сотни миллиардов или триллионы долларов?» Это еще не учитывает дополнительные десятки миллиардов долларов, необходимых для вычислений вывода, если мы перенесем вычисления с обучения на вывод.
Но настоящие верующие очень хорошо знакомы с аргументами противника. Миссионер у вашего порога может легко ответить на вашу дилемму наслаждения. Для Брауна и Сутскевера сторонники Сутскевера указывают на возможность «вычислений во время тестирования». В отличие от текущей ситуации, «вычисления во время тестирования» не полагаются на большее вычисление для улучшения обучения, а вместо этого используют больше ресурсов для выполнения. Когда модели искусственного интеллекта нужно ответить на ваш вопрос или сгенерировать код или текст, она может предоставить больше времени и вычислений. Это эквивалентно тому, чтобы отвлечь свое внимание от подготовки к математике к убеждению учителя предоставить вам дополнительный час и разрешить взять с собой калькулятор. Для многих в экосистеме это новый фронт «горькой религии», поскольку команды переходят от ортодоксального предварительного обучения к постобучению/выводу.
Легко указывать на недостатки других систем верований, критиковать другие доктрины, не раскрывая своей позиции. Итак, во что я сам верю? Прежде всего, я верю, что текущая партия моделей со временем принесет очень высокую доходность инвестиций. По мере того как люди научатся обходить ограничения и использовать существующие API, мы увидим появление и успех по-настоящему инновационных продуктовых опытов. Мы перейдем от материализации продуктов искусственного интеллекта и их инкрементальных этапов. Мы не должны рассматривать это как «универсальный искусственный интеллект» (AGI), поскольку такое определение имеет структурные недостатки, а скорее как «минимальный жизнеспособный интеллект», который можно адаптировать к различным продуктам и сценариям использования.
Что касается достижения суперискусственного интеллекта (ASI), потребуется больше структуры. Более четкие определения и разграничения помогут нам более эффективно обсуждать компромиссы между потенциальной экономической ценностью и экономическими затратами. Например, AGI может предоставить экономическую ценность для части пользователей (это всего лишь частичная система веры), в то время как ASI может проявить неудержимые комбинированные эффекты и изменить мир, наши системы веры и нашу социальную структуру. Я не думаю, что можно достичь ASI, полагаясь только на расширение трансформеров; но, к сожалению, как некоторые могут сказать, это всего лишь моя атеистическая вера.
Потерянная вера
Сообщество искусственного интеллекта не сможет в краткосрочной перспективе разрешить эту священную войну; в этой эмоциональной борьбе нет фактических оснований. Вместо этого мы должны сосредоточить внимание на том, что означает, если искусственный интеллект ставит под сомнение свою веру в закон расширения. Утрата веры может вызвать цепную реакцию, выходящую за пределы крупных языковых моделей (LLMs), влияя на все отрасли и рынки.
Следует отметить, что в большинстве областей искусственного интеллекта/машинного обучения мы еще не полностью исследовали закон расширения; в будущем будут еще чудеса. Однако, если сомнения действительно начинают возникать, то для инвесторов и строителей станет гораздо сложнее поддерживать такое же высокое доверие к конечному состоянию производительности в «начальных кривых» категориях, таких как биотехнологии и робототехника. Иными словами, если мы увидим, что крупные языковые модели начинают замедляться и отклоняться от намеченного пути, то многие основатели и инвесторы в смежных областях увидят, как их системы веры рушатся.
Является ли это справедливым, это другой вопрос.
Существует мнение, что «универсальный искусственный интеллект» естественным образом требует большего масштаба, поэтому «качество» специализированных моделей должно проявляться на меньшем масштабе, что делает их менее вероятными для достижения узких мест, прежде чем они смогут предоставить реальную ценность. Если модель в одной конкретной области потребляет только часть данных и, следовательно, требует только часть вычислительных ресурсов для достижения жизнеспособности, разве не должно быть достаточно места для улучшения? Это интуитивно кажется верным, но мы неоднократно обнаруживаем, что ключ часто не в этом: включение как относящихся, так и кажущихся не относящимися данных часто может повысить производительность на первый взгляд не относящихся моделей. Например, включение данных программирования кажется полезным для повышения более широкой способности рассуждения.
В долгосрочной перспективе споры о специализированных моделях могут оказаться несущественными. Любой, кто строит ASI (суперискусственный интеллект), вероятно, в конечном итоге стремится к созданию сущности, способной к самовоспроизведению и самосовершенствованию, обладающей безграничной креативностью в различных областях. Холден Карнофски, бывший член совета директоров OpenAI и основатель Open Philanthropy, называет это творение «PASTA» (Процесс автоматизации науки и технологического прогресса). Первоначальный план получения прибыли Сэма Алтмана, похоже, опирается на аналогичные принципы: «построить AGI, а затем спросить, как получить прибыль». Это апокалиптический искусственный интеллект, это конечная судьба.
Успех крупных лабораторий AI, таких как OpenAI и Anthropic, вдохновил капиталовложения в поддержку подобных лабораторий «OpenAI в X области», чья конечная цель заключается в создании AGI в рамках своей конкретной вертикали или области. Эта индукция по разложению масштабов приведет к парадигмальному сдвигу вдали от имитации OpenAI к компаниям, ориентированным на продукт — это я предложил на ежегодной конференции Compound в 2023 году.
В отличие от моделей апокалипсиса, эти компании должны продемонстрировать ряд достижений. Они будут компаниями, основанными на проблемах инженерии масштаба, а не научными организациями, занимающимися прикладными исследованиями, с конечной целью создания продуктов.
В сфере науки, если вы знаете, что делаете, то вам не следует это делать. В сфере инженерии, если вы не знаете, что делаете, то вам тоже не следует это делать. — Ричард Хэмминг
Верующие вряд ли в краткосрочной перспективе потеряют свою священную веру. Как уже упоминалось, с ростом религии они составили набор сценариев жизни и поклонения и набор эвристических методов. Они построили физические памятники и инфраструктуру, усиливающие их мощь и мудрость, и показывающие, что они «знают, что делают».
В недавнем интервью Сэм Алтман сказал следующее о AGI (с акцентом на нас):
Это первый раз, когда мне кажется, что мы действительно знаем, что делать. От сейчас до построения AGI потребуется много работы. Мы знаем, что есть некоторые известные неизвестные, но я думаю, что в основном мы знаем, что делать, что потребует времени; это будет трудно, но это также очень увлекательно.
Суд
Когда ставится под сомнение (горькая религия), расширяющиеся скептики расправляются с одним из самых глубоких обсуждений последних лет. Каждый из нас в какой-то форме проводил такие размышления. Что произойдет, если мы изобретем Бога? Как быстро появится этот Бог? Что произойдет, если AGI (универсальный искусственный интеллект) действительно и необратимо восстанет?
Как и в случае со всеми неизвестными и сложными темами, мы быстро сохраняем наши конкретные реакции в мозгу: часть людей отчаялась от того, что они станут незначительными, большинство ожидает смесь разрушения и процветания, а последняя часть считает, что человечество будет делать то, что у нас лучше всего получается, продолжая искать проблемы, которые нужно решить, и решая проблемы, которые мы сами создали, достигая чистого изобилия.
Любой, у кого есть весомые интересы, хочет предсказать, каким будет мир, если закон расширения будет действовать, и AGI появится в течение нескольких лет. Как вы будете служить этому новому Богу, и как этот новый Бог будет служить вам?
Но что если стагнирующая евангелия отталкивает оптимистов? Что если мы начинаем думать, что, возможно, даже Бог будет стагнировать? В одной из своих предыдущих статей (FOMO робототехники, закон масштабирования и технологическое предсказание) я писал:
Иногда я задумываюсь, что будет, если закон расширения не сработает, будет ли это похоже на влияние утраты доходов, замедления роста и повышения процентных ставок на многие технологические области. Я также иногда задумываюсь, будет ли закон расширения полностью действителен, будет ли это похоже на кривую товаризации пионеров в различных других областях и их получение ценности.
«Преимущество капитализма в том, что, так или иначе, мы потратим огромное количество денег, чтобы найти ответы».
Для основателей и инвесторов вопрос становится: что будет дальше? Постепенно становятся известны кандидаты, которые могут стать великими строителями продуктов в каждой вертикальной области. В этой отрасли также будет много таких людей, но эта история уже начала разворачиваться. Откуда возникнут новые возможности?
Если расширение остановится, я ожидаю увидеть волну закрытий и слияний. Оставшиеся компании будут все больше сосредотачиваться на инженерии, эту эволюцию мы должны предвидеть, отслеживая перемещение талантов. Мы уже видели некоторые признаки того, что OpenAI движется в этом направлении, поскольку она все больше ориентируется на продукты. Этот переход откроет пространство для следующих стартапов, чтобы «обойти поворот», полагаясь на инновационные прикладные исследования и науку, а не на инженерию, в попытке прокладывать новые пути.
Уроки религии
Мое мнение о технологиях состоит в том, что все, что выглядит явно обладающим эффектом сложных процентов, обычно не длится долго, и одна из точек зрения, общепринятая, заключается в том, что любое дело, которое кажется явно обладающим эффектом сложных процентов, странным образом развивается с значительно меньшей скоростью и масштабом, чем ожидалось.
Ранние признаки раскола религии обычно следуют предсказуемым шаблонам, которые можно использовать как рамку для дальнейшего отслеживания эволюции (горькой религии).
Это обычно начинается с появления конкурирующих объяснений, исходя из капиталистических или идеологических причин. В раннем христианстве разные взгляды на божественность Христа и природу Троицы привели к расколу и появлению совершенно различных библейских интерпретаций. Кроме упомянутого нами раскола в AI, существуют и другие возникающие трещины. Например, мы видим, что часть исследователей AI отказывается от основных ортодоксальных представлений о трансформерах и обращается к другим архитектурам, таким как модели состояния пространства (State Space Models), Mamba, RWKV, жидкие модели (Liquid Models) и т.д. Хотя сейчас это всего лишь слабые сигналы, они показывают зарождение еретической мысли и готовность переосмыслить эту область с основополагающих принципов.
С течением времени нетерпеливые высказывания пророков также могут вызвать недоверие. Когда предсказания религиозных лидеров не сбываются, или вмешательство бога не происходит как запланировано, это сеет семена сомнения.
Движение миллеритов предсказало возвращение Христа в 1844 году, но когда Иисус не пришел, как было запланировано, движение распалось. В технологической сфере мы обычно молча храним неудавшиеся предсказания и позволяем нашим пророкам продолжать рисовать оптимистичные долгосрочные версии будущего, несмотря на многократные упущенные конечные сроки (привет, Элон). Тем не менее, без поддержки постоянного улучшения исходной производительности моделей вера в закон расширения также может столкнуться с подобным крахом.
Коррумпированная, неповоротливая или нестабильная религия легко становится мишенью для еретиков. Протестантская реформация продвигалась не только благодаря теологическим взглядам Лютера, но и потому, что она появилась в период упадка и смятения католической церкви. Когда мейнстримные учреждения начинают трещать, давным-давно существующие «еретические» идеи внезапно находят плодородную почву.
В области искусственного интеллекта мы, возможно, будем обращать внимание на модели меньшего масштаба или альтернативные подходы, которые достигают аналогичных результатов с меньшими вычислениями или данными, например, работы, проведенные различными китайскими корпоративными лабораториями и открытыми командами (такими как Nous Research). Тот, кто преодолевает пределы биологического интеллекта и преодолевает барьеры, которые долгое время считались неприступными, также может создать новый нарратив.
Наиболее прямым и актуальным способом наблюдения за началом изменений является отслеживание движения практиков. Перед любым официальным расколом религиоведы и священнослужители обычно остаются с еретическими взглядами в частной жизни, а на публике ведут себя покорно. Современным аналогом может быть некоторые исследователи AI, которые публично следуют закону расширения, но тайно стремятся к совершенно другим подходам, ожидая подходящего момента, чтобы бросить вызов консенсусу или покинуть свои лаборатории в поисках теоретически более широких горизонтов.
Трудность в вопросах религии и технологической ортодоксии заключается в том, что они часто имеют часть правды, но не так универсальны, как предполагают их самые преданные последователи. Подобно тому, как религия вписывает основные истины человечества в свои метафизические структуры, закон расширения ясно описывает реальность обучения нейронных сетей. Проблема в том, является ли эта реальность настолько полной и неизменной, как предполагает текущий энтузиазм, и достаточно ли эти религиозные учреждения (лаборатории искусственного интеллекта) гибки и стратегичны, чтобы вести фанатиков вперед. При этом создавая печатные машины (интерфейсы чата и API), которые позволяют распространять их знания.
Конец
«Религия для простых людей реальна, для мудрых — ложна, для правителей — полезна». — Луций Анней Сенека
Одно из возможных устаревших представлений о религиозных учреждениях заключается в том, что как только они достигают определенного масштаба, они, как и многие организации, управляемые людьми, подвержены мотивации выживания, пытаясь выжить в конкуренции. В этом процессе они игнорируют истину и великие мотивации (обе из которых не исключают друг друга).
Я когда-то писал статью о том, как финансовые рынки становятся нарративно управляемыми информационными капсулами, в то время как стимулы часто позволяют этим нарративам продолжать существовать. Консенсус закона расширения вызывает зловещее чувство знакомства — систему глубоко укоренившейся веры, которая математически элегантна и чрезвычайно полезна для координации развертывания капитала в большом масштабе. Как и многие религиозные структуры, она может быть более ценна как механизм координации, чем как основная истина.