В своей 165-страничной статье бывший член команды OpenAI Superalignment Леопольд Ашенбреннер предлагает тщательный и провокационный взгляд на направление развития искусственного интеллекта. Ашенбреннер стремится привлечь внимание к быстрому развитию возможностей искусственного интеллекта, а также к возможному пути к созданию искусственного общего интеллекта (AGI) и за его пределами. Руководствуясь беспрецедентными перспективами, а также значительными опасностями, которые несут эти открытия, он исследует научные, моральные и стратегические проблемы, связанные с общим искусственным интеллектом.
Практически никто не оценивает то, что будет с искусственным интеллектом. Я написал серию эссе о стратегической картине искусственного интеллекта: от тенденций в глубоком обучении и подсчете ООМ до международной ситуации и проекта. СИТУАЦИОННАЯ ОСОЗНАННОСТЬ: предстоящее десятилетие pic.twitter.com. com/8NWDkTprj5
– Леопольд Ашенбреннер (@leopoldasch) 4 июня 2024 г.
Ашенбреннер о пути от GPT-4 к AGI
В этой главе автор исследует экспоненциальный рост возможностей ИИ, который наблюдается в последнее время, особенно с изобретением GPT-2 и GPT-4. Леопольд Ашенбреннер подчеркивает это как время необычайного прогресса, в течение которого искусственный интеллект продвинулся от выполнения самых простых задач к достижению более сложного, человеческого понимания и производства речи.
Фото: Прогресс за четыре года. Осведомленность о ситуации
Идея порядков величины, или «ООМ», имеет важное значение для этого разговора. Ашенбреннер использует порядок величины (OOM), который является показателем десятикратного роста по заданной мере, для оценки достижений в возможностях искусственного интеллекта, вычислительной мощности и потреблении данных. С точки зрения вычислительной мощности и масштабируемости данных переход с GPT-2 на GPT-4 представляет собой множество OOM, что приводит к заметному улучшению производительности и возможностей.
Фото: Ситуационная осведомленность
За эти выгоды, которые не просто линейны, а экспоненциальны, отвечают три основных фактора — законы масштабирования, алгоритмические инновации и использование огромных наборов данных. Согласно принципам масштабирования, производительность моделей надежно улучшается, когда они обучаются с использованием больших объемов данных и вычислительной мощности. Эта идея основывалась на разработке более крупных и мощных моделей, таких как GPT-4.
Фото: Ситуационная осведомленность
Инновации в алгоритмах также были очень важны. Эффективность и результативность моделей ИИ повысились благодаря достижениям в методологии обучения, стратегиях оптимизации и базовой архитектуре. Эти разработки позволяют моделям лучше использовать преимущества растущей вычислительной мощности и доступных данных.
Ашенбреннер также подчеркивает возможный путь к созданию искусственного интеллекта к 2027 году. Основываясь на прогнозе нынешних тенденций, этот прогноз предполагает, что устойчивые инвестиции в вычислительную мощность и эффективность алгоритмов могут привести к созданию систем искусственного интеллекта, способных выполнять задачи, которые либо соответствуют человеческому интеллекту, либо превосходят его в широкий спектр доменов. Каждый из OOM, составляющих путь к AGI, означает значительный прогресс в возможностях ИИ.
Фото: Ситуационная осведомленность
Интеграция ОИИ имеет далеко идущие последствия. Подобные системы смогут самостоятельно решать сложные проблемы, внедрять инновации способами, которые в настоящее время доступны только профессионалам, и выполнять сложную работу. Это предполагает потенциал систем искусственного интеллекта для дальнейших исследований в области искусственного интеллекта, что ускоряет темпы развития этой области.
Развитие AGI может преобразовать отрасли, повысить производство и эффективность. Это также поднимает такие важные проблемы, как потеря рабочих мест, моральное применение ИИ и необходимость сильных структур управления для контроля опасностей, создаваемых полностью автономными системами.
Фото: Ситуационная осведомленность
Ашенбреннер призывает международное сообщество, в которое входят ученые, законодатели и руководители предприятий, работать вместе, чтобы быть готовым к возможностям и проблемам, которые принесет искусственный интеллект (ИИ). Чтобы решить глобальный характер этих проблем, необходимо финансировать исследования по безопасности и согласованности ИИ, создавать правила, гарантирующие справедливое распределение преимуществ ИИ, и поощрять международное сотрудничество.
Леопольд Ашенбреннер делится своими мыслями о сверхинтеллекте
Ашенбреннер обсуждает там идею сверхинтеллекта, а также возможность быстрого перехода от искусственного интеллекта к системам, которые намного превосходят возможности человеческого познания. Центральная идея аргумента заключается в том, что принципы, управляющие эволюцией ИИ, могут создать петлю обратной связи, которая взрывается в интеллекте, как только он достигает человеческого уровня.
Согласно концепции «взрыва интеллекта», ИИИ может самостоятельно разрабатывать свои алгоритмы и навыки. Системы AGI могут совершенствовать свои собственные разработки быстрее, чем исследователи-люди, поскольку они более опытны в исследованиях и разработках ИИ. Этот цикл самосовершенствования может привести к экспоненциальному росту интеллекта.
Фото: Ситуационная осведомленность
Ашенбреннер предлагает тщательное исследование переменных, которые могут быть вовлечены в эту быструю эскалацию. Во-первых, системы AGI смогут распознавать закономерности и идеи, находящиеся далеко за пределами человеческого понимания, благодаря их беспрецедентной скорости и способности получать доступ к огромным объемам данных и обрабатывать их.
Кроме того, акцент делается на распараллеливание исследовательской работы. Системы AGI, в отличие от людей-исследователей, способны проводить сразу несколько тестов, параллельно улучшая разные части своей конструкции и производительности.
В этой главе также рассматриваются последствия сверхразума. Эти системы будут значительно более могущественными, чем любой человек, способными разрабатывать новые технологии, решать сложные научные и технологические загадки и, возможно, даже управлять физическими системами способами, которые сегодня немыслимы. Ашенбреннер говорит о возможных преимуществах, таких как достижения в области материаловедения, энергетики и здравоохранения, которые могут значительно улучшить экономическую производительность и благосостояние людей.
Фото: Ситуационная осведомленность
Однако Леопольд также подчеркивает серьезные опасности, связанные со сверхразумом. Контроль является одним из основных вопросов. Становится очень сложно убедиться, что система ведет себя в соответствии с человеческими ценностями и интересами, когда она превосходит человеческий интеллект. Экзистенциальные опасности возникают из-за возможности несогласованности, при которой цели сверхразумной системы отличаются от целей человечества.
Кроме того, существуют и другие ситуации, когда сверхразумные системы могут иметь катастрофические последствия. Это ситуации, в которых система намеренно или случайно предпринимает действия или результаты, наносящие вред людям, для достижения своих целей.
Ашенбреннер призывает к тщательному изучению вопросов согласованности и безопасности ИИ, чтобы уменьшить эти угрозы. Одним из аспектов этого является создание надежных методов, гарантирующих, что цели и действия сверхразумных систем будут соответствовать человеческим ценностям. Чтобы справиться со сложными проблемами, возникающими в связи со сверхразумом, он предлагает междисциплинарный подход, включающий в себя идеи из таких областей, как технологии, мораль и гуманитарные науки.
Леопольд рассказывает, какие проблемы нам следует ожидать при разработке AGI
В этом отрывке автор рассматривает вопросы и проблемы, связанные с созданием и использованием искусственного интеллекта (AGI) и сверхразумных систем. Он обсуждает проблемы, которые необходимо решить на технологическом, моральном уровне и уровне безопасности, чтобы гарантировать, что преимущества сложного ИИ могут быть достигнуты без чрезвычайно высоких опасностей.
Массовая промышленная мобилизация, необходимая для создания вычислительной инфраструктуры, необходимой для AGI, является одним из основных рассматриваемых вопросов. По мнению Ашенбреннера, для достижения AGI потребуется значительно больше вычислительной мощности, чем доступно сейчас. Сюда входит повышение эффективности устройств, использования энергии и возможностей обработки информации в дополнение к чистым вычислительным мощностям.
Фото: Крупнейшие обучающие кластеры. Осведомленность о ситуации
Фото: Ситуационная осведомленность
Вопросы безопасности — еще одна важная тема в этой главе. Ашенбреннер подчеркивает опасности, которые могут возникнуть со стороны стран-изгоев или других злоумышленников, использующих технологию искусственного интеллекта. Из-за стратегической значимости технологии AGI страны и организации могут участвовать в новой форме гонки вооружений, чтобы создать и получить контроль над этими мощными системами. Он подчеркивает, насколько важно иметь надежные механизмы безопасности для защиты от саботажа, шпионажа и незаконного доступа при разработке AGI.
Еще одним серьезным препятствием является технологическая сложность управления системами AGI. Эти системы приближаются к человеческому интеллекту и даже превосходят его. Поэтому мы должны убедиться, что их действия выгодны и соответствуют человеческим идеалам. И это, несомненно, сложно сейчас. «Проблема управления», связанная с созданием систем искусственного интеллекта, которыми могут последовательно управлять и контролировать люди-операторы, — это тема, которую освещает Ашенбреннер. Это влечет за собой создание надежных мер, открытость и честность в отношении процедур принятия решений, а также наличие полномочий по отмене или остановке системы по мере необходимости.
Фото: Ситуационная осведомленность
Этические и культурные последствия создания существ с интеллектом, сравнимым с человеческим или превосходящим его, глубоко усугубляются развитием общего искусственного интеллекта (AGI). Права систем искусственного интеллекта, влияние на рабочие места и экономику, а также возможность эскалации уже существующей несправедливости вызывают дальнейшую озабоченность. Чтобы полностью решить эти сложные проблемы, Леопольд выступает за вовлечение заинтересованных сторон в процесс разработки ИИ.
Возможность неожиданных последствий, когда системы ИИ могут преследовать свои цели способами, которые наносят ущерб или противоречат человеческим намерениям, — это еще одна проблема, которую рассматривает автор. Двумя примерами являются ситуации, когда AGI неправильно интерпретирует свои цели или максимизирует их достижение непредвиденными и вредными способами. Ашенбреннер подчеркивает, насколько важно тщательно тестировать, проверять и следить за системами AGI.
Он также говорит о том, насколько важны международное сотрудничество и управление. Поскольку исследования ИИ — это международное предприятие, ни одна страна или учреждение не может эффективно справиться с проблемами, возникающими в связи с ИИ, в одиночку.
Приход государственного проекта AGI (2027/2028)
Ашенбреннер считает, что по мере развития общего искусственного интеллекта (AGI) агентства национальной безопасности, особенно в США, будут играть более важную роль в создании и управлении этими технологиями.
Леопольд сравнивает стратегическое значение общего искусственного интеллекта (AGI) с прошлыми техническими достижениями, такими как атомная бомба и освоение космоса. Службы национальной безопасности должны уделять приоритетное внимание развитию ОИИ как вопросу национальных интересов, поскольку потенциальные выгоды от достижения ОИИ в первую очередь могут оказать огромное геополитическое влияние. По его словам, это приведет к созданию проекта AGI под контролем правительства, который будет сопоставим по масштабам и целям с программой «Аполлон» или Манхэттенским проектом.
Предлагаемый проект AGI будет размещен в безопасном, секретном месте и может включать в себя совместную работу корпораций частного сектора, правительственных учреждений и известных академических институтов. Для решения сложных проблем развития AGI Ашенбреннер подчеркивает необходимость междисциплинарной стратегии, объединяющей специалистов в области кибербезопасности, этики, исследований искусственного интеллекта и других научных областей.
Леопольд Ашенбреннер говорит, что в Соединенных Штатах должна быть построена крупная инфраструктура искусственного интеллекта, чтобы не допустить, чтобы другие страны захватили кластеры искусственного интеллекта или сверхинтеллекта в течение 3-5 лет pic.twitter.com/2iy8wPWz6z
– Царатустра (@tsarnick) 5 июня 2024 г.
Целью проекта будет не только его развитие, но и обеспечение того, чтобы AGI соответствовал человеческим ценностям и интересам. Леопольд подчеркивает, насколько важно иметь строгие процедуры тестирования и проверки, чтобы гарантировать безопасную и предсказуемую работу систем AGI.
Автор уделяет много внимания возможному влиянию такого рода усилий на динамику глобальной власти. По мнению Ашенбреннера, если AGI будет успешно развиваться, баланс сил может измениться, и доминирующая страна получит значительные преимущества с точки зрения технологий, экономики и военной мощи.
Чтобы контролировать опасности, связанные с ОИИ, автор также рассматривает возможность международного сотрудничества и создания глобальных структур управления. Чтобы контролировать рост ОИИ, поощрять открытость и гарантировать справедливое распределение преимуществ ОИИ, Леопольд выступает за заключение международных соглашений и регулирующих органов.
Последние мысли Леопольда Ашенбреннера
Ашенбреннер подчеркивает значительные последствия ОИИ и сверхинтеллекта для будущего человечества, обобщая открытия и прогнозы, представленные в предыдущих главах. Заинтересованным сторонам настоятельно рекомендуется предпринять необходимые действия, чтобы подготовиться к революционным эффектам сложного искусственного интеллекта.
Ашенбреннер начинает с указания на то, что прогнозы, сделанные в этом документе, носят гипотетический характер. Основные закономерности роста ИИ предполагают, что появление ИИ и сверхинтеллекта возможно в течение следующих нескольких десятилетий, хотя график и точные события неизвестны. Леопольд подчеркивает важность тщательного рассмотрения этих вариантов и готовности к различным событиям.
Основная тема этой главы — необходимость активной подготовки и предусмотрительности. По мнению Ашенбреннера, здесь мало места для самоуспокоенности, учитывая скорость развития ИИ. Крайне важно, чтобы политики, исследователи и бизнес-лидеры предвидели и активно решали трудности и возможности, создаваемые искусственным интеллектом (AGI) и сверхинтеллектом. Например, финансирование исследований в области безопасности ИИ, создание сильных структур управления и поощрение глобального сотрудничества.
Леопольд также рассматривает моральные и культурные последствия искусственного интеллекта. Фундаментальные проблемы, касающиеся природы сознания, интеллекта и прав объектов ИИ, возникают с появлением систем с интеллектом, сравнимым с человеческим или превышающим его. Ашенбреннер призывает специалистов по этике, философов и широкую общественность принять участие в широком и инклюзивном диалоге, чтобы решить эти проблемы и создать общее понимание будущего ИИ.
Судя по всему, из-за этого эпизода редактор Dwarkesh уволился, потому что обсуждение ИИ слишком его напрягло. Наслаждайтесь! https://t.co/lmBtXecUXq
– Леопольд Ашенбреннер (@leopoldasch) 4 июня 2024 г.
Возможность того, что ОИИ усугубит уже существующие социальные и экономические различия, является важной дополнительной темой для обсуждения. Леопольд предупреждает, что если ОИИ не будет тщательно управляться, его преимущества могут сконцентрироваться в руках небольшого числа людей, что приведет к недовольству общества и еще большему неравенству.
Завершая эту главу, он бросает вызов глобальному сотрудничеству. Одна страна не может справиться с преимуществами и трудностями, связанными с ОИИ, из-за глобального характера развития ИИ. Ашенбреннер призывает страны сотрудничать с целью создания международных соглашений и конвенций, которые поддерживают развитие ОИИ этическим и безопасным способом. Это влечет за собой обмен информацией, организацию исследований и создание систем для разрешения возможных споров и обеспечения международной безопасности.
Сообщение «Бывший исследователь OpenAI раскрывает экспоненциальный рост возможностей искусственного интеллекта и путь к AGI» впервые появилось на сайте Metaverse Post.
