TL;DR-разбор
OpenAI повышает осведомленность о рисках, связанных с появлением сверхразума на базе искусственного интеллекта, и формирует специальную группу для решения этих проблем.
Компания уделяет особое внимание согласованию сверхразума с человеческими ценностями и намерениями, а также созданию новых институтов управления.
OpenAI признает, что внедрение AGI сопряжено со значительными рисками и может потребовать коллективных усилий человечества.
Генеральный директор OpenAI Сэм Альтман начал глобальную кампанию по повышению осведомленности о потенциальных опасностях сверхразума ИИ, при котором машины превосходят человеческий интеллект и могут стать неуправляемыми.
В ответ на эти опасения OpenAI недавно объявила о формировании специальной группы, которой будет поручена разработка методов устранения рисков, связанных со сверхинтеллектом, которые могут возникнуть в течение этого десятилетия.
Компания подчеркивает, что эффективное управление сверхразумом требует создания новых институтов управления и решения важнейшей задачи согласования сверхразума с человеческими ценностями и намерениями.
OpenAI признает, что внедрение ИИОН (искусственного интеллекта общего назначения) несет значительные риски для человечества и может потребовать коллективных усилий всего человечества, как указано в сообщении в блоге, опубликованном в прошлом году.
Недавно сформированная команда, получившая название «Superalignment», состоит из ведущих исследователей и инженеров в области машинного обучения. Илья Суцкевер, соучредитель и главный научный сотрудник OpenAI, и Ян Лейке, глава отдела выравнивания, руководят этим начинанием.
Для решения основных технических задач выравнивания суперинтеллекта OpenAI взяла на себя обязательство выделить 20% своих вычислительных ресурсов, полученных на данный момент, на задачу выравнивания. Компания ожидает, что в течение четырех лет она решит эти задачи.
Основная цель команды супервыравнивания — разработать автоматизированного исследователя выравнивания на уровне человека. Это подразумевает создание систем ИИ, которые могут эффективно выравнивать сверхинтеллектуальные системы ИИ, превосходя людей по скорости и точности.
Чтобы достичь этой вехи, команда сосредоточится на разработке масштабируемого метода обучения, который использует системы ИИ для оценки других систем ИИ. Они будут проверять свою полученную модель, автоматизируя поиск потенциально проблемного поведения. Конвейер выравнивания также будет проходить строгое стресс-тестирование путем преднамеренного обучения невыровненных моделей для оценки их обнаруживаемости.
Усилия OpenAI по устранению рисков, связанных с суперинтеллектом, знаменуют собой значительный шаг вперед в достижении ответственной и согласованной разработки ИИ. Собрав команду ведущих исследователей и выделив значительные вычислительные ресурсы, компания демонстрирует свою приверженность проактивному снижению потенциальных рисков, связанных с появлением суперинтеллекта. Отправляясь в это амбициозное путешествие, OpenAI создает прецедент для сотрудничества и единства в деле защиты будущего человечества в эпоху ИИ.