OpenAI разрабатывает методы предотвращения катастрофических рисков для устранения потенциальных опасностей, связанных с передовыми технологиями искусственного интеллекта.

Чтобы активно устранять потенциально катастрофические риски, связанные с передовыми технологиями искусственного интеллекта, OpenAI разрабатывает подход к обеспечению готовности к рискам, включающий новые команды и новые задачи.

Как сообщила OpenAI в октябре 2023 года, эта инициатива соответствует ее миссии по созданию безопасного общего искусственного интеллекта (AGI) путем устранения широкого спектра рисков безопасности, связанных с искусственным интеллектом.

OpenAI основана на убеждении, что передовые модели искусственного интеллекта — способность будущих технологий превосходить лучшие модели, доступные в настоящее время — могут принести бесчисленные выгоды человечеству.

Однако OpenAI признает, что эти модели могут представлять все более серьезные риски. Цель состоит в том, чтобы управлять этими рисками, понимая потенциальную опасность передовых систем искусственного интеллекта при неправильном использовании сейчас и в будущем, а также создавая надежную основу для мониторинга, оценки, прогнозирования и защиты от их опасных возможностей.

OpenAI формирует новую команду под названием «Подготовлено» в рамках своей стратегии снижения рисков. Согласно отчету OpenAI, команду возглавит Александр Мадри, и она сосредоточится на оценке возможностей, внутренней красной команде и оценке передовых моделей.

Его работа будет варьироваться от недавно разработанных моделей до моделей с возможностями уровня AGI. Миссия группы готовности будет включать в себя отслеживание, оценку и прогнозирование, а также защиту от катастрофических рисков по нескольким категориям, включая персонализированное убеждение, кибербезопасность и угрозы химического, биологического, радиологического и ядерного (ХБРЯ) характера. а также автономная репликация и адаптация (ARA).

Кроме того, в обязанности группы готовности входит разработка и поддержание политики развития с учетом рисков (RDP). В политике будет подробно описан подход OpenAI к развитию возможностей строгой оценки и мониторинга передовых моделей, созданию ряда природоохранных мероприятий и созданию структуры управления для подотчетности и надзора на протяжении всего процесса разработки.

RDP предназначен для расширения существующих усилий OpenAI по снижению рисков, помогая обеспечить безопасность и согласованность до и после развертывания новых систем.

OpenAI также стремится усилить свою команду готовности, запустив конкурс AI Readiness Challenge, чтобы предотвратить катастрофические злоупотребления. Целью этой задачи является определение менее очевидных потенциальных направлений деятельности и формирование команды.

Он наградит 25 000 долларов США в виде кредитов API 10 лучшим заявителям, опубликует новые идеи и заявки, а также отберет готовых кандидатов среди главных претендентов на участие в конкурсе.

По мере развития передовых технологий искусственного интеллекта инициатива OpenAI подчеркивает необходимость строгих стратегий управления рисками в области искусственного интеллекта, подчеркивая важность готовности к потенциально катастрофическому неправильному использованию этих мощных инструментов. #人工智能 #OpenAI