A OpenAI está a desenvolver métodos de prevenção de riscos catastróficos para enfrentar os perigos potenciais das tecnologias de inteligência artificial de ponta.
Para abordar proativamente os riscos potencialmente catastróficos colocados pelas tecnologias de IA de ponta, a OpenAI está a desenvolver uma abordagem de preparação para riscos que apresenta novas equipas e desafios.
Conforme relatado pela OpenAI em outubro de 2023, a iniciativa é consistente com a sua missão de construir inteligência artificial geral (AGI) segura, abordando a ampla gama de riscos de segurança associados à inteligência artificial.
A OpenAI baseia-se na crença de que modelos de inteligência artificial de ponta – a capacidade das tecnologias futuras de superar os principais modelos atualmente disponíveis – têm o potencial de trazer inúmeros benefícios para a humanidade.
No entanto, a OpenAI reconhece que estes modelos podem representar riscos cada vez mais graves. O objetivo é gerir estes riscos, compreendendo os perigos potenciais dos sistemas de IA de ponta quando utilizados indevidamente agora e no futuro, e estabelecendo uma estrutura robusta para monitorizar, avaliar, prever e proteger contra as suas capacidades perigosas.
A OpenAI está formando uma nova equipe chamada “Prepared” como parte de sua estratégia de mitigação de riscos. De acordo com o relatório da OpenAI, a equipe será liderada por Aleksander Madry e se concentrará na avaliação de capacidades, formação de equipes vermelhas internas e avaliação de modelos de ponta.
O seu trabalho irá abranger desde modelos recentemente desenvolvidos até modelos com capacidades de nível AGI. A missão da equipa de preparação incluirá o acompanhamento, avaliação e previsão, bem como a proteção contra riscos catastróficos em múltiplas categorias, incluindo persuasão personalizada, segurança cibernética e ameaças de natureza química, biológica, radiológica e nuclear (QBRN), bem como replicação e adaptação autônoma (ARA).
Além disso, as responsabilidades da equipa de preparação incluem o desenvolvimento e a manutenção de uma política de desenvolvimento informada sobre os riscos (PDR). A política irá detalhar a abordagem da OpenAI para desenvolver capacidades para avaliar e monitorizar rigorosamente modelos de ponta, criar uma série de ações de conservação e estabelecer uma estrutura de governação para responsabilização e supervisão ao longo do desenvolvimento.
O RDP foi projetado para ampliar os esforços existentes de mitigação de riscos da OpenAI, ajudando a garantir segurança e consistência antes e depois da implantação de novos sistemas.
A OpenAI também procura fortalecer sua equipe de preparação lançando um Desafio de Preparação de IA para evitar o uso indevido catastrófico. Este desafio foi concebido para identificar potenciais áreas de foco menos óbvias e construir a equipa.
Ele concederá US$ 25.000 em créditos de API para até 10 principais inscritos, publicará ideias e inscrições inovadoras e fornecerá candidatos prontos entre os principais concorrentes do desafio.
À medida que as tecnologias de inteligência artificial de ponta se desenvolvem, a iniciativa da OpenAI sublinha a necessidade de estratégias rigorosas de gestão de risco no domínio da inteligência artificial, destacando a importância de estar preparado face ao uso indevido potencialmente catastrófico destas ferramentas poderosas. #人工智能 #OpenAI