OpenAI sta sviluppando metodi di prevenzione dei rischi catastrofici per affrontare i potenziali pericoli delle tecnologie di intelligenza artificiale all’avanguardia.
Per affrontare in modo proattivo i rischi potenzialmente catastrofici posti dalle tecnologie IA all’avanguardia, OpenAI sta sviluppando un approccio di preparazione al rischio che prevede nuovi team e sfide.
Come riportato da OpenAI nell’ottobre 2023, l’iniziativa è coerente con la sua missione di costruire un’intelligenza artificiale generale (AGI) sicura affrontando l’ampia gamma di rischi per la sicurezza associati all’intelligenza artificiale.
OpenAI si fonda sulla convinzione che i modelli di intelligenza artificiale all’avanguardia – ovvero la capacità delle tecnologie future di superare i modelli principali attualmente disponibili – abbiano il potenziale per apportare innumerevoli benefici all’umanità.
Tuttavia, OpenAI riconosce che questi modelli possono comportare rischi sempre più gravi. L’obiettivo è gestire questi rischi comprendendo i potenziali pericoli dei sistemi di intelligenza artificiale all’avanguardia quando utilizzati in modo improprio, ora e in futuro, e stabilendo un quadro solido per monitorare, valutare, prevedere e proteggere dalle loro capacità pericolose.
OpenAI sta formando un nuovo team chiamato "Prepared" come parte della sua strategia di mitigazione del rischio. Secondo il rapporto di OpenAI, il team sarà guidato da Aleksander Madry e si concentrerà sulla valutazione delle capacità, sul team rosso interno e sulla valutazione dei modelli all'avanguardia.
Il suo lavoro spazierà dai modelli sviluppati di recente ai modelli con capacità di livello AGI. La missione del gruppo di preparazione includerà il monitoraggio, la valutazione e la previsione, nonché la protezione da rischi catastrofici in più categorie, tra cui la persuasione personalizzata, la sicurezza informatica e le minacce di natura chimica, biologica, radiologica e nucleare (CBRN), nonché replicazione e adattamento autonomi (ARA).
Inoltre, le responsabilità del gruppo di preparazione includono lo sviluppo e il mantenimento di una politica di sviluppo informata sul rischio (RDP). La politica descriverà in dettaglio l’approccio di OpenAI allo sviluppo di capacità per valutare e monitorare rigorosamente modelli all’avanguardia, creare una serie di azioni di conservazione e stabilire una struttura di governance per la responsabilità e la supervisione durante tutto lo sviluppo.
L’RDP è progettato per estendere gli sforzi esistenti di mitigazione del rischio di OpenAI, contribuendo a garantire sicurezza e coerenza prima e dopo l’implementazione di nuovi sistemi.
OpenAI sta inoltre cercando di rafforzare il proprio team di preparazione lanciando una AI Readiness Challenge per prevenire abusi catastrofici. Questa sfida è progettata per identificare potenziali aree di interesse meno ovvie e costruire la squadra.
Assegnerà $ 25.000 in crediti API a un massimo di 10 migliori presentatori, pubblicherà nuove idee e proposte e selezionerà candidati pronti tra i principali contendenti della sfida.
Con lo sviluppo di tecnologie di intelligenza artificiale all’avanguardia, l’iniziativa di OpenAI sottolinea la necessità di rigorose strategie di gestione del rischio nel campo dell’intelligenza artificiale, evidenziando l’importanza di essere preparati di fronte all’uso improprio potenzialmente catastrofico di questi potenti strumenti. #人工智能 #OpenAI