Después de una autoevaluación de 90 días, OpenAI anunció cinco medidas importantes para mejorar la seguridad de sus modelos de IA, lo que demuestra su compromiso con el desarrollo responsable de la IA.
El 16 de septiembre, OpenAI anunció cinco medidas importantes para mejorar la seguridad de sus modelos de IA después de 90 días de autoevaluación de sus procesos de trabajo. Las medidas incluyen el establecimiento de una comisión independiente, mayores medidas de seguridad, mayor transparencia y cooperación con organizaciones externas.
La medida de OpenAI muestra los esfuerzos continuos de la compañía para desarrollar modelos de IA seguros y confiables. Este es un paso estratégico para garantizar el desarrollo y la implementación seguros de la IA en el contexto del creciente desarrollo de esta tecnología.
El Comité de Seguridad y Vigilancia juega un papel clave
Específicamente, OpenAI ha establecido un Comité de Seguridad con una función de supervisión independiente. Este comité, presidido por Zico Kolter, director de Ciencias de la Computación de la Universidad Carnegie Mellon, tiene la tarea de supervisar los procesos de seguridad en el desarrollo y la implementación de los modelos de IA de OpenAI.
Otros miembros del comité incluyen a Adam D'Angelo (cofundador de Quora), Paul Nakasone (general estadounidense retirado) y Nicole Seligman (ex vicepresidenta y asesora legal de Sony Corporation). Este comité tendrá la autoridad para retrasar los lanzamientos de modelos si existen problemas de seguridad.
Lista de miembros que participan en el comité de Seguridad y Protección de OpenAI. Fuente: Internet.
Además, las empresas seguirán aplicando métodos de gestión de riesgos para proteger los modelos de IA. OpenAI dijo que planea aumentar la segmentación de la información interna, expandir su equipo de seguridad 24 horas al día, 7 días a la semana e invertir en investigación e infraestructura de productos para mejorar la seguridad.
Una iniciativa destacada está considerando desarrollar un Centro de análisis e intercambio de información (ISAC) para la industria de la inteligencia artificial, para compartir información sobre amenazas cibernéticas entre organizaciones de la industria.
OpenAI apuesta por una mayor transparencia de los datos en su trabajo. Han anunciado las tarjetas del sistema GPT-4o y o1-preview, brindando detalles sobre las evaluaciones de seguridad antes del lanzamiento del modelo. Estas tarjetas también incluyen los resultados de evaluaciones de organizaciones externas y medidas de mitigación de riesgos.
Además, la empresa también coopera de forma proactiva con muchas organizaciones para promover estándares de seguridad para la industria de la IA. En particular, OpenAI está colaborando con Los Alamos National Labs (EE. UU.) para investigar cómo utilizar la IA de forma segura en laboratorios científicos, así como con institutos de seguridad de IA de EE. UU. y el Reino Unido para investigar estándares de seguridad para toda la IA. Reorganizaron los equipos de investigación, seguridad y políticas para crear un marco de seguridad integrado para el desarrollo y monitoreo del modelo de IA.
Este marco será aprobado y ajustado por el Comité de Seguridad y Protección a medida que los modelos de IA se vuelvan cada vez más complejos.
