TL;DR Desglose
OpenAI está creando conciencia sobre los riesgos de la superinteligencia de IA y formando un equipo dedicado para abordar estas preocupaciones.
La empresa hace hincapié en alinear la superinteligencia con los valores e intenciones humanos y en establecer nuevas instituciones de gobernanza.
OpenAI reconoce que alinear la AGI plantea riesgos importantes y puede requerir un esfuerzo colectivo de la humanidad.
El director ejecutivo de OpenAI, Sam Altman, se ha embarcado en una campaña global para crear conciencia sobre los peligros potenciales de la superinteligencia de la IA, donde las máquinas superan la inteligencia humana y podrían volverse incontrolables.
En respuesta a estas preocupaciones, OpenAI anunció recientemente la formación de un equipo dedicado a desarrollar métodos para abordar los riesgos asociados con la superinteligencia que pueden surgir en esta década.
La empresa enfatiza que para gestionar eficazmente la superinteligencia es necesario establecer nuevas instituciones de gobernanza y resolver el desafío crítico de alinear la superinteligencia con los valores e intenciones humanos.
OpenAI reconoce que alinear la AGI (Inteligencia General Artificial) plantea riesgos significativos para la humanidad y puede requerir un esfuerzo colectivo de toda la humanidad, como se afirma en una publicación de blog publicada el año pasado.
El equipo recién formado, denominado “Superalignment”, está compuesto por investigadores e ingenieros de primer nivel en aprendizaje automático. Ilya Sutskever, cofundador y científico jefe de OpenAI, y Jan Leike, el responsable de alineación, están guiando este esfuerzo.
Para abordar los principales desafíos técnicos de la alineación de la superinteligencia, OpenAI se ha comprometido a dedicar el 20% de sus recursos computacionales adquiridos hasta ahora al problema de la alineación. La empresa prevé que en cuatro años resolverá estos desafíos.
El objetivo principal del equipo de superalineación es desarrollar un investigador de alineación automatizado a nivel humano. Esto implica crear sistemas de IA que puedan alinear eficazmente sistemas de IA superinteligentes, superando a los humanos en velocidad y precisión.
Para lograr este hito, el equipo se centrará en desarrollar un método de entrenamiento escalable que utilice sistemas de IA para evaluar otros sistemas de IA. Validarán el modelo resultante automatizando la búsqueda de comportamientos potencialmente problemáticos. El proceso de alineación también se someterá a rigurosas pruebas de estrés mediante el entrenamiento deliberado de modelos desalineados para medir su detectabilidad.
Los esfuerzos de OpenAI para abordar los riesgos de la superinteligencia marcan un avance significativo en la búsqueda de un desarrollo de IA responsable y alineado. Al reunir un equipo de investigadores de primer nivel y comprometer recursos computacionales sustanciales, la empresa demuestra su compromiso de mitigar de manera proactiva los riesgos potenciales asociados con el advenimiento de la superinteligencia. Al embarcarse en este ambicioso viaje, OpenAI sienta un precedente de colaboración y unidad para salvaguardar el futuro de la humanidad en la era de la IA.
