TLDR:
Los científicos de IA advierten sobre posibles resultados catastróficos si los humanos pierden el control de la IA
Se insta a implementar un sistema de supervisión global y planes de contingencia para prevenir los riesgos de la IA
Se proponen tres procesos clave: preparación para emergencias, garantía de seguridad e investigación independiente
Más de 30 expertos de varios países firmaron la declaración
Preocupación por la falta de intercambio científico entre superpotencias sobre las amenazas de la IA
Expertos en inteligencia artificial (IA) de todo el mundo han emitido una advertencia sobre los riesgos potenciales asociados con los sistemas de IA avanzados.
En una declaración publicada el 16 de septiembre de 2024, más de 30 científicos de varios países, incluidos Estados Unidos, Canadá, China y el Reino Unido, pidieron la creación de un sistema de supervisión global para prevenir posibles “resultados catastróficos” si los humanos pierden el control de la IA.
La declaración, que se basa en las conclusiones del Diálogo internacional sobre seguridad de la IA en Venecia, enfatiza la necesidad de cooperación y gobernanza internacionales en el desarrollo de la IA.
Los científicos sostienen que la seguridad de la IA debería reconocerse como un bien público global, que requiere esfuerzos colectivos para abordar los riesgos potenciales.
Una de las principales preocupaciones que se destacan en el comunicado es la posibilidad de perder el control humano sobre los sistemas avanzados de inteligencia artificial o de que estos se utilicen de forma maliciosa. Los expertos advierten que tales escenarios podrían tener consecuencias nefastas para la humanidad.
Señalan que aún no se ha desarrollado la ciencia necesaria para controlar y salvaguardar una IA muy avanzada, lo que subraya la urgencia de abordar estas cuestiones.
Para abordar estos desafíos, los científicos proponen tres procesos clave.
En primer lugar, se pide que se establezcan acuerdos e instituciones de preparación para emergencias, lo que implicaría el desarrollo de autoridades dentro de cada país para detectar y responder a incidentes relacionados con la IA y riesgos catastróficos. Estas autoridades nacionales trabajarían luego juntas para crear un plan de contingencia global para incidentes graves relacionados con la IA.
El segundo proceso propuesto es la implementación de un marco de garantía de seguridad. Esto requeriría que los desarrolladores de IA proporcionen un caso de seguridad de alta confianza antes de implementar modelos con capacidades que superen los umbrales especificados. El marco también incluiría monitoreo posterior a la implementación y auditorías independientes para garantizar la seguridad continua.
Por último, los expertos abogan por una investigación independiente y global sobre seguridad y verificación de la IA. Esta investigación se centraría en el desarrollo de técnicas para verificar rigurosamente las afirmaciones de seguridad realizadas por los desarrolladores de IA y, potencialmente, por otros países. Para garantizar la independencia, la investigación se llevaría a cabo a nivel mundial y estaría financiada por una amplia gama de gobiernos y filántropos.
La declaración llega en un momento en que el intercambio científico entre las superpotencias se está reduciendo y la desconfianza entre Estados Unidos y China está aumentando. Los científicos sostienen que esta falta de cooperación dificulta el logro de un consenso sobre las amenazas de la IA, lo que subraya aún más la necesidad de un diálogo y una colaboración globales.
A principios de septiembre de 2024, Estados Unidos, la Unión Europea y el Reino Unido firmaron el primer tratado internacional jurídicamente vinculante sobre inteligencia artificial del mundo. Este acuerdo prioriza los derechos humanos y la rendición de cuentas en la regulación de la inteligencia artificial. Sin embargo, algunas empresas tecnológicas y ejecutivos han expresado su preocupación por que una regulación excesiva pueda sofocar la innovación, en particular en la Unión Europea.
El grupo de expertos en IA que firmó la declaración incluye investigadores de importantes instituciones y universidades de IA, así como varios ganadores del Premio Turing, considerado el equivalente al Premio Nobel en informática.
Su experiencia colectiva otorga un peso significativo a las preocupaciones planteadas y las recomendaciones formuladas en la declaración.
La publicación Proteger a la humanidad de la IA: los expertos piden una supervisión global para prevenir una posible catástrofe de la IA apareció primero en Blockonomi.
