Opinión de: Merav Ozair, PhD
2025 será el “año de los agentes de IA”, predijo el CEO de Nvidia, Jenson Huang, en noviembre de 2024. Esto abrirá el camino hacia una nueva era: la economía agente.
Huang describió a los agentes de IA como “empleados digitales” y predijo que algún día, Nvidia tendrá 50,000 empleados humanos y más de 100 millones de agentes de IA, y que cada organización probablemente verá un crecimiento similar en trabajadores de IA.
Pero describir a los agentes de IA como “trabajadores digitales” es demasiado simplista y socava las ramificaciones de esta tecnología.
La evolución del agente de IA
Hemos abordado la tecnología como una herramienta, pero la IA agente es más que una herramienta. La IA agente va más allá de simplemente realizar una única tarea: presenta un cambio fundamental en cómo interactuamos con la tecnología.
A diferencia de la IA generativa (GenAI), que depende de instrucciones humanas y no puede manejar de manera independiente razonamientos complejos de múltiples pasos o coordinación, la IA agente utiliza redes de agentes que aprenden, se adaptan y trabajan juntos. Los agentes de IA pueden interactuar y aprender unos de otros, y poseen la capacidad de tomar decisiones de manera autónoma, aprender de la experiencia, adaptarse a situaciones cambiantes y planificar acciones complejas de múltiples pasos, actuando efectivamente como un socio proactivo en lugar de ser solo una herramienta reactiva para ejecutar comandos predefinidos.
Reciente: Sam Altman espera los primeros trabajadores de IA este año; OpenAI más cerca de la AGI
Todos y todo podrían tener un agente de IA que trabajara de forma autónoma en su nombre. Las personas podrían usarlos para asistir en sus vidas diarias o profesionales, mientras que las organizaciones podrían usarlos como asistentes o trabajadores o una red de trabajadores. También podrías imaginar tener un agente de IA para un agente de IA. Las aplicaciones de IA agente son ilimitadas y están limitadas solo por nuestra imaginación.
Todo esto es muy emocionante, y los beneficios podrían ser inmensos, pero también lo son los riesgos. Los agentes de IA, especialmente los sistemas multiagente, no solo exacerbarían exponencialmente muchas de las vulnerabilidades éticas, legales, de seguridad y otras que hemos experimentado con GenAI, sino que crearían nuevas.
Los agentes de IA traen un nuevo nivel de riesgo
Los modelos de IA son impulsados por datos. Con la IA agente, la necesidad y dependencia de datos personales y propietarios está aumentando exponencialmente, al igual que las vulnerabilidades y riesgos. La complejidad de estos sistemas plantea todo tipo de preguntas sobre la privacidad.
Privacidad
¿Cómo aseguramos que se respeten principios de protección de datos como la minimización de datos y la limitación de propósito? ¿Cómo podemos evitar que los datos personales se filtren dentro de un sistema de IA agente? ¿Podrán los usuarios de los agentes de IA ejercer los derechos de los sujetos de datos, como el derecho a ser olvidados, si deciden dejar de usar el agente de IA? ¿Sería suficiente comunicar solo a “un” agente, esperando que “difunda” a toda la red de agentes?
Seguridad
Los agentes de IA pueden controlar nuestros dispositivos, y debemos examinar las posibles vulnerabilidades de dichos agentes si se ejecutan en nuestra computadora, teléfono inteligente o cualquier dispositivo IoT.
Si hay vulnerabilidades de seguridad, entonces no se limitará a una aplicación que ha sido comprometida. Tu “vida entera” — es decir, toda tu información en todos tus dispositivos y más — estaría comprometida. Esto es cierto tanto para individuos como para organizaciones. Además, estas vulnerabilidades de seguridad podrían “filtrarse” a otros sistemas de agentes de IA con los que tu agente “comprometido” interactuó.
Supongamos que un agente (o un conjunto de agentes) sigue estrictas pautas de seguridad. Supongamos que interactúan con otros (o un conjunto de agentes) que han sido comprometidos — por ejemplo, debido a la falta de medidas de ciberseguridad adecuadas. ¿Cómo podemos asegurar que los agentes comprometidos no actúen como un “virus” para contaminar a todos los agentes con los que interactúan?
Las implicaciones de tal escenario podrían ser devastadoras. Este “virus” podría diseminarse en milisegundos y, potencialmente, sistemas enteros podrían colapsar en naciones. Cuanto más complejas y entrelazadas sean las conexiones/interacciones, mayor será el peligro de colapso.
Sesgo y equidad
Ya hemos visto ejemplos de sistemas GenAI sesgados. En el contexto de los agentes de IA, cualquier sesgo existente se transmitirá a través de la cadena de ejecución de tareas, exacerbando el impacto.
¿Cómo podemos prevenir la discriminación o hacer cumplir disposiciones legales que aseguren la equidad cuando el sesgo está “incorporado” en el agente de IA? ¿Cómo aseguramos que los agentes de IA no exacerben el sesgo existente incorporado en un modelo de lenguaje grande (LLM) particular?
Transparencia
Las personas querrían estar al tanto del proceso de toma de decisiones de un agente. Las empresas deben asegurar que las interacciones de IA sean transparentes y permitir a los usuarios intervenir cuando sea necesario o optar por salir.
Responsabilidad
En sistemas agentes y la cadena de ejecución, ¿cómo podríamos definir la responsabilidad? ¿Es un agente específico? ¿O el sistema agente? ¿Y qué sucede si los sistemas agentes interactúan entre sí? ¿Cómo podrías construir la trazabilidad y las pautas adecuadas?
Aún no hemos descubierto cómo abordar estos problemas en las aplicaciones de LLM y GenAI. ¿Cómo podemos asegurar que podemos asegurar algo mucho más complejo? Más allá de esos riesgos, podría haber todo tipo de daños sociales a escala global.
La necesidad de una IA responsable y abarcadora
Los legisladores aún no han considerado los sistemas de IA agentes. Siguen luchando por entender cómo establecer límites a los LLM y las aplicaciones de GenAI. En la era de la economía agente, los desarrolladores, empresas tecnológicas, organizaciones y legisladores necesitan reexaminar el concepto de “IA responsable”.
Implementar gobernanza de IA y medidas adecuadas de IA responsable por organización o aplicación no es suficiente. El enfoque debería ser más holístico y abarcador, y la colaboración internacional sobre IA agente segura y protegida podría no ser opcional, sino más bien una necesidad.
La Dra. Merav Ozair ayuda a las organizaciones a implementar sistemas de IA responsables y mitigar los riesgos relacionados con la IA. Está desarrollando y enseñando cursos de tecnologías emergentes en la Universidad Wake Forest y la Universidad de Cornell y fue profesora de fintech en la Escuela de Negocios de Rutgers. También es fundadora de Emerging Technologies Mastery, una consultoría de Web3 e IA de extremo a extremo (y de innovación responsable), y tiene un doctorado de la Escuela de Negocios Stern de NYU.
Este artículo es solo para fines de información general y no está destinado a ser tomado como asesoría legal o de inversión. Las opiniones, pensamientos y puntos de vista expresados aquí son únicamente del autor y no reflejan necesariamente las opiniones y puntos de vista de Cointelegraph.