Uno de los últimos proyectos vinculados al Departamento de Defensa y bajo la administración de Biden ha llegado a un final exitoso. La Oficina del Director de Inteligencia Artificial y Digital (CDAO) del Departamento de Defensa de los EE. UU. (DoD) ha completado el programa piloto de Garantía de Equipos Rojos de Inteligencia Artificial (CAIRT) de colaboración colectiva. Esta iniciativa está dedicada a integrar chatbots de IA en los servicios médicos militares.

Los chatbots del modelo de lenguaje extenso (LLM) se implementaron en el programa CAIRT. Además, CAIRT ayudó al Departamento de Defensa en el desarrollo de estrategias descentralizadas y colaborativas para la mitigación de riesgos de la IA y la garantía de la IA.

Más de 200 proveedores clínicos y analistas de atención médica contribuyeron a la identificación de posibles vulnerabilidades en el uso de chatbots de IA en aplicaciones médicas militares. Cabe destacar que el proyecto piloto identificó varios cientos de problemas potenciales, según informó el Departamento de Defensa.

Con ese fin, el Departamento de Defensa dijo: “Este ejercicio dará como resultado un resultado repetible y escalable a través del desarrollo de conjuntos de datos de referencia, que se pueden usar para evaluar futuros proveedores y herramientas para alinearlos con las expectativas de rendimiento”.

El programa CAIRT tras bambalinas

Según el Departamento de Defensa, una organización de inteligencia humanitaria sin fines de lucro llevó a cabo el proyecto piloto CAIRT LLM en colaboración con la Agencia de Salud de Defensa (DHA) y la Oficina Ejecutiva del Programa de Sistemas de Gestión de Atención Médica de Defensa (PEO DHMS).

Además, la inteligencia humana utilizó la metodología de trabajo en equipo para identificar problemas específicos del sistema. Esto implicó la prueba interna de la resiliencia del sistema utilizando técnicas adversarias.

Además, el trabajo en equipo atrajo a participantes interesados ​​en interactuar con tecnologías emergentes y como posibles futuros beneficiarios, quienes tuvieron la oportunidad de contribuir a la mejora de los sistemas.

En este programa, la inteligencia humana utilizó el trabajo en equipo colaborativo para abordar dos posibles aplicaciones en la medicina militar: el resumen de notas clínicas y un chatbot de asesoramiento médico.

Aunque se identificaron vulnerabilidades, el Departamento de Defensa destacó que “estos hallazgos desempeñarán un papel crucial en la formulación de políticas y mejores prácticas del Departamento de Defensa para el uso responsable de la IA generativa (GenAI), mejorando en última instancia la atención médica militar. Si, cuando se implementen, estos posibles casos de uso comprenden la IA cubierta definida en la OMB M-24-10, cumplirán con todas las prácticas de gestión de riesgos requeridas”.

Aun así, el Departamento de Defensa afirmó que el Programa de Garantía de CAIRT seguirá probando los LLM y los sistemas de IA. Esto acelerará la Célula de Capacidades Rápidas de IA del CDAO, hará que el objetivo de GenAI sea más efectivo y ayudará a generar confianza en todos los casos de uso del Departamento de Defensa.

El Dr. Matthew Johnson, responsable de esta iniciativa del CDAO, también dijo: “Dado que la aplicación de GenAI para tales fines dentro del Departamento de Defensa se encuentra en las primeras etapas de prueba y experimentación, este programa actúa como un pionero esencial para generar una gran cantidad de datos de prueba, identificar áreas para su consideración y validar opciones de mitigación que darán forma a la investigación, el desarrollo y la garantía futuros de los sistemas GenAI que puedan implementarse en el futuro”.

Se espera que la próxima administración continúe con estos proyectos. El equipo de Trump tiene una mentalidad abierta respecto de la IA, incluso cuando busca competir con China.

¿Qué tan segura es la IA en el ámbito médico?

Si bien la IA tiene un impacto enormemente beneficioso en la ciencia médica, conlleva varios riesgos y peligros importantes.

Para determinar el estado de salud de los pacientes, los sistemas de IA utilizan algoritmos específicos que requieren conjuntos de datos masivos para aumentar la precisión. Este método pone en riesgo la seguridad, la privacidad y la confidencialidad de los datos confidenciales de los pacientes. En la actualidad, dado que las empresas farmacéuticas y de seguros están interesadas en dichos conjuntos de datos, la piratería se ha expandido enormemente. La piratería de archivos médicos también puede ser parte de un ciberataque gubernamental.

Además, el envenenamiento de datos, es decir, la modificación intencional de datos médicos para inducir errores o sesgos en la atención médica, es otro riesgo importante del uso indebido de datos médicos. Esto perjudica la precisión y la fiabilidad de los consejos médicos. La IA que utiliza diferentes modelos de datos epidemiológicos, como en la pandemia de COVID-19, puede arrojar resultados diversos.

Otro problema sería un algoritmo médico defectuoso. Esto puede deberse a una prueba inadecuada del algoritmo, ya que no existen estándares establecidos para probar su validez. Por ejemplo, los ensayos doble ciego son la forma más eficaz de demostrar que un tratamiento funciona.

Sin embargo, ¿quién sería responsable de un error de esa magnitud: el médico de cabecera, el hospital, el proveedor del equipo o el desarrollador del algoritmo? Por lo tanto, los errores médicos causados ​​por un mal funcionamiento de las máquinas plantean graves problemas legales.

¿Chatbots de IA jugando al doctor? 🤖 Todavía no.

Un estudio revela que sus habilidades de diagnóstico son, en el mejor de los casos, precarias.

La inteligencia artificial para el cuidado de la salud aún necesita un impulso mental antes de que se le pueda confiar tu salud. 🩺 pic.twitter.com/W2ast8S7iO

— Autoridad CAD (@CAD_Authority) 2 de enero de 2025

Además, la IA también puede perjudicar las relaciones entre médicos y pacientes. Por lo tanto, los médicos deben comprender la evaluación y el rendimiento de la IA para explicar su función a los pacientes y reducir su ansiedad.

Por último, existe un fenómeno conocido como el efecto del “médico perezoso”. Si el médico emplea exclusivamente algoritmos de inteligencia artificial para el diagnóstico y el tratamiento, esto puede dar lugar a una pérdida progresiva e irreversible de las habilidades prácticas, la creatividad intelectual y la capacidad para resolver problemas médicos.

Sin embargo, las personas se han acostumbrado a los chatbots en su vida diaria. Con una investigación adecuada, los chatbots de IA pueden eliminar los pequeños errores que cometen los médicos, lo que hace que el espacio médico sea más seguro.

Consiga un trabajo bien remunerado en la Web3 en 90 días: la hoja de ruta definitiva