Um dos últimos projetos vinculados ao DoD e sob a administração de Biden chegou a um fim bem-sucedido. O Chief Digital and Artificial Intelligence Office (CDAO) do Departamento de Defesa dos EUA (DoD) concluiu o piloto do programa Crowdsourced AI Red-Teaming (CAIRT) Assurance. Esta iniciativa é dedicada à integração de chatbots de IA em serviços médicos militares.

Os chatbots do modelo de linguagem grande (LLM) foram implementados no programa CAIRT. Além disso, o CAIRT auxiliou o DoD no desenvolvimento de estratégias descentralizadas e de crowdsourcing para Mitigação de Risco de IA e Garantia de IA.

Mais de 200 provedores clínicos e analistas de saúde contribuíram para a identificação de vulnerabilidades potenciais no uso de chatbots de IA em aplicações médicas militares. Notavelmente, o piloto identificou várias centenas de problemas potenciais, conforme relatado pelo DoD.

Para esse fim, o DoD disse: “Este exercício resultará em resultados repetíveis e escaláveis ​​por meio do desenvolvimento de conjuntos de dados de referência, que podem ser usados ​​para avaliar futuros fornecedores e ferramentas para alinhamento com as expectativas de desempenho”.

Os bastidores do programa CAIRT

De acordo com o DoD, uma inteligência humana sem fins lucrativos conduziu o piloto do CAIRT LLM. Ela conseguiu isso em parceria com a Defense Health Agency (DHA) e o Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).

Além disso, a inteligência humana usou a metodologia red-teaming para identificar problemas específicos do sistema. Isso envolveu o teste interno da resiliência do sistema usando técnicas adversariais.

Além disso, o red-teaming atraiu participantes interessados ​​em interagir com tecnologias emergentes e como potenciais beneficiários futuros. Eles tiveram a oportunidade de contribuir para o aprimoramento dos sistemas.

Neste programa, a inteligência humana usou o red-teaming colaborativo para abordar duas possíveis aplicações na medicina militar: resumo de notas clínicas e um chatbot de aconselhamento médico.

Embora vulnerabilidades tenham sido identificadas, o DoD destacou que “essas descobertas desempenharão um papel crucial na formação de políticas e melhores práticas do DoD para uso responsável de IA Generativa (GenAI), melhorando, em última análise, o atendimento médico militar. Se, quando colocados em campo, esses casos de uso prospectivos compreenderem IA coberta definida no OMB M-24-10, eles aderirão a todas as práticas de gerenciamento de risco necessárias.”

Ainda assim, o DoD declarou que o CAIRT Assurance Program continuará testando LLMs e sistemas de IA. Isso acelerará a Célula de Capacidades Rápidas de IA do CDAO, tornará a meta GenAI mais eficaz e ajudará a construir confiança em todos os casos de uso do DoD.

O líder da CDAO para esta iniciativa, Dr. Matthew Johnson, também disse: “Como a aplicação do GenAI para tais propósitos dentro do DoD está em estágios iniciais de pilotagem e experimentação, este programa atua como um pioneiro essencial para gerar uma massa de dados de teste, áreas de superfície para consideração e validar opções de mitigação que moldarão futuras pesquisas, desenvolvimento e garantia de sistemas GenAI que podem ser implantados no futuro”,

Espera-se que a próxima administração continue esses projetos. A equipe de Trump tem a mente aberta sobre IA, mesmo que pareça competir com a China.

Quão segura é a IA no cenário médico?

Embora a IA tenha um impacto extremamente benéfico na ciência médica, ela traz consigo vários riscos e perigos significativos.

Para status, os sistemas de IA usam algoritmos específicos que exigem conjuntos de dados massivos para aumentar a precisão. Este método coloca dados sensíveis de pacientes em risco para segurança, privacidade e confidencialidade. Atualmente, como as corporações farmacêuticas e de seguros estão interessadas em tais conjuntos de dados, o hacking se expandiu muito. O hacking de arquivos médicos também pode fazer parte de um ataque cibernético do governo.

Além disso, o envenenamento de dados, a modificação intencional de dados médicos para induzir erros ou vieses na assistência médica, é outro grande risco de uso indevido de dados médicos. Isso prejudica a precisão e a confiabilidade do aconselhamento médico. A IA usando diferentes modelos de dados epidemiológicos, como na pandemia da COVID-19, pode produzir resultados diversos.

Outro problema seria um algoritmo médico falho. Isso pode ser devido a testes de algoritmo inadequados, já que não há padrões estabelecidos para testar sua validade. Por exemplo, ensaios duplo-cegos são a maneira mais eficaz de provar que um tratamento funciona.

Ainda assim, quem seria responsável por tal erro — o médico pessoal, o hospital, o fornecedor do equipamento ou o desenvolvedor do algoritmo? Assim, erros médicos causados ​​por mau funcionamento da máquina levantam sérias questões legais.

Chatbots de IA brincando de médico? 🤖 Ainda não.

Um estudo revela que suas habilidades de diagnóstico são, na melhor das hipóteses, instáveis.

A IA da área da saúde ainda precisa de um estímulo cerebral antes que você possa confiar sua saúde a ela. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Authority (@CAD_Authority) 2 de janeiro de 2025

Além disso, a IA também pode prejudicar as relações médico-paciente. Portanto, os médicos precisam entender a avaliação e o desempenho da IA ​​para explicar seu papel aos pacientes e reduzir a ansiedade dos pacientes.

Por fim, há um fenômeno conhecido como efeito “médico preguiçoso”. Se o médico emprega exclusivamente algoritmos de IA para diagnóstico e tratamento, isso pode resultar em uma perda progressiva e irreversível de habilidades práticas, criatividade intelectual e capacidade de resolver problemas médicos.

No entanto, as pessoas se acostumaram com Chatbots em suas vidas diárias. Com pesquisa adequada, Chatbots de IA podem eliminar os pequenos erros que os médicos cometem, tornando o espaço médico mais seguro.

Consiga um emprego Web3 bem remunerado em 90 dias: o roteiro definitivo