Unul dintre ultimele proiecte legate de DoD și sub administrația lui Biden s-a încheiat cu succes. Biroul șef de inteligență digitală și artificială (CDAO) al Departamentului de Apărare al SUA (DoD) a finalizat programul pilot de asigurare crowdsourced AI Red-Teaming (CAIRT). Această inițiativă este dedicată integrării chatbot-urilor AI în serviciile medicale militare. 

Chatbot-urile modelului de limbă mare (LLM) au fost implementate în programul CAIRT. În plus, CAIRT a asistat DoD în dezvoltarea de strategii descentralizate, crowdsourcing pentru reducerea riscurilor AI și asigurarea AI.

Peste 200 de furnizori clinici și analiști din domeniul sănătății au contribuit la identificarea potențialelor vulnerabilități în utilizarea chatbot-urilor AI în aplicațiile medicale militare. În special, pilotul a identificat câteva sute de probleme potențiale, așa cum a raportat DoD.

În acest scop, DoD a spus: „Acest exercițiu va avea ca rezultat rezultate repetabile și scalabile prin dezvoltarea de seturi de date de referință, care pot fi folosite pentru a evalua viitorii furnizori și instrumente pentru a se alinia la așteptările de performanță”. 

Programul CAIRT în culise

Potrivit DoD, o inteligență umană non-profit a condus pilotul CAIRT LLM. A realizat acest lucru în parteneriat cu Agenția pentru Sănătate a Apărării (DHA) și Biroul Executiv al Programului pentru Sistemele de Management al Sănătății Apărării (PEO DHMS).

În plus, inteligența umană a folosit metodologia red-teaming pentru a identifica probleme specifice ale sistemului. Aceasta a implicat testarea internă a rezilienței sistemului folosind tehnici adverse. 

Mai mult, gruparea roșie a atras participanți care sunt interesați să interacționeze cu tehnologiile emergente și ca potențiali viitori beneficiari. Li sa oferit oportunitatea de a contribui la îmbunătățirea sistemelor.

În acest program, inteligența umană a folosit gruparea roșie de tip crowdsourcing pentru a aborda două aplicații potențiale în medicina militară: rezumatul notei clinice și un chatbot de consiliere medicală.

Deși au fost identificate vulnerabilități, a subliniat DoD, „aceste constatări vor juca un rol crucial în modelarea politicilor DoD și a celor mai bune practici pentru utilizarea responsabilă a IA generativă (GenAI), îmbunătățind în cele din urmă îngrijirea medicală militară. Dacă, atunci când sunt puse în câmp, aceste cazuri de utilizare potențiale cuprind AI acoperite definite în OMB M-24-10, acestea vor adera la toate practicile necesare de gestionare a riscurilor.”

Cu toate acestea, DoD a declarat că Programul de asigurare CAIRT va continua să testeze LLM-urile și sistemele AI. Acest lucru va accelera celula de capabilități rapide AI a CDAO, va face obiectivul GenAI mai eficient și va ajuta la construirea încrederii în toate cazurile de utilizare ale DoD.

Conducătorul CDAO pentru această inițiativă, dr. Matthew Johnson, a mai spus: „Din moment ce aplicarea GenAI în astfel de scopuri în cadrul DoD se află în stadii anterioare de pilotare și experimentare, acest program acționează ca un reper esențial pentru generarea unei mase de date de testare, zone de suprafață. pentru a fi luate în considerare și validarea opțiunilor de atenuare care vor modela viitoarele cercetări, dezvoltare și asigurare a sistemelor GenAI care ar putea fi implementate în viitor.”

Se așteaptă ca viitoarea administrație să continue aceste proiecte. Echipa lui Trump este deschisă în privința inteligenței artificiale, chiar dacă pare să concureze cu China.

Cât de sigură este IA în peisajul medical? 

Deși AI are un impact extrem de benefic asupra științei medicale, este urmată de mai multe riscuri și pericole semnificative.

Pentru stare, sistemele AI folosesc algoritmi specifici care necesită seturi de date masive pentru a crește acuratețea. Această metodă pune în pericol datele sensibile ale pacientului pentru securitate, confidențialitate și confidențialitate. În prezent, deoarece corporațiile farmaceutice și de asigurări sunt interesate de astfel de seturi de date, hacking-ul s-a extins foarte mult. Hackerea fișierelor medicale poate face, de asemenea, parte dintr-un atac cibernetic guvernamental.

În plus, otrăvirea datelor, modificarea intenționată a datelor medicale pentru a induce erori sau părtiniri în asistența medicală, este un alt risc major de utilizare abuzivă a datelor medicale. Acest lucru afectează acuratețea și fiabilitatea sfatului medical. AI care utilizează diferite modele de date epidemiologice, cum ar fi în pandemia COVID-19, poate da rezultate diverse.

O altă problemă ar fi un algoritm medical defectuos. Acest lucru se poate datora testării inadecvate a algoritmului, deoarece nu există standarde stabilite pentru a-i testa validitatea. De exemplu, studiile dublu-orb sunt cea mai eficientă modalitate de a dovedi că un tratament funcționează. 

Totuși, cine ar fi răspunzător pentru o astfel de greșeală - medicul personal, spitalul, furnizorul de echipamente sau dezvoltatorul algoritmului? Astfel, erorile medicale cauzate de funcționarea defectuoasă a mașinii ridică probleme legale serioase.

Chatbots AI care joacă doctor? 🤖 Nu încă deloc.

Un studiu dezvăluie că abilitățile lor de diagnosticare sunt în cel mai bun caz șocante.

Inteligența artificială din domeniul sănătății are încă nevoie de o creștere a creierului înainte de a putea fi de încredere cu sănătatea ta. 🩺 pic.twitter.com/W2ast8S7iO

— Autoritatea CAD (@CAD_Authority) 2 ianuarie 2025

De asemenea, AI poate afecta relațiile medic-pacient. Prin urmare, medicii trebuie să înțeleagă evaluarea și performanța AI pentru a explica rolul acesteia pacienților și pentru a reduce anxietatea pacientului.

În cele din urmă, există un fenomen cunoscut sub numele de efectul „medicului leneș”. Dacă medicul folosește exclusiv algoritmi AI pentru diagnostic și tratament, acest lucru poate duce la o pierdere progresivă și ireversibilă a abilităților practice, a creativității intelectuale și a capacității de a rezolva probleme medicale.

Cu toate acestea, oamenii s-au obișnuit cu chatbot-urile în viața lor de zi cu zi. Cu o cercetare adecvată, AI Chatbots pot elimina micile greșeli pe care le fac medicii, făcând astfel spațiul medical mai sigur.

Obține o slujbă Web3 bine plătită în 90 de zile: cea mai bună foaie de parcurs