AI’s Inconsistency in Medical Emergencies Raises Concerns

Cryptopolitan · 2024-05-02T11:43:06.000Z

The recent study of Washington State University’s Elson S. Floyd College of Medicine provides key information on the possible barriers to artificial intelligence (AI) during emergency medical situations. In the published PLOS One study, the authors explored the capabilities of OpenAI’s ChatGPT program to decide on the cardiac risk of simulated patients in a case of chest pain. Inconsistent conclusions The outcomes point out a problematic level of variability in The ChatGPT’s conclusions while the same patient data is inputted. According to the word of Dr. Thomas Heston, the lead researcher, ChatGPT doesn’t work in a consistent way. When showing the exact same data, ChatGPT would give a low risk the first time, an intermediate risk the following time, and even, at times, a high-risk rating. This gap is very serious in critical life-threatening cases because in these cases, the essential and objective evaluations carry a lot of significance for the medical person to take the accurate and appropriate action. Patients may experience chest pain due to different diseases. Hence, the physician needs to examine the patient quickly and do timely treatment in order to give the patient proper care. The study found out also that ChatGPT’s performance was weak if compared to traditional methods used by doctors to assess patients’ cardiac risk. Today a two- sided checklist note method is used by doctors who evaluate patients approximately according to the TIMI and HEART protocols which are indicators for the degree of a heart patient’s illness. However, when offering as inputs to it such variables as those displayed in the TIMI and HEART scales, greater disagreement was reached with the scores by ChatGPT, with agreement rate being 45% and 48% for the respective scales. Suppose this diversity is to be found in the AI’s decision-making in high-risk medical cases. In that case, it leads one to question the AI’s reliability because it is these high-stakes situations that depend on consistent and accurate decisions. Addressing the limitations and potential of AI in healthcare Dr. Heston pointed out AI’s capability to boost healthcare support and stressed the necessity of conducting a thorough study to exclude deficiencies inherent in it. AI may be a necessary tool, but we are moving faster than we understand. Therefore, we ought to do much research, especially in commonly encountered clinical situations. Evidently, the research results have confirmed the importance of human nurses in these settings, although AI technology has also shown some advantages. Take the instance of an emergency during which digital health specialists would be able to peruse a patient’s full medical report, thus using the system’s capacity to offer only pertinent information with the greatest degree of efficiency. Besides that, AI can both participate in the generation of differential diagnoses and thinking about the challenging cases with doctors. This will help doctors move on more efficiently with the diagnostic process. Nonetheless, there still remains some issues according to Dr Heston. “It can be really good at helping you think through the differential diagnosis of something you don’t know, and it probably is one of its greatest strengths of all. I mean, you could ask it for the top five diagnoses and the evidence behind each one, and so it could be very good at helping you think through the problem but it just cannot give the straightforward answer.” Where AI is ever evolving, it is of paramount importance to evaluate its performance deeply, maybe just specially in high-risk situations like health care, to secure patients as such optimize medical decision-making.

Studiul recent al Colegiului de Medicină Elson S. Floyd de la Universitatea de Stat din Washington oferă informații cheie despre posibilele bariere în calea inteligenței artificiale (AI) în timpul situațiilor medicale de urgență. În studiul publicat PLOS One, autorii au explorat capacitățile programului ChatGPT al OpenAI de a decide asupra riscului cardiac al pacienților simulați într-un caz de durere toracică.
Concluzii inconsistente
Rezultatele evidențiază un nivel problematic de variabilitate în concluziile ChatGPT, în timp ce sunt introduse aceleași date despre pacient. Potrivit cuvântului Dr. Thomas Heston, cercetătorul principal, ChatGPT nu funcționează într-un mod consistent. Când afișează exact aceleași date, ChatGPT ar oferi un risc scăzut prima dată, un risc intermediar data următoare și chiar, uneori, un rating de risc ridicat.
Acest decalaj este foarte grav în cazurile critice care pun viața în pericol, deoarece în aceste cazuri, evaluările esențiale și obiective au o mare importanță pentru ca persoana medicală să ia măsurile corecte și adecvate. Pacienții pot prezenta dureri în piept din cauza diferitelor boli. Prin urmare, medicul trebuie să examineze pacientul rapid și să efectueze un tratament în timp util pentru a-i oferi pacientului îngrijirea adecvată.
Studiul a mai descoperit că performanța ChatGPT a fost slabă în comparație cu metodele tradiționale utilizate de medici pentru a evalua riscul cardiac al pacienților. Astăzi, medicii folosesc o metodă de note de verificare cu două fețe, care evaluează pacienții aproximativ conform protocoalelor TIMI și HEART, care sunt indicatori ai gradului de boală a pacientului cu inimă.
Cu toate acestea, oferind ca intrări variabile precum cele afișate în scalele TIMI și HEART, s-a ajuns la un dezacord mai mare cu scorurile ChatGPT, rata de acord fiind de 45% și 48% pentru scalele respective. Să presupunem că această diversitate se găsește în luarea deciziilor AI în cazurile medicale cu risc ridicat. În acest caz, ne conduce să punem la îndoială fiabilitatea AI, deoarece aceste situații cu mize mari depind de decizii consistente și precise.
Abordarea limitărilor și potențialului AI în domeniul sănătății
Dr. Heston a subliniat capacitatea AI de a stimula sprijinul pentru asistența medicală și a subliniat necesitatea efectuării unui studiu amănunțit pentru a exclude deficiențele inerente acestuia. AI poate fi un instrument necesar, dar ne mișcăm mai repede decât înțelegem. Prin urmare, ar trebui să facem multă cercetare, mai ales în situațiile clinice întâlnite frecvent.
Evident, rezultatele cercetării au confirmat importanța asistentelor umane în aceste situații, deși tehnologia AI a arătat și unele avantaje. Luați exemplul unei urgențe în care specialiștii în sănătate digitală ar putea citi cu atenție raportul medical complet al unui pacient, folosind astfel capacitatea sistemului de a oferi doar informații pertinente cu cel mai mare grad de eficiență. În plus, AI poate participa atât la generarea diagnosticelor diferențiale, cât și la gândirea la cazurile provocatoare cu medici. Acest lucru îi va ajuta pe medici să avanseze mai eficient cu procesul de diagnosticare.
Cu toate acestea, mai rămân unele probleme, potrivit doctorului Heston.
„Poate fi foarte bun în a te ajuta să te gândești la diagnosticul diferențial a ceva ce nu știi și probabil că este unul dintre cele mai mari puncte forte ale sale. Adică, ai putea să-i ceri primele cinci diagnostice și dovezile din spatele fiecăruia și, prin urmare, ar putea fi foarte bun să te ajute să te gândești la problemă, dar pur și simplu nu poate oferi un răspuns simplu.”
Acolo unde AI evoluează mereu, este de o importanță capitală să-i evaluăm performanța în profunzime, poate doar mai ales în situații cu risc ridicat, cum ar fi îngrijirea sănătății, pentru a asigura pacienții ca atare și a optimiza luarea deciziilor medicale.

Explorați mai multe de la acest creator

Ultimele știri