與國防部有關、拜登政府的最後一個項目之一已圓滿結束。美國國防部首席數字和人工智能辦公室（CDAO）已完成衆包人工智能紅隊（CAIRT）保證計劃試點。該計劃致力於將人工智能聊天機器人整合到軍事醫療服務中。
大型語言模型 (LLM) 聊天機器人已在 CAIRT 計劃中實施。此外，CAIRT 還協助國防部制定分散的衆包 AI 風險緩解和 AI 保障策略。
超過 200 名臨牀提供者和醫療保健分析師參與了識別軍事醫療應用中使用人工智能聊天機器人的潛在漏洞的工作。值得注意的是，據國防部報告，該試點發現了數百個潛在問題。
爲此，國防部表示，“這次演習將通過開發基準數據集產生可重複、可擴展的輸出，可用於評估未來供應商和工具是否符合性能預期。”
CAIRT 計劃幕後
據國防部稱，一家非營利性人道主義情報機構開展了 CAIRT LLM 試點項目。該項目與國防衛生局 (DHA) 和國防醫療保健管理系統項目執行辦公室 (PEO DHMS) 合作完成。
此外，人道情報部門使用紅隊方法來識別特定的系統問題。這涉及使用對抗技術對系統彈性進行內部測試。
此外，紅隊測試還吸引了那些對新興技術感興趣並希望成爲未來受益者的參與者。他們有機會爲系統的改進做出貢獻。
在這個項目中，人文智能使用衆包紅隊來解決軍事醫學中的兩個潛在應用：臨牀記錄總結和醫療諮詢聊天機器人。
儘管發現了漏洞，但國防部強調，“這些發現將在制定國防部負責任地使用生成式人工智能 (GenAI) 的政策和最佳實踐方面發揮關鍵作用，最終改善軍事醫療服務。如果在部署時，這些潛在用例包含 OMB M-24-10 中定義的涵蓋人工智能，它們將遵守所有必需的風險管理實踐。”
不過，國防部表示，CAIRT 保證計劃將繼續測試 LLM 和 AI 系統。這將加快 CDAO 的 AI 快速能力小組，使 GenAI 目標更加有效，並有助於在所有國防部用例中建立信任。
CDAO 負責該計劃的 Matthew Johnson 博士還表示：“由於在國防部內將 GenAI 用於此類目的尚處於試點和實驗的早期階段，該計劃是生成大量測試數據、發現需要考慮的領域和驗證緩解方案的重要探索者，這些方案將影響未來可能部署的 GenAI 系統的研究、開發和保證。”
預計新一屆政府將繼續這些項目。特朗普團隊對人工智能持開放態度，儘管它希望與中國競爭。
人工智能在醫療領域有多安全？
儘管人工智能對醫學科學產生了巨大的有益影響，但隨之而來的是一些重大的風險和危險。
就現狀而言，人工智能系統使用特定算法，需要大量數據集來提高準確性。這種方法將敏感的患者數據置於安全、隱私和保密風險之中。目前，由於製藥和保險公司對此類數據集感興趣，黑客攻擊已大大擴展。醫療文件黑客攻擊也可能是政府網絡攻擊的一部分。
此外，數據中毒，即故意修改醫療數據以導致醫療保健中的錯誤或偏見，是醫療數據濫用的另一個主要風險。這會損害醫療建議的準確性和可靠性。人工智能使用不同的流行病學數據模型，例如在 COVID-19 疫情中，可能會產生不同的結果。
另一個問題是醫療算法存在缺陷。這可能是由於算法測試不足，因爲沒有既定的標準來測試其有效性。例如，雙盲試驗是證明治療有效的最有效方法。
然而，誰應該爲這樣的錯誤負責——私人醫生、醫院、設備提供商還是算法開發者？因此，由機器故障引起的醫療錯誤引發了嚴重的法律問題。
人工智能聊天機器人扮演醫生？🤖 還沒有。
一項研究表明，他們的診斷技能充其量也只是不穩定的。
醫療人工智能仍需要大腦的推動，才能被信任負責你的健康。🩺 pic.twitter.com/W2ast8S7iO
— CAD 管理局 (@CAD_Authority) 2025 年 1 月 2 日
此外，人工智能還可能損害醫患關係，因此醫生需要了解人工智能的評估和性能，向患者解釋其作用，減少患者的焦慮。
最後，還有一種現象被稱爲“懶惰醫生”效應。如果醫生只使用人工智能算法進行診斷和治療，這可能會導致實踐技能、智力創造力和解決醫療問題的能力逐漸、不可逆轉地喪失。
然而，人們在日常生活中已經習慣了聊天機器人。通過適當的研究，人工智能聊天機器人可以消除醫生犯下的小錯誤，從而使醫療領域更加安全。
90 天內找到一份高薪的 Web3 工作：終極路線圖