Один из последних проектов, связанных с DoD и при администрации Байдена, успешно завершился. Главное управление по цифровым технологиям и искусственному интеллекту (CDAO) Министерства обороны США (DoD) завершило пилотную программу Crowdsourced AI Red-Teaming (CAIRT) Assurance. Эта инициатива направлена ​​на интеграцию чат-ботов на основе ИИ в военные медицинские службы.

Чат-боты с большой языковой моделью (LLM) были внедрены в программу CAIRT. Кроме того, CAIRT помог Министерству обороны в разработке децентрализованных краудсорсинговых стратегий для снижения рисков ИИ и обеспечения ИИ.

Более 200 поставщиков клинических услуг и аналитиков здравоохранения внесли свой вклад в выявление потенциальных уязвимостей в использовании чат-ботов ИИ в военных медицинских приложениях. Примечательно, что пилот выявил несколько сотен потенциальных проблем, как сообщило Министерство обороны.

В связи с этим Министерство обороны заявило: «Это упражнение приведет к получению повторяемых и масштабируемых результатов посредством разработки контрольных наборов данных, которые можно будет использовать для оценки будущих поставщиков и инструментов на предмет соответствия ожиданиям по производительности».

Программа CAIRT за кулисами

По данным DoD, пилот CAIRT LLM был проведен некоммерческой организацией Humane Intelligence. Это было достигнуто в партнерстве с Агентством по здравоохранению Министерства обороны (DHA) и Исполнительным офисом программ систем управления здравоохранением Министерства обороны (PEO DHMS).

Кроме того, гуманная разведка использовала методологию red-teaming для выявления конкретных проблем системы. Это включало внутреннее тестирование устойчивости системы с использованием состязательных методов.

Кроме того, red-teaming привлек участников, заинтересованных во взаимодействии с новыми технологиями, и потенциальных будущих бенефициаров. Им была предоставлена ​​возможность внести свой вклад в улучшение систем.

В этой программе отдел гуманного интеллекта использовал краудсорсинговое взаимодействие для решения двух потенциальных задач в военной медицине: обобщение клинических записей и создание медицинского консультационного чат-бота.

Хотя уязвимости были выявлены, DoD подчеркнуло, что «эти результаты будут играть решающую роль в формировании политики и передовой практики DoD для ответственного использования генеративного ИИ (GenAI), в конечном итоге улучшая военную медицинскую помощь. Если при развертывании эти предполагаемые варианты использования будут включать в себя охваченный ИИ, определенный в OMB M-24-10, они будут соответствовать всем требуемым практикам управления рисками».

Тем не менее, DoD заявило, что программа обеспечения CAIRT продолжит тестирование LLM и систем ИИ. Это ускорит работу AI Rapid Capabilities Cell CDAO, сделает цель GenAI более эффективной и поможет укрепить доверие во всех вариантах использования DoD.

Руководитель этой инициативы в CDAO, доктор Мэтью Джонсон, также сказал: «Поскольку применение GenAI для таких целей в Министерстве обороны находится на ранних стадиях пилотирования и экспериментирования, эта программа выступает в качестве важного первопроходца для генерации массива данных тестирования, выявления областей для рассмотрения и проверки вариантов смягчения последствий, которые определят будущие исследования, разработки и гарантии систем GenAI, которые могут быть развернуты в будущем».

Ожидается, что будущая администрация продолжит эти проекты. Команда Трампа открыта к ИИ, даже несмотря на то, что она пытается конкурировать с Китаем.

Насколько безопасен ИИ в медицинской сфере?

Хотя ИИ оказывает огромное положительное влияние на медицинскую науку, он сопряжен с рядом существенных рисков и опасностей.

Для статуса системы ИИ используют специальные алгоритмы, которые требуют массивных наборов данных для повышения точности. Этот метод подвергает риску безопасность, конфиденциальность и конфиденциальность конфиденциальных данных пациентов. В настоящее время, поскольку фармацевтические и страховые корпорации заинтересованы в таких наборах данных, взломы значительно расширились. Взлом медицинских файлов также может быть частью правительственной кибератаки.

Кроме того, отравление данных, преднамеренное изменение медицинских данных для внесения ошибок или предвзятости в здравоохранение, является еще одним серьезным риском неправильного использования медицинских данных. Это вредит точности и надежности медицинских рекомендаций. ИИ, использующий различные модели эпидемиологических данных, как в пандемии COVID-19, может давать разные результаты.

Другой проблемой может быть некорректный медицинский алгоритм. Это может быть связано с неадекватным тестированием алгоритма, поскольку не существует установленных стандартов для проверки его валидности. Например, двойные слепые испытания являются наиболее эффективным способом доказать, что лечение работает.

Но кто будет нести ответственность за такую ​​ошибку — личный врач, больница, поставщик оборудования или разработчик алгоритма? Таким образом, медицинские ошибки, вызванные неисправностью машины, вызывают серьезные правовые вопросы.

Чат-боты на основе искусственного интеллекта играют в доктора? 🤖 Пока не совсем.

Исследование показывает, что их диагностические навыки в лучшем случае ненадежны.

Искусственному интеллекту в здравоохранении все еще нужна доработка, прежде чем ему можно будет доверить заботу о вашем здоровье. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Authority (@CAD_Authority) 2 января 2025 г.

Кроме того, ИИ может также ухудшить отношения между врачом и пациентом. Поэтому врачи должны понимать оценку и производительность ИИ, чтобы объяснить его роль пациентам и снизить их беспокойство.

Наконец, существует явление, известное как эффект «ленивого врача». Если врач использует исключительно алгоритмы ИИ для диагностики и лечения, это может привести к прогрессирующей, необратимой потере практических навыков, интеллектуальной креативности и способности решать медицинские проблемы.

Однако люди привыкли к чат-ботам в своей повседневной жизни. При надлежащем исследовании чат-боты на основе искусственного интеллекта могут устранить мелкие ошибки, которые допускают врачи, тем самым делая медицинское пространство более безопасным.

Получите высокооплачиваемую работу в Web3 за 90 дней: окончательный план действий