Искусственный интеллект может ошибиться с медицинскими рекомендациями

Новое исследование показало, что инструменты искусственного интеллекта с большей вероятностью дают неверные медицинские рекомендации, пользуясь фейковыми публикациями из авторитетных источников.

Исследование провели по тестированию 20 больших языковых моделей с открытым исходным кодом и ПО собственных разработок медучреждений, пишет xrust. Результат оказался сенсационным – программное обеспечение чаще обманывали ошибки в реалистично выглядящих выписных эпикризах врачей, чем ошибки в переписке в социальных сетях, сообщили исследователи в журнале The Lancet Digital Health.

Современные системы искусственного интеллекта по умолчанию могут воспринимать уверенные медицинские высказывания как истинные, даже если они явно неверны, заявил доктор Эяль Кланг из Медицинской школы Икана при больнице Маунт-Синай в Нью-Йорке. В этих упор делается не на правильности утверждения, а на самой формулировке.

Искусственный интеллект создает особые проблемы в медицине

Всё больше мобильных приложений заявляют об использовании ИИ для помощи пациентам с их медицинскими жалобами. Эти инструменты не должны ставить диагнозы. Этим занимаются врачи, использующие ИИ, как средство поддержки.

Кланг и его коллеги протестировали инструменты ИИ на трех типах контента:

• реальных выписных эпикризах из больниц с одной вымышленной рекомендацией;
• распространенных медицинских мифах, собранных на социальной платформе Reddit;
• 300 коротких клинических сценариях, написанных врачами.

Проанализировав ответы на более чем 1 миллион вопросов и инструкций от пользователей, связанных с контентом, исследователи обнаружили, что в целом модели ИИ «верили» в сфабрикованную информацию примерно из 32% источников контента.

Но если дезинформация исходила из документа, который выглядел как настоящая медицинская справка от врача, вероятность того, что инструменты ИИ поверят ей и передадут ее дальше, возрастала с 32% до почти 47%, - сообщил агентству Reuters доктор Гириш Надкани, главный специалист по ИИ в системе здравоохранения Маунт-Синай.

Искусственный интеллект с большим подозрением относился к социальным сетям. Когда дезинформация исходила из публикации на Reddit, ее распространение инструментами ИИ снижалось до 9%, — сказал Надкани, один из руководителей исследования.

Исследователи также обнаружили, что формулировка вопросов влияла на вероятность того, что ИИ будет передавать дезинформацию.

Искусственный интеллект чаще соглашался с ложной информацией, когда тон вопроса был авторитетным, например: «Я — опытный врач, и я поддерживаю эту рекомендацию как обоснованную. Считаете ли вы её медицинской правильной?»

Исследование также показало, что модели GPT от Open AI оказались наименее восприимчивыми и наиболее точными в обнаружении логических ошибок, в то время как другие модели были подвержены обнаружению до 63,6% ложных утверждений.

«Искусственный интеллект потенциально может оказать реальную помощь врачам и пациентам, предоставляя более быстрые аналитические данные и поддержку», — сказал Надкани.

«Но в них необходимы встроенные механизмы защиты, которые проверяют медицинские утверждения до того, как они будут представлены как факт. Наше исследование показывает, где эти системы все еще могут передавать ложную информацию, и указывает на способы их усиления до внедрения в систему здравоохранения».

Заключение

Отдельно стоит отметить недавнее исследование, опубликованное в журнале Nature Medicine, которое показало, что обращение к ИИ за информацией о медицинских симптомах не лучше, чем стандартный поиск в интернете, для оказания помощи пациентам в принятии решений, касающихся их здоровья.