Новый метод MIT делает ИИ более объяснимым

Учёные из Массачусетского технологического института представили новый метод, который помогает моделям искусственного интеллекта объяснять свои прогнозы более понятно и точно. Разработка была создана в лаборатории CSAIL MIT и будет представлена на Международной конференции по обучению представлениям. Технология может повысить доверие к ИИ в медицине, анализе изображений и других критически важных областях.

Почему объяснимость ИИ становится критически важной

Современные системы искусственного интеллекта часто называют «чёрным ящиком», констатирует xrust. Они способны давать точные прогнозы, но пользователи не всегда понимают, почему модель пришла именно к такому результату.

Это особенно важно в таких областях, как:

• медицинская диагностика;
• анализ медицинских изображений;
• научные исследования;
• системы безопасности.

Например, если алгоритм обнаруживает меланому на снимке кожи, врач должен понимать, какие признаки на изображении привели к такому выводу. Без этого доверие к алгоритму остаётся ограниченным.

Подробнее о лаборатории исследования можно узнать на официальном сайте MIT CSAIL:
https://www.csail.mit.edu

Метод «бутылочного горла концепций»

Один из способов сделать искусственный интеллект понятнее — использовать так называемую модель Concept Bottleneck Model (CBM).

Её принцип работы прост:

1. Сначала модель определяет понятные человеку признаки на изображении.
2. Затем использует эти признаки для финального прогноза.

Например, система распознавания птиц может учитывать:

• жёлтые ноги;
• синие крылья;
• форму клюва;
• окраску оперения.

После анализа этих признаков алгоритм определяет вид птицы.

Промежуточный этап — «бутылочное горло» — позволяет пользователю увидеть логику решения модели.

Главная проблема существующих систем

До сих пор большинство таких моделей работали с концепциями, которые заранее задавали люди или языковые модели.

Но у этого подхода есть серьёзные недостатки:

• некоторые концепции могут быть нерелевантными;
• описание признаков может быть слишком общим;
• модель может использовать скрытую информацию, не отражённую в объяснениях.

Эта проблема известна как утечка информации.

В результате ИИ иногда опирается на признаки, о которых пользователь даже не знает.

Новый подход: извлечение концепций из самой модели

Исследователи предложили альтернативный метод: извлекать концепции непосредственно из обученной модели.

Идея состоит в том, что нейросеть уже изучила огромное количество данных и сформировала собственные внутренние признаки для принятия решений.

Чтобы получить их, учёные применили несколько технологий:

• разреженный автокодировщик (sparse autoencoder);
• мультимодальную большую языковую модель (LLM);
• модуль распознавания концепций.

Процесс выглядит так:

1. Автокодировщик выделяет наиболее важные признаки внутри модели.
2. LLM переводит их в понятные текстовые описания.
3. Затем система автоматически помечает изображения этими концепциями.
4. После этого модель обучается делать прогнозы только на основе выявленных концепций.

В результате объяснения становятся гораздо ближе к реальному процессу работы нейросети.

Ограничение концепций для прозрачности

Чтобы сделать объяснения ещё понятнее, исследователи ввели дополнительное ограничение.

Для каждого прогноза модель может использовать не более пяти концепций.

Это даёт сразу несколько преимуществ:

• модель выбирает только самые важные признаки;
• объяснения становятся краткими;
• уменьшается вероятность скрытых факторов.

Результаты тестирования технологии

Новый метод протестировали на нескольких задачах компьютерного зрения.

Среди них:

• распознавание видов птиц;
• диагностика кожных заболеваний по медицинским изображениям.

По результатам экспериментов система:

• показала более высокую точность, чем предыдущие модели объяснимого ИИ;
• дала более понятные объяснения прогнозов;
• сформировала концепции, лучше соответствующие реальным данным.

Ведущий автор исследования Антонио Де Сантис, аспирант Миланского политехнического университета, объясняет цель разработки:

«Мы хотим научиться читать мысли моделей компьютерного зрения. Использование более совершенных концепций повышает точность прогнозов и делает системы ИИ более подотчётными».

Мнение независимых экспертов

Работу высоко оценили специалисты в области науки о данных.

Профессор Вюрцбургского университета Андреас Хото отметил:

«Этот подход открывает путь к объяснениям, которые лучше соответствуют реальной работе модели, и создаёт мост между интерпретируемым ИИ, символическим ИИ и графами знаний».

Подробнее о будущей конференции, где представят исследование:
https://iclr.cc

Что это означает для будущего искусственного интеллекта

Развитие объяснимого ИИ может изменить подход к использованию алгоритмов в чувствительных сферах.

Особенно это важно для:

• медицинских систем диагностики;
• автономных технологий;
• научных исследований;
• государственных и финансовых решений.

Чем понятнее алгоритмы объясняют свои выводы, тем легче специалистам проверять и контролировать их работу.

Выводы

Проблема объяснимости искусственного интеллекта активно обсуждается последние годы. По мере роста сложности нейросетей всё больше моделей становятся «чёрными ящиками», чьи внутренние процессы трудно интерпретировать.

Исследования в области Explainable AI (XAI) направлены на то, чтобы сделать алгоритмы более прозрачными и повысить доверие пользователей. Работа MIT стала одним из шагов в развитии технологий, которые помогают понять, как именно ИИ принимает решения.