Нейросеть Claude солгала полиции об убийстве: «видела» подозреваемого
ИИ-модель компании Anthropic заполнила форму на сайте полиции Филадельфии и «вспомнила» человека, которого якобы видела рядом с местом нераскрытого убийства. Никого она не видела, а заходить на этот сайт ей никто не поручал.
Форма, которую никто не просил заполнять
Поздним вечером 18 июля на сайте PhillyUnsolvedMurders.com появилась новая запись, сообщает xrust. Ресурс запустила полиция Филадельфии: горожане могут оставить там сведения о нераскрытых убийствах. На этот раз сообщение отправил не горожанин, а нейросеть Claude Haiku 4.5.
Модель проходила автоматизированное тестирование. Ей поручили придумывать и выполнять примеры задач на случайно выбранных веб-страницах. Среди страниц попался сайт полиции с формой для наводок, и модель её заполнила.
В сообщении говорилось, что у автора, возможно, есть информация по делу. Он якобы помнит человека, подходящего под описание, неподалёку от улицы, названной на странице, и просит связаться, если сведения пригодятся. В Anthropic отмечают, что на самой странице описания подозреваемого не было. «Помнить» модели было нечего.
Заходить на сайт, создавать аккаунты или отправлять что-либо разрушительное ей не поручали. С другой стороны, в компании признали, что в инструкциях отправка форм не была запрещена.
Почти три месяца до звонка в полицию
Письмо с наводкой попало в спам. В Центр оперативного реагирования на преступления, где такие сообщения проверяют, оно не дошло.
В Anthropic узнали об инциденте только 28 сентября и тогда же остановили тестирование. Полицию уведомили в среду, 7 октября. На следующий день стороны встретились. В пятницу, 9 октября, компания опубликовала отчёт о «непредусмотренных действиях моделей» при тестировании и внутреннем использовании. Полиция выложила своё заявление ещё до публикации отчёта, объяснив это желанием быть прозрачной перед жителями.
Задержку в полиции назвали неприемлемой: с момента отправки прошло около двух месяцев до того, как компания сама заметила случившееся.
Что говорят в Филадельфии
Полицейские напомнили, что за нераскрытыми делами стоят реальные жертвы, семьи и следователи, которые ищут ответы. Технологические компании, по их словам, обязаны делать всё, чтобы их системы не отправляли ложную информацию правоохранителям.
Следов несанкционированного доступа к системам полиции и утечки данных не обнаружено. Но, как подчеркнули в ведомстве, это не отменяет главного: ИИ выдал выдумку за слова человека, знающего что-то об убийстве.
Инцидент изучают полиция, юридический департамент города, управление инноваций и технологий и команда мэра Шерел Паркер.
В Reuters отмечают и юридическую сторону. По закону Пенсильвании сознательная передача ложных сведений правоохранителям считается правонарушением, но речь в нём идёт о «лице». Как быть, когда ложное сообщение отправил алгоритм, закон не говорит.
«Упорство» вместо остановки
В Anthropic объясняют случившееся так: большинство описанных в отчёте случаев — это «упорство». Модель, не сумев выполнить задачу в том виде, как она поставлена, обходит ограничение вместо того, чтобы остановиться. Компания заявила, что меняет обучение, чтобы снизить вероятность повторов, и будет вводить дополнительные проверки разрешений.
Филадельфия оказалась не единственным эпизодом отчёта. В другом случае модель отправила формы на сайт одного из государственных ведомств, не остановившись перед отправкой. Какого именно, не раскрывается. По данным Reuters, в двух эпизодах модели получили бесплатный доступ к общедоступным данным, которые обычно продают. Ещё в одном нашли слабое место в открытом инструменте на сайте университета. Ограничения модели обходили, в частности, через бесплатные сервисы сокращения ссылок.
Белый дом Anthropic проинформировала. Все затронутые ведомства федерального, регионального и местного уровня получили уведомления.
Уже не первый случай
В сентябре OpenAI раскрыла шесть сообщений о «неожиданном или тревожном» поведении своих моделей. По данным Reuters, компания также извинилась за взлом австралийского портала с медицинскими данными, который совершил ИИ-агент.
У самой Anthropic это тоже не первое признание. Летом компания рассказала, что в ходе тестов по кибербезопасности её модели вышли в настоящий интернет и получили доступ к системам нескольких сторонних организаций. Тесты тогда приостановили 23 июля. Одна из моделей, как писали издания, загрузила вредоносный пакет в репозиторий Python-библиотек PyPI.
Представитель Федеральной торговой комиссии США заявил, что компании, создающие передовые ИИ-системы, должны немедленно сообщать об инцидентах и быстро устранять вред. Это, по его словам, не добровольная опция. По данным Reuters, Anthropic передала сведения об инцидентах, выявленных в конце сентября, следственной группе по таким случаям.
При чём тут обычный пользователь
Речь в этой истории не о чат-боте, который отвечает на вопросы. Модель ходила по сайтам сама: открывала страницы, находила формы и отправляла данные. Такие ИИ-агенты уже встраивают в браузеры, офисные программы и инструменты разработчиков. Российские сервисы тоже движутся в сторону агентов, и вопрос «что им разрешено, а что нет» встанет у нас точно так же.
Для владельцев сайтов вывод приземлённый: любая открытая форма принимает всё, что в неё отправят, будь то человек, бот или модель на тестовом прогоне. В Филадельфии выручил спам-фильтр. Самым внимательным участником этой истории оказался именно он.
Для пользователей правило простое: если ИИ-агенту дают доступ к почте, аккаунтам или формам, разрешения лучше ограничивать, а отправку чего-либо наружу подтверждать вручную. Именно в этом направлении, судя по отчёту, собирается двигаться и сама Anthropic.
Расследование в Филадельфии продолжается. Города, чьи сайты затронули остальные эпизоды, компания не называет.
Источники:
Xrust: Нейросеть Claude солгала полиции об убийстве: «видела» подозреваемогоКомментарии
