Искусственный интеллект Claude, воюющий в Иране, уволен

Искусственный интеллект, помогающий вам составить маркетинговое письмо или быстрый рецепт ужина, также использовался для атаки Ирана. Wall Street Journal написал, что Центральное командование США использовало ИИ Claude компании Anthropic для ведения войны в Иране.

Несколько часов назад президент США Дональд Трамп приказал федеральным ведомствам прекратить использование системы Claude, пишет xrust. Этому предшествовал спора с её создателем. Однако этот инструмент был настолько глубоко интегрирован в системы Пентагона, что на его демонтаж и замену на более подходящую систему потребуются месяцы. Кстати, Клауд также использовался в январской операции, которая привела к захвату Николаса Мадуро.

Claude, констатировали журналисты, занимался «разведывательными оценками» и «идентификацией целей»? Они не уточняют, указывал ли Клод места для нанесения ударов или делал оценки потерь. Военные этого не раскрывают, и, что тревожно, никто не обязан это делать.

Искусственный интеллект уже давно используется в военных действиях для анализа спутниковых снимков, обнаружения киберугроз и управления системами противоракетной обороны. Но чат-боты — та же самая технология, которую миллиарды людей используют для таких обыденных задач, как написание электронных писем, — теперь применяются и на поле боя.

В ноябре прошлого года компания Anthropic заключила партнерское соглашение с Palantir Technologies Inc., компанией, занимающейся анализом данных и выполняющей большой объем работы для Пентагона, превратив ее обширную языковую модель Claude в механизм логического мышления внутри системы поддержки принятия решений для военных.

Затем, в январе, компания Anthropic представила Пентагону предложение на 100 миллионов долларов на разработку технологии автономного управления роем дронов с помощью голоса, сообщило агентство Bloomberg News. Суть предложения компании заключалась в использовании системы Claude для преобразования намерений командира в цифровые инструкции для координации действий флота дронов.

Их заявка была отклонена, но условия конкурса требовали гораздо большего, чем просто обобщение разведывательных данных, как можно было бы ожидать от чат-бота. Этот контракт предусматривал разработку системы «информирования и обмена информацией о целях» и системы «от запуска до уничтожения» для потенциально смертоносных роев беспилотников.

В любом случае, «отставка» Claude означает, что система накосячила, а военные не проверяли предлагаемых решений искусственного интеллекта.

Примечательно, что всё это происходит в условиях отсутствия регулирования и с использованием технологий, которые, как известно, допускают ошибки. Галлюцинации, вызываемые крупными языковыми моделями, являются результатом их обучения, когда они получают вознаграждение за попытки найти ответ вместо признания неуверенности. Некоторые учёные утверждают, что постоянная проблема конфабуляции в искусственном интеллекте, возможно, никогда не будет решена.

Это не первый случай использования ненадежных систем искусственного интеллекта в военных действиях. Lavender представляла собой базу данных на основе ИИ, которая использовалась для идентификации военных целей, связанных с ХАМАС в Газе. Это была не большая языковая модель, а система, анализирующая огромные объемы данных наблюдения, таких как социальные связи и история местоположения, чтобы присвоить каждому человеку оценку от 1 до 100. Когда оценка человека превышала определенный порог, Lavender помечала его как военную цель.