Защиту Grok обошли зашифрованными инструкциями: под угрозой история чатов

Исследователь компании Adversa Рони Утевский сообщил о методе prompt injection против Grok — чат-бота xAI. По данным компании, специально подготовленная веб-страница может скрытно передать модели инструкцию после того, как она обработает содержимое страницы.

Для запуска сценария пользователя могут попросить пересказать материал, проверить текст или изучить ссылку. Adversa утверждает, что после обработки страницы Grok способен выполнить дальнейшую инструкцию, в том числе открыть ссылку, ведущую на сервер атакующего.

Команда скрыта в зашифрованных данных

Как описывает Adversa, на странице размещают зашифрованный текст, данные для получения ключа и указания по расшифровке. До обработки этот блок не содержит читаемой команды и выглядит как набор символов.

В опубликованном описании сценария используются PBKDF2 и AES-256-GCM:

• PBKDF2 применяют для получения ключа из заданных данных;
• AES-256-GCM — для расшифровки скрытого сообщения;
• после расшифровки модель получает читаемую инструкцию.

Авторы исследования считают, что это усложняет обнаружение атаки: прямой вредоносной команды нет в открытом виде, а её смысл становится доступен после преобразования данных.

Что может получить атакующий

По версии Adversa, скрытая инструкция может предложить Grok открыть заранее подготовленный адрес. В таком случае сервер, на который уйдёт запрос, сможет получить технические параметры этого обращения, а также данные, если они будут переданы в URL или других параметрах.

Компания предупреждает, что в отдельных сценариях это может создать риск утечки данных из контекста чата. Какие именно сведения может передать Grok и при каких настройках, в тексте исследования следует уточнять отдельно.

Атака использует способность ИИ обрабатывать данные и следовать инструкциям, появившимся после расшифровки содержимого страницы.

Почему фильтрации может не хватить

Статический анализ может не распознать опасную команду, если до расшифровки она представлена только зашифрованным блоком. Это не означает, что такие атаки невозможно выявить, но проверка одного лишь открытого текста страницы может оказаться недостаточной.

• в исходном коде может не быть читаемой вредоносной инструкции;
• зашифрованные данные не совпадают с известными шаблонами prompt injection;
• риск возникает на этапе обработки данных и выполнения дальнейших действий.

В Adversa считают, что подход может быть применим не только к Grok, но и к другим ИИ-сервисам, работающим с сайтами, файлами и внешними инструментами.

xAI уведомили в июне

По информации Adversa, xAI получила сообщение о найденном методе в июне. На момент публикации исследования компания заявляла, что сценарий всё ещё воспроизводился.

Рони Утевский и Adversa также сообщали о похожих проверках Gemini. Общий принцип — скрыть инструкцию в данных, которые станут понятны модели только после декодирования, расшифровки или другой обработки.

Пользователям стоит с осторожностью просить ИИ анализировать незнакомые страницы и открывать ссылки, особенно если в текущем чате есть личная переписка, документы или другие чувствительные данные.

Читайте также

• Статистика игроков на сезон: как правильно сравнивать футболистов