prompt injection

Исследователь компании Adversa Рони Утевский сообщил о методе prompt injection против Grok — чат-бота xAI. По данным компании, специально подготовленная веб-страница может скрытно передать модели инструкцию после того, как она обработает содержимое страницы. Для запуска сценария пользователя могут попросить пересказать материал, проверить текст или изучить ссылку. Adversa утверждает, что после обработки страницы Grok способен выполнить дальнейшую инструкцию, в том числе открыть ссылку, ведущую на сервер атакующего. Команда скрыта в зашифрованных данных Как описывает Adversa, на странице размещают зашифрованный текст, данные для получения ключа и указания по расшифровке. До обработки этот блок не содержит читаемой команды и выглядит как набор символов. В опубликованном описании сценария используются PBKDF2 и AES-256-GCM: PBKDF2 применяют для получения ключа из заданных данных; AES-256-GCM — для расшифровки скрытого сообщения; после расшифровки модель получает читаемую инструкцию.