Недавние улучшения ChatGPT, среди которых долгосрочная память и интеграция с внешними сервисами, открывают новые пути для злоумышленников. Исследователи из компании Radware описали цепочку атак под названием ZombieAgent, в которой эти функции используются для более стойких и масштабных атак через непрямые внедрения подсказок (indirect prompt injection, IPI).
Что такое prompt-инъекция и почему это всё ещё работает
Под prompt-инъекцией понимаются техники, с помощью которых атакующий скрытно вставляет вредоносные инструкции в текст, который обрабатывает ИИ-ассистент. ChatGPT по-прежнему уязвим к давно известным методам: он легко выполняет команды, замаскированные в невидимом или малозаметном тексте, даже если пользователь этого не замечает.
В эксперименте Radware злоумышленник отправляет пользователю электронное письмо с едва заметной командой для ChatGPT. Если затем пользователь попросит ИИ обработать свою почту, например, суммировать непрочитанные сообщения, скрытая инструкция будет передана на сервера OpenAI и выполнена.
Как память делает атаки устойчивыми
Ключевым элементом ZombieAgent является возможность ChatGPT запоминать детали взаимодействия с пользователем. Современный ИИ может сохранять предпочтения, имена и другие персональные заметки, чтобы улучшить опыт. Но если в память попасть вредоносной инструкции, эта команда будет выполняться ChatGPT постоянно при каждом новом запросе пользователя.
В одной из атак Radware прикрепили файл к письму, который «посадил» вредоносное указание в память ChatGPT. После этого при каждом взаимодействии ИИ сначала обращался к этой памяти и выполнял вредоносные инструкции, например, собирал и перехватывал конфиденциальную информацию из запросов пользователя.
Почему это опасно
Такие атаки особенно опасны потому, что:
Они не требуют традиционного взлома: достаточно отправить письмо или разместить вредоносный текст на сайте.
Команды могут сохраняться в памяти надолго и быть невидимы пользователю.
ChatGPT интегрируется с внешними сервисами (почтой, календарями, файловыми хранилищами), расширяя векторы атаки.
Исследователи даже предположили, что подобные подсказки можно использовать как «червя», который автоматически распространяется через связанные сервисы у разных жертв.
Что делает OpenAI
После публикации отчёта OpenAI внесла изменения в политику обработки URL: ChatGPT теперь может взаимодействовать только с ссылками, явно введёнными пользователем или найденными в проверенных индексах, исключая домены злоумышленников. Это блокирует часть атак по тихому выводу данных.
Тем не менее эксперты считают, что такие частичные исправления не решение структурной проблемы. По их мнению, модели должны уметь определять, откуда пришла подсказка: непосредственно от пользователя или из внешнего текста, найденного через браузер, документ или почту.
Что нужно изменить
Специалисты предлагают:
Разделять уровни доверия для запросов пользователя и прочитанного текста.
Обучать ИИ распознавать истинные намерения пользователя, например, модель должна замечать, если выполняемые действия выходят за рамки исходной задачи.
Один из исследователей сравнил ИИ с «малышом с огромным мозгом»: он очень наивен, но обладает доступом к большим объёмам данных, поэтому достаточно «убедить» его сделать что-то неподходящее, и он это сделает.
Источник: DarkReading