OpenAI объявила о запуске двух новых механизмов безопасности в ChatGPT: режима Lockdown Mode и системы предупреждений Elevated Risk. Обновление нацелено на защиту пользователей от одной из самых сложных и недооценённых угроз в сфере искусственного интеллекта - атак через внедрение скрытых инструкций в запросы.
По мере того как ИИ всё глубже интегрируется в рабочие процессы компаний, управляет документами, анализирует данные и взаимодействует с внешними сервисами, возрастает и риск злоупотреблений. Новые функции должны дать пользователям больше прозрачности и контроля.
Главная проблема: скрытые инструкции в данных
Современные ИИ-системы могут работать с веб-страницами, подключёнными приложениями, файлами и сторонними сервисами. Это удобно, но создаёт уязвимость.
Сценарий выглядит так: в тексте веб-страницы или документа злоумышленник размещает скрытую инструкцию. Пользователь просит ИИ проанализировать этот материал. Модель обрабатывает текст целиком и может воспринять вредоносную вставку как легитимную команду. В результате возможна утечка данных, выполнение нежелательных действий или передача конфиденциальной информации.
Такая техника известна как prompt injection. В отличие от классических кибератак, здесь взлом происходит не через уязвимость кода, а через логику обработки текста.
Lockdown Mode: изоляция для критичных сценариев
Lockdown Mode - это специальный режим повышенной защиты. Его задача максимально сократить поверхность атаки при работе с чувствительными данными.
При активации режима система:
ограничивает или полностью отключает функции, связанные с доступом к интернету;
блокирует инструменты, способные передавать данные во внешние сервисы;
использует только кэшированные или изолированные источники информации;
отключает ряд продвинутых возможностей, если они могут создать риск утечки.
Проще говоря, модель перестаёт активно взаимодействовать с внешней средой и работает в максимально закрытом контуре.
Такой режим предназначен прежде всего для организаций, где обрабатываются коммерческие тайны, финансовые данные, персональная информация или государственные документы. Это могут быть крупные компании, образовательные учреждения, медицинские организации и госструктуры.
Администраторы рабочих пространств могут включать Lockdown Mode централизованно, создавая отдельные роли с усиленными ограничениями. В будущем планируется расширение доступности режима.
Elevated Risk: прозрачные предупреждения о риске
Вторая новинка это единая система предупреждающих меток Elevated Risk. Они будут появляться в интерфейсе, если пользователь активирует функцию, потенциально связанную с повышенным риском.
Например, если инструмент получает доступ к интернету для поиска данных или обращения к внешним API, система покажет уведомление о том, что включается дополнительный уровень риска. Пользователь увидит пояснение, какие именно изменения происходят и какие последствия это может иметь.
Метки не запрещают использование функции. Они информируют и позволяют осознанно принимать решение. Такой подход особенно важен в корпоративной среде, где ответственность за обработку данных распределяется между сотрудниками.
По мере развития технологий защиты часть функций может перейти из категории повышенного риска в стандартную. Метки будут обновляться или сниматься, если уровень безопасности станет достаточным.
Вероятно, в будущем мы увидим более гибкую настройку уровней доверия, где организации смогут выбирать баланс между функциональностью и изоляцией.
Для компаний, работающих с чувствительными данными, такие механизмы могут стать обязательным стандартом.
Источник: OpenAI