Недавно исследователи обнаружили серию уязвимостей в популярных ИИ-ассистентах, которые позволяют злоумышленникам тайно внедрять в промпты вредоносные команды. Эти дыры в безопасности дают возможность атакующим обходить фильтры и заставлять модель выполнять нежелательные инструкции — от утечки конфиденциальных данных до выполнения действий, противоречащих политике сервиса. Проблема возникает из-за того, как современные ассистенты обрабатывают сложные входные данные: вложенные подсказки, скрытые инструкции в формате текста или перекрестные запросы могут быть интерпретированы моделью как законные команды.

В ряде сценариев атаке достаточно одной хитрой фразы или структурированной последовательности, чтобы изменился контекст диалога и модель начала исполнять скрытые указания. Это особенно опасно в корпоративных и облачных интеграциях, где ИИ имеет доступ к внутренним системам и персональным данным. Авторы исследований предлагают несколько мер защиты.

В первую очередь — усиление проверки входящих промптов: фильтрация вложенных инструкций, нормализация формата сообщений и выявление аномалий в структуре запроса. Также важны многослойные ограничения на действия ассистента: строгие политики доступа, контроль вызовов API и логирование подозрительных операций. Наконец, обучение моделей на устойчивость к манипуляциям и регулярные аудиты безопасности помогут снизить риск эксплуатаций.

Пока разработчики и поставщики услуг внедряют улучшенные механизмы защиты, пользователям следует учитывать потенциальную опасность: не подключать ИИ-ассистентов к критичным системам без дополнительных барьеров, ограничивать разрешения и внимательно следить за логами и необычным поведением приложений. Только сочетание технологических и организационных мер позволит минимизировать угрозу, которую создают скрытые команды в промптах.