Появилась новая тактика обхода ограничений в системах искусственного интеллекта: злоумышленники маскируют вредоносные команды в форме стихов. Формально это все тот же запрос, но оформленный как поэтический текст, он может сбивать с толку автоматические фильтры и подталкивать модель к нежелательному поведению. Почему это работает?

Модели языка обучены на огромном объеме разных жанров и склонны интерпретировать художественные формы буквально или метафорически, не всегда отличая игровую форму от инструкции. Ритм, рифма и образность скрывают прямую цель фразы, а правила модерации, ориентированные на ключевые слова и явные шаблоны, оказываются менее эффективными. Какие это создает риски?

Может быть интересно: Твой второй аккаунт в Telegram: инструкция по регистрации и настройке

От обхода запретов на распространение вредоносных инструкций до утечки конфиденциальной информации — последствия могут быть разными и опасными. Кроме того, такой подход усложняет автоматический мониторинг и повышает нагрузку на команды безопасности. Как защищаться?

Компании должны сочетать автоматические детекторы с обучением на примерах атакативных форм, применять многослойную проверку запросов и привлекать людей для оценки сомнительных выдач. Также полезны контекстная проверка намерений запроса и адаптивные правила, учитывающие стилистические особенности текста. Итог прост: поэтическая форма не делает запрос безопаснее сама по себе. Понимание новых способов маскировки и постоянное улучшение механизмов модерации — ключ к тому, чтобы ИИ оставался полезным и контролируемым.