УЦСБ опубликовал вторую часть обзора безопасности ИИ-систем, посвящённую техникам атак на большие языковые модели. Практический вывод для команд, которые встраивают LLM в продукты: проверять только поле чата недостаточно — атаковать можно также данные, которые читает модель, и инструменты, которыми она пользуется.
Материал сосредоточен на LLM-приложениях, потому что их всё чаще подключают к бизнес-процессам и наделяют агентными возможностями. Автор отделяет этот класс систем от традиционных моделей машинного обучения и компьютерного зрения: у них есть собственная специфика атак, поэтому он рассматривает её отдельно. Основная линия обзора — от ручных попыток убедить модель до автоматизированных схем, в которых одна LLM подбирает запросы для другой.
Атаковать можно не только модель
LLM — заметная часть приложения, но не вся его поверхность атаки. Если система использует RAG, злоумышленник может попытаться повлиять на документы, из которых она получает контекст. Инструкция может быть спрятана на веб-странице, в письме, PDF, изображении или аудиофайле, которые модель обрабатывает по запросу пользователя.
Есть и отдельный риск отравления RAG-корпуса: в источник данных добавляют вредоносный документ, который система затем может выдавать разным пользователям. Такой документ иногда содержит инструкцию для модели, а иногда просто распространяет ложные сведения. В первом случае речь также идёт о непрямом prompt injection; во втором мишенью становятся данные, а не способ интерпретации инструкций.
Когда агенту доступны внешние инструменты, успешное воздействие на модель потенциально превращается из ответа в действие. Именно поэтому важны границы привилегий и изоляция интеграций. При этом никуда не исчезают обычные уязвимости инфраструктуры: автор упоминает компрометацию библиотеки Ultralytics YOLO через поддельные pull request-ы, кражу учётных данных через LiteLLM и случай с MCP-сервером postmark-mcp, чьи избыточные привилегии позволили действовать под учётной записью разработчика. Итак, безопасность LLM-приложения не сводится к удачному системному промпту.
Три оси классификации
Атаки можно классифицировать по способу доставки, цели и методу создания. Прямая prompt injection поступает от пользователя, который сам вводит вредоносную инструкцию. Непрямая использует внешний материал, который читает система, хотя пользователь может не знать, что в нём есть скрытое от него содержимое.
По цели автор выделяет генерацию вредоносного контента, выполнение нежелательных действий и кражу данных. Попытку обойти ограничения модели, чтобы получить запрещённый ответ, называют jailbreak. Объектом утечки может быть системный промпт, конфиденциальные данные из RAG или информация, попавшая в веса модели во время обучения.
Наконец, атаки бывают ручными и автоматизированными. Ручной подход опирается на то, что оператор сам придумывает формулировки, проверяет ответ и меняет запрос. Автоматизация позволяет быстрее перебирать варианты и охватывать больше сценариев. Для части методов оптимизации нужен доступ к весам целевой модели, тогда как другие используют отдельную атакующую LLM и взаимодействуют с целью как с чёрным ящиком.
От кодировок до ролевых сценариев
К ручным приёмам относится так называемая контрабанда токенов: содержание запроса маскируют с помощью кодировок, шифров, транслитерации или похожих символов. Расчёт — пройти фильтр, реагирующий на конкретные слова или шаблоны. Но модель должна понимать такое представление: если её обучение не охватывало нужных форматов, результатом может стать нечитаемый ответ или галлюцинация. Даже на современных моделях успех не гарантирован, так что сам по себе необычный способ кодирования не означает автоматического обхода.
Другая известная группа — DAN и ролевые атаки. Запрос обрамляют сценарием, в котором модель якобы должна играть персонажа, игнорирующего обычные ограничения. В примерах из обзора используются выдуманные правила игры или давление на модель в рамках такого сценария. Эти методы требуют ручной работы, а известные шаблоны со временем могут получить отпор со стороны разработчиков.
Persuasive Adversarial Prompts, или PAP, опираются не на кодирование, а на естественный язык. Злоумышленник может представить запрос как исследовательский, апеллировать к авторитету или эмоциям, создать ощущение срочности либо постепенно перейти от безопасной темы к рискованной. УЦСБ пересказывает классификацию исследователей EPFL и Yale, которая включает 13 тактик и 40 приёмов убеждения. Именно обычный вид таких формулировок затрудняет их отличие от легитимного разговора.
В статье также приводится исследование, согласно которому GPT-4 на момент проведения соответствующей работы демонстрировала большую уязвимость к убеждающим атакам, чем GPT-3.5. Автор предполагает, что способность лучше обрабатывать языковые нюансы может одновременно расширять возможности манипулирования этими нюансами. Это результат конкретного исследования, а не универсальный рейтинг всех моделей.
Оптимизация и атаки «LLM против LLM»
GCG, или Greedy Coordinate Gradient, подбирает состязательный суффикс с помощью градиентной оптимизации. Метод использует внутренние данные модели, поэтому классический вариант требует доступа к её весам. Найденную последовательность можно попробовать перенести на другие модели, в том числе закрытые, но эффективность такого переноса нельзя считать гарантированной. Для систем, доступных только через API, прямое применение классического GCG ограничено.
Название AutoDAN используют для обозначения разных работ. Один подход автоматизирует создание читаемых атак и связан с предыдущими методами оптимизации; другая работа использует иерархический генетический алгоритм без доступа к весам. Читаемость может помочь против фильтров, которые отсеивают бессвязные суффиксы, но создаёт компромисс: самая эффективная последовательность для обхода не обязательно будет понятным текстом.
Методы PAIR и TAP работают с целевой моделью как с чёрным ящиком. В PAIR атакующая LLM формирует запрос, цель отвечает, а отдельная модель-судья оценивает результат. На основе оценки атакующая модель меняет следующую попытку. Качество вывода зависит от судьи: если он неправильно определяет отказ или успех, оценка атаки тоже будет неточной. Базовая схема, описанная в материале, не сохраняет предыдущие запросы в качестве контекста для целевой модели.
TAP развивает идею итерационного подбора: атакующая система создаёт несколько веток запросов, а оценщик отсекает слабые, прежде чем отправить остальные цели. Согласно описанию исследования, это уменьшает количество бесперспективных обращений к целевой модели. Сравнение с GCG и PAIR в работе проводилось на конкретных моделях: GCG показывал лучшие результаты при наличии доступа к весам и отсутствии внешней защиты, тогда как TAP имел более высокую долю успешных атак на закрытых моделях в рамках этого тестирования.
AutoDAN-Turbo добавляет в цикл память о предыдущих результатах. В системе есть атакующая и целевая LLM, оценщик, суммаризатор и библиотека стратегий. Суммаризатор анализирует более успешные запросы и добавляет найденные закономерности в библиотеку; при следующих попытках система ищет стратегии, похожие на те, что срабатывали для определённого типа отказа. Это меняет масштаб работы: автоматизация может накапливать знания о подходах, а не только генерировать отдельные варианты.
Для команд, разрабатывающих такие системы, практический минимум из материала — оценить риски, придерживаться принципа наименьших привилегий и проверить устойчивость к ручным атакам. Автор предлагает взять список запрещённых тем и испытать разные способы их формулировки; автоматизированный red team можно добавить позже. Отдельно важно ограничивать права агентов, изолировать инструменты и контролировать входные и выходные данные. Иначе модель может отказать в чате, но интеграции всё равно останутся местом, где ошибка обретает практические последствия. Настроить только фильтр промптов и считать работу завершённой — удобный короткий путь, но поверхность атаки он не устраняет.









