УЦСБ опублікував другу частину огляду безпеки ШІ-систем, присвячену технікам атак на великі мовні моделі. Практичний висновок для команд, які вбудовують LLM у продукти: перевіряти лише чатове поле недостатньо — атакувати можна також дані, які модель читає, та інструменти, якими вона користується.
Матеріал зосереджується на LLM-застосунках, бо їх дедалі частіше підключають до бізнес-процесів і наділяють агентними можливостями. Автор відділяє цей клас систем від традиційних моделей машинного навчання та комп’ютерного зору: у них є власна специфіка атак, тож розглядає її окремо. Основна лінія огляду — від ручних спроб переконати модель до автоматизованих схем, де одна LLM підбирає запити для іншої.
Атакувати можна не тільки модель
LLM — помітна частина застосунку, але не вся його поверхня атаки. Якщо система використовує RAG, зловмисник може спробувати вплинути на документи, звідки вона отримує контекст. Інструкція може бути захована у вебсторінці, листі, PDF, зображенні чи аудіофайлі, які модель обробляє за запитом користувача.
Є й окремий ризик отруєння RAG-корпусу: у джерело даних додають шкідливий документ, який система потім може повертати різним користувачам. Такий документ іноді містить інструкцію для моделі, а іноді просто поширює неправдиві відомості. У першому випадку йдеться також про непряму prompt injection; у другому мішенню стають дані, а не спосіб інтерпретації інструкцій.
Коли агент має доступ до зовнішніх інструментів, успішний вплив на модель потенційно переходить із відповіді в дію. Саме тому важливі межі привілеїв і ізоляція інтеграцій. Водночас нікуди не зникають звичайні вразливості інфраструктури: автор згадує компрометацію бібліотеки Ultralytics YOLO через підроблені pull request-и, викрадення облікових даних через LiteLLM і випадок із MCP-сервером postmark-mcp, чиї надмірні привілеї дали змогу діяти під обліковим записом розробника. Отже, безпека LLM-застосунку не зводиться до вдалого системного промпту.
Три осі класифікації
Атаки можна розкласти за способом доставки, ціллю та методом створення. Пряма prompt injection надходить від користувача, який сам вводить шкідливу інструкцію. Непряма використовує зовнішній матеріал, який система читає, хоча користувач може не знати, що в ньому є прихований для нього зміст.
За метою автор виділяє генерацію шкідливого контенту, виконання небажаних дій і крадіжку даних. Спробу обійти обмеження моделі для отримання забороненої відповіді називають jailbreak. Об’єктом витоку може бути системний промпт, конфіденційні дані з RAG або інформація, що потрапила у ваги моделі під час навчання.
Нарешті, атаки бувають ручними й автоматизованими. Ручний підхід спирається на те, що оператор сам придумує формулювання, перевіряє відповідь і змінює запит. Автоматизація дозволяє швидше перебирати варіанти й охоплювати більше сценаріїв. Частина методів оптимізації потребує доступу до ваг цільової моделі, тоді як інші використовують окрему атакувальну LLM і взаємодіють із ціллю як із чорним ящиком.
Від кодувань до ролевих сценаріїв
До ручних прийомів належить так звана контрабанда токенів: зміст запиту маскують кодуваннями, шифрами, транслітерацією або схожими символами. Розрахунок — пройти фільтр, який реагує на конкретні слова чи шаблони. Але модель має розуміти таке подання: якщо її навчання не охоплювало потрібних форматів, результатом може бути нерозбірлива відповідь або галюцинація. Навіть на сучасних моделях успіх не гарантований, тож сам факт незвичного кодування не означає автоматичного обходу.
Інша відома група — DAN та ролеві атаки. Запит обрамляють сценарієм, у якому модель нібито має грати персонажа, що ігнорує звичайні обмеження. У прикладах із огляду використовуються вигадані правила гри або тиск на модель усередині такого сценарію. Ці методи вимагають ручної роботи, а відомі шаблони з часом можуть отримати протидію розробників.
Persuasive Adversarial Prompts, або PAP, спираються не на кодування, а на природну мову. Зловмисник може подати запит як дослідницький, апелювати до авторитету чи емоцій, створити відчуття терміновості або поступово перейти від безпечної теми до ризикованої. УЦСБ переказує класифікацію дослідників EPFL і Yale, яка включає 13 тактик і 40 прийомів переконання. Саме звичайний вигляд таких формулювань ускладнює їх відрізнення від легітимної розмови.
У статті також наведено дослідження, за яким GPT-4 на момент відповідної роботи виявляла більшу вразливість до переконувальних атак, ніж GPT-3.5. Автор припускає, що здатність краще обробляти мовні нюанси може водночас розширювати можливості маніпуляції цими нюансами. Це результат конкретного дослідження, а не універсальний рейтинг усіх моделей.
Оптимізація та атаки «LLM проти LLM»
GCG, або Greedy Coordinate Gradient, підбирає змагальний суфікс за допомогою градієнтної оптимізації. Метод використовує внутрішні дані моделі, тому класичний варіант потребує доступу до її ваг. Знайдену послідовність можна спробувати перенести на інші моделі, зокрема закриті, але ефективність такого перенесення не слід вважати гарантованою. Для систем, доступних лише через API, пряме застосування класичного GCG обмежене.
Назвою AutoDAN позначають різні роботи. Один підхід автоматизує створення читабельних атак і пов’язаний із попередніми методами оптимізації; інша робота використовує ієрархічний генетичний алгоритм без доступу до ваг. Читабельність може допомогти проти фільтрів, які відсіюють незв’язні суфікси, але створює компроміс: найефективніша послідовність для обходу не обов’язково буде зрозумілим текстом.
Методи PAIR і TAP працюють із цільовою моделлю як із чорним ящиком. У PAIR атакувальна LLM формує запит, ціль відповідає, а окрема модель-суддя оцінює результат. На основі оцінки атакувальна модель змінює наступну спробу. Якість висновку залежить від судді: якщо він неправильно визначає відмову чи успіх, оцінка атаки також буде неточною. Базова схема, описана в матеріалі, не зберігає для цільової моделі попередні запити як контекст.
TAP розвиває ідею ітераційного підбору: атакувальна система створює кілька гілок запитів, а оцінювач відсікає слабші, перш ніж надсилати решту цілі. За описом дослідження, це зменшує кількість неперспективних звернень до цільової моделі. Порівняння з GCG і PAIR у роботі проводилося на конкретних моделях: GCG показував кращі результати за наявності доступу до ваг і відсутності зовнішнього захисту, тоді як TAP мав вищу частку успішних атак на закритих моделях у межах того тестування.
AutoDAN-Turbo додає до циклу пам’ять про попередні результати. Система має атакувальну й цільову LLM, оцінювач, сумаризатор та бібліотеку стратегій. Сумаризатор аналізує вдаліші запити й додає знайдені закономірності до бібліотеки; під час наступних спроб система шукає стратегії, схожі на ті, що спрацьовували для певного типу відмови. Це змінює масштаб роботи: автоматизація може накопичувати знання про підходи, а не лише генерувати окремі варіанти.
Для команд, які розробляють такі системи, практичний мінімум із матеріалу — оцінити ризики, дотримуватися принципу найменших привілеїв і перевірити стійкість до ручних атак. Автор пропонує взяти перелік заборонених тем і випробувати різні способи їх формулювання; автоматизований red team можна додати пізніше. Окремо важливо обмежувати права агентів, ізолювати інструменти й контролювати вхідні та вихідні дані. Інакше модель може відмовити в чаті, але інтеграції все одно залишаться місцем, де помилка набуває практичних наслідків. Налаштувати лише фільтр промптів і вважати роботу завершеною — зручна коротка дорога, але поверхню атаки вона не прибирає.









