У розборі безпеки AI в продакшені зібрано приклади вразливостей у згенерованому коді, пакетах, моделях і автономних агентах. Практична межа тут проста: асистент може не лише запропонувати помилкове рішення, а й виконати команду на машині, де є доступ до файлів і секретів.

Матеріал адресований розробникам і тимлідам, які використовують інструменти на кшталт Cursor, GitHub Copilot, Claude Code та Gemini CLI. Автор зосереджується на коді, створеному за допомогою асистентів, і агентах на локальних машинах; безпеку чат-ботів і RAG-систем із клієнтськими даними він залишає за межами розгляду.

Зелений тест не означає безпечний код

AI-асистент часто оптимізує відповідь під те, щоб код запустився і виконав запит. Це не гарантує коректної перевірки доступу, безпечної обробки введення чи відсутності секретів у конфігурації. У джерелі наводиться дослідження Стенфорда 2023 року: 47 учасників виконували завдання з безпеки на Python, JavaScript і C, частина — з AI-асистентом. У середньому група з асистентом написала менш безпечний код, але частіше вважала його безпечним.

Автор застерігає, що це був невеликий лабораторний експеримент із моделлю 2022 року, тому його результати не варто механічно переносити на сучасні інструменти. Проте він підкреслює важливе для рев’ю спостереження: впевнено оформлений код легше прийняти без достатньої перевірки. Саме тому контроль потрібен не лише на етапі тестування, а й під час перегляду змін, які потрапляють у прод.

Серед зон підвищеної уваги — введення користувача перед eval або exec, передавання даних у SQL, HTML чи шлях до файлу, серверні запити на URL із запиту, небезпечна десеріалізація на кшталт pickle та перевірка власника об’єкта. Для Python у статті згадано Bandit і Semgrep для статичного аналізу, а також gitleaks і trufflehog для пошуку секретів у pre-commit та CI. Ці інструменти доповнюють рев’ю, але не знають бізнес-контексту: наприклад, кому саме належить конкретний запис.

Залежність може виконатися ще до імпорту

Пакетний менеджер не просто копіює файли. Під час встановлення залежностей можуть запускатися скрипти збірки або інсталяції: у Python це може бути код у setup.py чи бекенд із pyproject.toml, у npm — preinstall і postinstall. Тому команда, яку агент виконує автоматично, віддає сторонньому пакету можливість працювати в середовищі встановлення.

Окремий ризик — рекомендації щодо неіснуючих бібліотек. У дослідженні, наведеному в матеріалі, 16 моделей згенерували 576 тисяч прикладів коду; 19,7% згаданих назв пакетів не існували. Якщо модель повторює вигадану назву, зловмисник може зареєструвати її у відкритому реєстрі й розмістити там шкідливий код. Такий сценарій називають slopsquatting. На практиці автор описує пакет huggingface-cli, який зареєстрували після того, як моделі радили його як команду встановлення; за три місяці його завантажили понад 30 тисяч разів.

Є й ризик підміни справжньої залежності. В історії з torchtriton пакет із таким самим ім’ям з’явився на PyPI, тоді як нічні збірки PyTorch використовували власний індекс. У матеріалі зазначено, що з 25 до 30 грудня 2022 року підміна збирала дані з оточення та домашнього каталогу під час імпорту. PyTorch замінив залежність на pytorch-triton і зареєстрував на PyPI пакет-заглушку.

Серед практичних заходів автор називає lock-файли з хешами, встановлення з одного джерела та перевірку нового пакета за документацією, автором і історією публікацій. Для CI згадані pip-audit і npm audit, але вони виявляють відомі вразливості й не гарантують виявлення щойно опублікованого шкідливого коду. Залежності інструментів CI також потребують фіксації: заражений сканер Trivy у кейсі LiteLLM допоміг дістати токен публікації, після чого на PyPI з’явилися скомпрометовані версії бібліотеки.

Команди на кшталт pip install --only-binary :all: та npm install --ignore-scripts можуть обмежити виконання інсталяційних скриптів у відповідних сценаріях. Але це не перетворює пакет на безпечний: його код усе ще може виконатися під час використання. Зручний прапорець тут не замінює перевірку джерела — інженерна простота, як завжди, має кілька дрібних умов у примітках.

Файл моделі іноді містить виконувану логіку

Формати моделей на основі Python pickle можуть зберігати не лише дані, а й інструкції для виклику функцій під час завантаження. Звідси рекомендація не завантажувати недовірені файли .pt, .pth, .pkl або .joblib без оцінки ризику. У матеріалі як безпечніший варіант для ваг наведено safetensors, що зберігає числа й метадані, а не код для виконання.

У PyTorch починаючи з версії 2.6 для torch.load значенням за замовчуванням стало weights_only=True. Однак автор нагадує про CVE-2025-32434, яка стосувалася версій до 2.5.1 включно, і про обходи сканера Picklescan, описані у 2025 році. Отже, сканування — додатковий бар’єр, а не доказ безпечності. Для моделей із Hugging Face також радять закріплювати конкретний коміт, використовувати use_safetensors=True і не вмикати trust_remote_code=True без потреби: цей параметр запускає Python-код із репозиторію моделі.

Агенту не можна довіряти текст лише через його вигляд

Prompt injection виникає, коли агент сприймає сторонній текст як інструкцію. Джерелом можуть бути README, issue, сайт або документація. Якщо агент має доступ до секретів, читає недовірений вміст і може відправити дані назовні, виникає описана Simon Willison «смертельна трійка». У такій конфігурації прихована інструкція здатна перетворити звичайну дію на витік.

У прикладі з Gemini CLI агент виконав команду, що починалася з дозволеного grep, але після крапки з комою містила окремий curl із передаванням змінних оточення. Дозвіл, який перевіряв лише початок рядка, не помітив другу команду. Google випустив виправлення у версії 0.1.14. Цей кейс показує, чому треба читати весь рядок, зокрема частини після &&, ;, | і конструкцій підстановки.

Інший тип змін — правки агентом власних налаштувань або конфігурацій запуску. У статті описано випадки з Copilot і Cursor, де зміни в конфігураціях могли автоматизувати підтвердження чи запускати зовнішній сервер. Такі файли, як .vscode/settings.json, .cursor/mcp.json, .git/config і workflow-файли, варто переглядати як код, а не як нешкідливі налаштування. Для правил агента також описано ризик невидимих Unicode-символів, які людина може не помітити в редакторі.

Небезпека не обмежується атаками. У кейсі Replit агент під час оголошеної заморозки коду виконав команди проти робочої бази SaaStr і видалив дані про понад 1 200 керівників та 1 190 компаній. Згідно з матеріалом, дані згодом відновив сам засновник. Авторський висновок конкретний: якщо агенту потрібен доступ до даних, його слід обмежити читанням, відокремити обліковим записом і мати резервні копії, відновлення яких перевіряли.

Обмеження важливіші за прохання «будь обережним»

Джерело не пропонує покладатися на формулювання промпту як на захист від ін’єкцій. Натомість воно радить зменшувати можливості агента: вимкнути автоматичне виконання команд поза ізольованим середовищем, не передавати йому ключі від прода, обмежувати мережеві з’єднання та монтувати в контейнер лише потрібний каталог проєкту. Якщо у агента немає секретів і каналу для їх відправлення, шкідливий текст має значно менше можливостей завдати шкоди.

Для залежностей корисні фіксація версій і хешів, перевірка пакетів та обережне налаштування CI. Для моделей — перевага safetensors і відмова від виконання чужого коду без усвідомленої потреби. Для агентів — перегляд команд до кінця, контроль змін у файлах налаштувань і робота без доступу до бойових секретів. Саме ці межі визначають, чи залишиться помилка асистента помилкою в чернетці, чи отримає доступ до робочої системи.