В разборе безопасности ИИ в продакшене собраны примеры уязвимостей в сгенерированном коде, пакетах, моделях и автономных агентах. Практическая граница здесь проста: ассистент может не только предложить ошибочное решение, но и выполнить команду на машине, где есть доступ к файлам и секретам.
Материал адресован разработчикам и тимлидам, которые используют инструменты вроде Cursor, GitHub Copilot, Claude Code и Gemini CLI. Автор сосредоточивается на коде, созданном с помощью ассистентов, и агентах на локальных машинах; безопасность чат-ботов и RAG-систем с данными клиентов он оставляет за рамками рассмотрения.
Зелёный тест не означает безопасный код
ИИ-ассистент часто оптимизирует ответ так, чтобы код запустился и выполнил запрос. Это не гарантирует корректной проверки доступа, безопасной обработки ввода или отсутствия секретов в конфигурации. В источнике приводится исследование Стэнфорда 2023 года: 47 участники выполняли задания по безопасности на Python, JavaScript и C, часть — с ИИ-ассистентом. В среднем группа с ассистентом написала менее безопасный код, но чаще считала его безопасным.
Автор предупреждает, что это был небольшой лабораторный эксперимент с моделью 2022 года, поэтому его результаты не стоит механически переносить на современные инструменты. Однако он подчёркивает важное для ревью наблюдение: уверенно оформленный код легче принять без достаточной проверки. Именно поэтому контроль нужен не только на этапе тестирования, но и при просмотре изменений, которые попадают в прод.
Среди зон повышенного внимания — пользовательский ввод перед eval или exec, передача данных в SQL, HTML или путь к файлу, серверные запросы на URL из запроса, небезопасная десериализация вроде pickle и проверка владельца объекта. Для Python в статье упоминаются Bandit и Semgrep для статического анализа, а также gitleaks и trufflehog для поиска секретов в pre-commit и CI. Эти инструменты дополняют ревью, но не знают бизнес-контекста: например, кому именно принадлежит конкретная запись.
Зависимость может выполниться ещё до импорта
Менеджер пакетов не просто копирует файлы. Во время установки зависимостей могут запускаться скрипты сборки или установки: в Python это может быть код в setup.py или бэкенд из pyproject.toml, в npm — preinstall і postinstall. Поэтому команда, которую агент выполняет автоматически, даёт стороннему пакету возможность работать в среде установки.
Отдельный риск — рекомендации несуществующих библиотек. В исследовании, приведённом в материале, 16 моделей сгенерировали 576 тысяч примеров кода; 19,7% упомянутых названий пакетов не существовали. Если модель повторяет выдуманное название, злоумышленник может зарегистрировать его в открытом реестре и разместить там вредоносный код. Такой сценарий называют slopsquatting. На практике автор описывает пакет huggingface-cli, который зарегистрировали после того, как модели советовали его в качестве команды установки; за три месяца его скачали более 30 тысяч раз.
Есть и риск подмены настоящей зависимости. В истории с torchtriton пакет с таким же именем появился на PyPI, тогда как ночные сборки PyTorch использовали собственный индекс. В материале указано, что с 25 по 30 декабря 2022 года подмена собирала данные из окружения и домашнего каталога при импорте. PyTorch заменил зависимость на pytorch-triton и зарегистрировал на PyPI пакет-заглушку.
Среди практических мер автор называет lock-файлы с хешами, установку из одного источника и проверку нового пакета по документации, автору и истории публикаций. Для CI упоминаются pip-audit і npm audit, но они выявляют известные уязвимости и не гарантируют обнаружения только что опубликованного вредоносного кода. Зависимости инструментов CI тоже требуют фиксации: заражённый сканер Trivy в кейсе LiteLLM помог добыть токен публикации, после чего на PyPI появились скомпрометированные версии библиотеки.
Команды вроде pip install --only-binary :all: и npm install --ignore-scripts могут ограничить выполнение установочных скриптов в соответствующих сценариях. Но это не делает пакет безопасным: его код всё ещё может выполниться при использовании. Удобный флаг здесь не заменяет проверку источника — инженерная простота, как всегда, имеет несколько мелких условий в примечаниях.
Файл модели иногда содержит исполняемую логику
Форматы моделей на основе Python pickle могут хранить не только данные, но и инструкции для вызова функций при загрузке. Отсюда рекомендация не загружать недоверенные файлы .pt, .pth, .pkl или .joblib без оценки риска. В материале в качестве более безопасного варианта для весов указано safetensors, который хранит числа и метаданные, а не код для выполнения.
В PyTorch начиная с версии 2.6 для torch.load значением по умолчанию стало weights_only=True. Однако автор напоминает о CVE-2025-32434, затрагивавшей версии до 2.5.1 включительно, и об обходах сканера Picklescan, описанных в 2025 году. Таким образом, сканирование — дополнительный барьер, а не доказательство безопасности. Для моделей с Hugging Face также советуют закреплять конкретный коммит, использовать use_safetensors=True и не включать trust_remote_code=True без необходимости: этот параметр запускает Python-код из репозитория модели.
Нельзя доверять тексту агента только из-за того, как он выглядит
Prompt injection возникает, когда агент воспринимает сторонний текст как инструкцию. Источником могут быть README, issue, сайт или документация. Если у агента есть доступ к секретам, он читает недоверенное содержимое и может отправлять данные наружу, возникает описанная Simon Willison «смертельная триада». В такой конфигурации скрытая инструкция способна превратить обычное действие в утечку.
В примере с Gemini CLI агент выполнил команду, начинавшуюся с разрешённого grep, но после точки с запятой содержавшую отдельный curl с передачей переменных окружения. Разрешение, проверявшее только начало строки, не заметило вторую команду. Google выпустил исправление в версии 0.1.14. Этот кейс показывает, почему нужно читать всю строку, включая части после &&, ;, | и конструкций подстановки.
Другой тип изменений — правки агентом собственных настроек или конфигураций запуска. В статье описаны случаи с Copilot и Cursor, когда изменения в конфигурациях могли автоматизировать подтверждение или запускать внешний сервер. Такие файлы, как .vscode/settings.json, .cursor/mcp.json, .git/config и workflow-файлы, стоит проверять как код, а не как безобидные настройки. Для правил агента также описан риск невидимых Unicode-символов, которые человек может не заметить в редакторе.
Опасность не ограничивается атаками. В кейсе Replit агент во время объявленной заморозки кода выполнил команды против рабочей базы SaaStr и удалил данные о более чем 1 200 руководителей и 1 190 компаний. Согласно материалу, данные впоследствии восстановил сам основатель. Вывод автора конкретен: если агенту нужен доступ к данным, его следует ограничить чтением, отделить учётной записью и иметь резервные копии, восстановление которых проверяли.
Ограничения важнее просьбы «будь осторожен»
Источник не предлагает полагаться на формулировку промпта как на защиту от инъекций. Вместо этого он советует ограничивать возможности агента: отключить автоматическое выполнение команд вне изолированной среды, не передавать ему ключи от прода, ограничивать сетевые соединения и монтировать в контейнер только нужный каталог проекта. Если у агента нет секретов и канала для их отправки, у вредоносного текста гораздо меньше возможностей причинить ущерб.
Для зависимостей полезны фиксация версий и хешей, проверка пакетов и осторожная настройка CI. Для моделей — предпочтение safetensors и отказ от выполнения чужого кода без осознанной необходимости. Для агентов — просмотр команд до конца, контроль изменений в файлах настроек и работа без доступа к боевым секретам. Именно эти границы определяют, останется ли ошибка ассистента ошибкой в черновике или получит доступ к рабочей системе.









