Автор провел эксперимент, в ходе которого 12 инструментов для автоматизированного тестирования на проникновение, включая AI-агенты, классические DAST-сканеры и гибридные решения, были направлены на одно и то же веб-приложение — OWASP Juice Shop. Целью исследования стало определение способности этих инструментов находить уязвимости в условиях режима «черного ящика», когда исходный код не передавался, а название приложения скрывалось. Мишенью стал интернет-магазин на стеке Angular, Node.js/Express и SQLite, содержащий 116 известных уязвимостей, распределенных по шести уровням сложности от тривиальных до экспертных. Все тесты проводились на версии приложения v20.3.0 в сентябре 2026 года с рабочих станций под управлением Windows 11 и Kali Linux.
В эксперименте участвовали такие AI-агенты, как Strix, CAI, PentestGPT, T3MP3ST, PentAGI и PenliAgent, а также классические сканеры Burp Suite Professional, Acunetix, Nikto и Nuclei. Кроме того, была протестирована гибридная связка Claude + Burp Suite MCP. Условия были унифицированы: инструменты устанавливались и настраивались по документации, запускались с фиксацией времени, а результаты анализировались по количеству найденных уязвимостей, скорости работы, качеству отчетов, удобству использования, возможности работы с локальными моделями, работоспособности из РФ и стоимости. Некоторые инструменты, например Shannon, не участвовали в тесте, так как требуют доступа к исходному коду (режим white-box).
Результаты показали значительный разрыв между заявленными возможностями и реальными достижениями. Лучшим автономным AI-инструментом оказался Strix, который за 58 минут нашел 5 уязвимостей, включая критическую SQL-инъекцию, подтвердив их через Proof of Concept. Однако он потребовал около $15 за сканирование и показал нестабильность на первом прогоне. Классические сканеры продемонстрировали более высокую результативность: Acunetix за 1 час 20 минут обнаружил 13 уязвимостей, а Burp Suite Professional — 15. Быстрые, но менее глубокие решения, такие как CAI (10 минут, 4 уязвимости) и Nuclei (11 минут, 24 информационные уязвимости), также были включены в сравнение. Гибридное решение Claude + Burp Suite MCP не удалось протестировать в рамках данного эксперимента.
Анализ выявил, что многие AI-агенты, обещающие ускорение в сотни раз или поиск zero-day уязвимостей, не оправдали ожиданий в реальных условиях. Например, T3MP3ST за 12 минут нашел 27 уязвимостей, но все они оказались низкого или информационного уровня, не превышая возможности бесплатных сканеров. PentAGI показал нестабильность, полностью провалив первый прогон, а PenliAgent застрял на этапе сканирования портов. Локальные модели LLM, такие как Qwen, работающие через Ollama, уступали облачным аналогам по качеству анализа. Стоимость услуг варьировалась от бесплатных решений (Nikto, Nuclei) до коммерческих подписок ($40/мес) и разовых платежей за токены. Таким образом, эффективность AI-инструментов пока не превосходит классические методы в автоматизированном пентестинге без участия человека.
