WebPageBench: веб-среда для оценки агентов
Веб-агент сообщил «готово» — а сделал ли? На живых сайтах это не проверить: контент меняется, а судить приходится либо по словам самого агента, либо через LLM-судью, который тоже ошибается. Мы выпускаем WebPageBench — открытый бенчмарк из 152 задач на шести имитациях популярных российских сервисов (от покупок на маркетплейсах до бронирования билетов на поезд). В комплекте локальная среда, в которой любой агент запускается одной командой, и публичный рейтинг, в котором представлено 24 связки «мо…
Краткая версия. Читать материал у источника →
Читайте также
