В 2023 году проект Alphabet Everyday Robots был закрыт из-за неспособности андроидов эффективно работать в сложной естественной среде. Однако эта попытка привела к развитию технологии Code as Policy (CaP), где языковая модель (LLM) самостоятельно пишет код для управления манипулятором. В отличие от классических подходов с жестко заданной логикой или end-to-end обучения по пикселям, CaP использует LLM для перевода инструкций на естественном языке в исполняемый код на Python, вызывающий функции API робота. Этот метод рассматривает код как интерфейс между семантикой задачи и физическим исполнением, обеспечивая высокую интерпретируемость ошибок и возможность повторного использования функций.
Эффективность подхода раскрывается в агентном цикле, включающем наблюдение, генерацию кода и итеративную коррекцию. Агент получает изображение и состояние системы, пишет программу, запускает её и анализирует обратную связь. Если робот совершает ошибку, например, не сдвигает объект, модель корректирует код и пробует снова. Исследования с использованием бенчмарка CodeActionBench показывают, что мощные модели, такие как GPT-6 Astra с Codex CLI, могут решить 22 из 25 задач хотя бы раз за три попытки благодаря такой адаптации. Без итеративного процесса успешность действий была бы близка к нулю.
Несмотря на потенциал, метод сталкивается с серьезными проблемами. Во-первых, языковые модели плохо справляются с пространственным выравниванием: они могут некорректно переводить описания вроде «красный кубик слева от чашки» в точные координаты с учетом перспективы камеры, из-за чего робот схватывает воздух. Во-вторых, сгенерированный код часто игнорирует физические параметры, такие как сила сжатия захвата, так как LLM не имеет встроенной физической модели. В-третьих, системы могут ошибочно оценивать завершение задачи, считая её выполненной, хотя объект остался на месте или упал, что подтверждается данными исследования RoboProcessBench (2026).
Code as Policy не заменяет полностью VLA-модели, а занимает свою нишу, особенно там, где требуется быстрая адаптация к новым задачам без сбора больших датасетов. Для использования VLA-моделей необходимы тысячи траекторий и долгие часы обучения, тогда как CaP позволяет за пять минут создать работающего агента по описанию API. В будущем вероятно возникнут гибридные архитектуры, где LLM будет отвечать за высокоуровневое планирование и генерацию политик, а специализированные контроллеры или VLA-модели — за низкоуровневое физическое исполнение, обеспечивая надежность и точность манипуляций.
