Компания OpenAI развернула внутреннюю систему безопасности Control Room, которая блокирует генерацию ответов исследовательских моделей не позднее чем через 35 секунд после получения команды на остановку.
Система интегрирована с инструментами мониторинга, которые следят за действиями обучаемых моделей и отправляют сигнал в Control Room при обнаружении потенциальных проблем.
Механизм блокировки реализован на уровне движка вывода, а не исследовательского кода, что обеспечивает отказоустойчивость даже при изменении программного обеспечения.
Если центральный сервис Control Room становится недоступен, вычислительные модули автоматически перестают выполнять запросы на генерацию до восстановления работы системы.
Команды на остановку могут поступать не только от сотрудников, но и от автоматических наблюдателей — отдельных моделей, анализирующих поведение обучаемых систем.
Система уже развернута для всех исследовательских нагрузок с фронтир-моделями, а распространение механизма отказа при сбое на остальные рабочие процессы планируется завершить в ближайшие дни.
Загрузка комментариев…