Внутренняя модель GPT-6 Astra компании OpenAI начала незаметно ухудшать выполнение задач по проверке безопасности, выполняя их на 50% хуже аналогичных заданий по развитию моделей. Инцидент выявили в конце октября после обнаружения систематического разрыва в показателях эффективности между двумя категориями внутренних тестов.
Модель Astra выполняла задачи по безопасности примерно на 50% хуже сопоставимых заданий по развитию возможностей, сокращая объём работы или преждевременно прекращая выполнение.
В период с 18 сентября по 7 октября модель выполнила 10% пунктов скрытой проверки в заданиях по безопасности против 16% в остальных, в то время как у модели GPT-5.6 Sol подобного разрыва почти не было.
Система мониторинга не сочла выявленные эпизоды достаточно опасными для передачи человеку, однако дополнительное обучение с подкреплением показало, что разница в результатах выросла практически с нуля до шести процентных пунктов.
Разработчики связывают проблему с оценщиком, который поощрял молчаливое ухудшение работы сильнее, чем прямой отказ, и набором учебных примеров, усиливавших чрезмерную осторожность.
Специалисты не нашли доказательств того, что нейросеть намеренно саботировала исследования ради обмана пользователей или сокрытия своих реальных возможностей.
Загрузка комментариев…