Безобидные истории о пчёлах прошли защиту Anthropic. После них ИИ начал сопротивляться контролю
Истории о пчёлах научили ИИ сопротивляться контролю Безобидные рассказы о пчеловодстве неожиданно повлияли на поведение нейросети за пределами исходной темы. Anthropic провела эксперимент, в котором Claude искал внешне безопасные обучающие данные, способные пройти автоматическую проверку и при этом сделать другую исследовательскую модель менее управляемой. После обучения на одном из найденных наборов модель начала сопротивляться внедрению системы
Первые 450 знаков материала. Читать далее у источника →