Рекорд Hutter Prize 2026: трансформер на 6 млн параметров и роль ИИ-агентов в сжатии данных

Источник

Конкурс Hutter Prize, существующий с 2006 года, в июле 2026 года зафиксировал самый значительный прогресс за свою 20-летнюю историю. За один месяц официальный рекорд улучшился почти на 10%, при этом 7,5% этого прироста обеспечил один-единственный шаг. Организаторы отметили, что это крупнейший скачок эффективности сжатия данных с момента создания приза. В отличие от предыдущих лет, когда улучшения шли медленно и ступенчато, в 2026 году были зафиксированы три победы в течение месяца, что вынудило организаторов пересмотреть процедуру судейства и начать её автоматизацию.

Ключевым достижением стал рекорд, установленный программой fx2-cmix-transformer, автором которой является Дэвид Фрилан. В основу алгоритма был положен трансформер с 6 миллионами параметров, заранее обученный на файле enwik9 (1 ГБ дампа Википедии). Обучение модели заняло 26 часов на восьми видеокартах RTX 5090, однако для финального сжатия и распаковки требуется только одно ядро процессора без использования GPU. Архитектура модели включает 12 слоев, где девять используют линейное внимание Kimi Delta Attention, а три — обычное внимание со скользящим окном. Замена онлайн-LSTM на этот трансформер позволила достичь показателя 0,911 ната на байт, что значительно превосходит предыдущие рекорды. Размер самого архиватора составляет около 97 МБ, включая веса модели, которые занимают примерно 2,9 МБ.

После публикации исходного кода рекордной программы в сообществе сжатия данных началась активная разработка производных алгоритмов с использованием искусственного интеллекта. За три месяца в таблице лидеров появилось не менее девяти новых заявок, созданных с помощью ИИ-агентов. Среди них выделяются проекты zmix от Джеймса Байрна, созданный при участии Claude Code, и makimono от Александра Скляренко, написанный с помощью OpenAI Codex. Участники признают, что агенты активно участвовали в написании кода, подборе параметров и оптимизации, что привело к наплыву заявок и задержке традиционного ручного судейства. Комитет конкурса вынужден был внедрить автоматизированного помощника для проверки заявок, так как человеческие эксперты не успевают за скоростью генерации кода.

Несмотря на успехи, ИИ-агенты пока не способны создать эффективный архиватор с нуля. Эксперименты показали, что модели, такие как Claude Opus 5.5, при попытке написать компрессор самостоятельно достигают результатов в 46–80% хуже текущего рекорда. Агенты демонстрируют высокую эффективность при улучшении уже существующих сильных основ, но не могут самостоятельно выстроить архитектуру с нуля. Это подтверждает гипотезу о том, что предобученные модели и специализированные алгоритмы дают наибольший прирост, тогда как попытки полного автоматического создания решений с помощью ИИ пока остаются менее результативными по сравнению с гибридным подходом человека и машин.

Текст подготовлен нейросетью Loople по материалам источника.

Читайте также

Похожие новости

Поиск по Loople

Назад