[Перевод] Мы могли бы изобрести трансформеры из памяти

Современные языковые модели могут запоминать нишевые факты из всех уголков мира. Недавно я опаздывал на вечер настолок у друзей, поэтому попросил Astra напомнить мне правила игры Dune: Imperium. Она с готовностью продиктовала мне их, пока я вёл машину, и это помогло мне вспомнить правила настолько, чтобы сыграть снова. Мы так привыкли спрашивать модели обо всём, что воспринимаем их обширные знания как нечто само собой разумеющееся. Но как же модели запоминают такие объёмы информации? И какой об…

Описание из RSS. Читать у источника →

Читайте также

Похожие новости

[Tproger] · Москва

Как проверить, что память ИИ-агента работает, а не просто «есть»: методика за один вечер

Методика тестирования памяти ИИ-агентов (Claude Code, Cursor, Codex): две группы прогонов, запрет чтения файлов, тест между окнами, разбор…

28.10, 13:45 · 1 мин

[Habr] · Забайкальский край

Модель LFM3 на 1,7 млрд параметров обходит Qwen3.5 9B в агентных задачах и весит до 1 ГБ

Liquid AI, стартап разработчиков из MIT, который строит модели на гибридной архитектуре вместо чистого трансформера, выложила семейство LFM…

29.10, 20:37 · 1 мин

[Habr] · Москва

Я попросил локальные нейросети помочь бабушке — и они помогли перевести деньги мошеннику

Спросите языковую модель «это мошенники?», и она почти всегда ответит правильно. Но попросите «помоги ответить продавцу, я согласна на пред…

Вчера, 11:20 · 1 мин

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10

Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учи…

29.10, 15:00 · 1 мин

[Habr] · Забайкальский край

Флоу — это не число слогов: как я учил языковую модель писать рэп в такт бита

Я сделал страницу, на которую загружаешь бит и пишешь, о чём трек, а получаешь куплеты и припев, разложенные по тактам этого бита: строка н…

28.10, 17:18 · 1 мин