От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 4/10

Наконец создаем ученика — модель, которая будет "перенимать" представления учителя. Соберем "конструктор" из нужных нам слоев и проведем первые пристрелочные тесты, чтобы убедиться, что модель можно использовать. Читать далее

Описание из RSS. Читать у источника →

Читайте также

Похожие новости

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 1/10

Просмотр слоев моделей, первые "пристрелочные" тесты для определения общего направления работы и выбор базовой модели для дистилляции. Эта…

29.10, 21:00 · 1 мин

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2/10

В этой части мы создаем базовый корпус текстов для дистилляции представлений учителя. За основу общей скмантики возьмем дамп Википедии и до…

30.10, 14:01 · 1 мин

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10

Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учи…

29.10, 15:00 · 1 мин

[Habr] · Москва

«6 − 2 = 3»: как мы проверяем кодом задания, которые пишет языковая модель

Мы делаем учебную игру: человек пишет цель своими словами («таблица умножения», «дроби за 5 класс», «английский для поездки»), а игра строи…

28.10, 22:33 · 1 мин

[Habr] · Забайкальский край

[Перевод] Мы могли бы изобрести трансформеры из памяти

Современные языковые модели могут запоминать нишевые факты из всех уголков мира. Недавно я опаздывал на вечер настолок у друзей, поэтому по…

28.10, 19:01 · 1 мин