От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2/10

В этой части мы создаем базовый корпус текстов для дистилляции представлений учителя. За основу общей скмантики возьмем дамп Википедии и добавим к нему доменные тексты (психология, психиатрия, психотерапия). Парсим тексты и формируем корпус, немного приводим текст в порядок (устраняем самые явные проблемы). Читать далее

Описание из RSS. Читать у источника →

Читайте также

Похожие новости

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 1/10

Просмотр слоев моделей, первые "пристрелочные" тесты для определения общего направления работы и выбор базовой модели для дистилляции. Эта…

29.10, 21:00 · 1 мин

[Habr] · Москва

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10

Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учи…

29.10, 15:00 · 1 мин

[Habr] · Москва

Шум в эмбеддингах не защищает данные: проверил 8 схем, и при 100 известных парах узнаётся ~90% документов

Коротко. Если хранить эмбеддинги с добавленным шумом, текст по ним восстановить трудно, но это не значит, что данные защищены. Я измерил, м…

30.10, 14:13 · 1 мин

[ПостНаука] · Москва

Классическая дидактика и ИИ

От педагогики информации к педагогике смыслов

14.10, 21:38 · 1 мин

[Habr] · Москва

«6 − 2 = 3»: как мы проверяем кодом задания, которые пишет языковая модель

Мы делаем учебную игру: человек пишет цель своими словами («таблица умножения», «дроби за 5 класс», «английский для поездки»), а игра строи…

28.10, 22:33 · 1 мин