Ученые создали более точный и экономный метод дообучения языковых моделей

МОСКВА, 27 окт — РИА Новости.Исследователи "Т-Технологий" совместно с МФТИ, Университетом иннополис и "Сбером" разработали метод "Симплекслора" (SimplexLoRA), который повышает качество дообучения языковых моделей за счет того, что направляет больше ресурсов на слои, важные для конкретной задачи, сообщает Т-Банк. Работа представлена на Международной конференции по обработке естественного языка уровня A* (Conference on Empirical Methods in Natural

Первые 450 знаков материала. Читать далее у источника →

Читайте также

Похожие новости

[CNews] · Москва

Ученые МФТИ создали метод SimplexLoRA для автоматического распределения ресурсов в нейросетях

Ученые МФТИ разработали SimplexLoRA — метод дообучения больших языковых моделей, который автоматически определяет...

Вчера, 20:45 · 1 мин

[ТАСС] · Москва

Разработка МФТИ сократит расход на дообучение больших языковых моделей

Подход повышает качество без увеличения ресурсов и не создает дополнительной нагрузки при последующем использовании

Вчера, 16:36 · 1 мин

[Habr] · Забайкальский край

Perplexity и NVIDIA представили метод JOLT для эффективного дообучения языковых моделей

21 октября Perplexity Research вместе с NVIDIA представила метод JOLT (Joint On-policy Learning and Teaching) для пост-обучения языковых мо…

22.10, 19:31 · 1 мин

[CNews] · Москва

С полуслова: исследователи MWS AI и ИТМО сократили объем данных для обучения голосовых моделей новым языкам почти в четыре раза

Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе ИТМО...

Вчера, 13:32 · 1 мин

[Kod.ru] · Москва

Спекулятивное декодирование: как нейросети ускоряют генерацию текста, предугадывая следующие слова

Как маленькая модель набрасывает черновик, а большая проверяет его за один проход: почему метод ускоряет ответы в 2–3 раза без потери качес…

23.10, 15:00 · 1 мин