Ученые МФТИ разработали новый метод дообучения больших языковых моделей, получивший название SimplexLoRA. Данная технология автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше вычислительных ресурсов, что повышает качество моделей без увеличения общего объема затрат. Статья о методе будет представлена на конференции EMNLP 2026 в Будапеште в октябре. Об этом сообщили представители МФТИ.
Существующие методы параметрически эффективного дообучения, такие как LoRA, используют небольшие дополнительные модули — адаптеры, которые позволяют быстро адаптировать универсальные модели к новым задачам. Однако традиционные подходы предполагают одинаковый размер адаптеров во всех слоях нейросети, хотя разные слои по-разному влияют на результат. Ученые МФТИ совместно с исследователями из «Т-Технологий» предложили способ, позволяющий автоматически увеличивать или уменьшать размер адаптеров в зависимости от потребностей модели. Разработанный метод SimplexLoRA оценивает, каким участкам нейросети необходимы более крупные адаптеры, а каким достаточно меньших, перераспределяя фиксированный бюджет между слоями.
В отличие от существующих методов адаптивного распределения ресурсов, которые часто усложняют процесс обучения или требуют дополнительных вычислений, SimplexLoRA не добавляет новые параметры, а оптимизирует уже имеющиеся. Обучение происходит поэтапно: сначала происходит распределение ресурсов, затем следует стандартное LoRA-обучение с новыми размерами адаптеров. Соавтор исследования и научный руководитель лаборатории BRAIn Lab Александр Безносиков отметил, что вместо назначения одинаковых адаптеров всем слоям, модель определяет, где ограниченный бюджет параметров принесет наибольшую пользу, особенно заметный эффект возникает при небольших рангах.
Эффективность метода была проверена на 12 задачах, включая анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались четыре языковые модели разного размера, включая Llama 3.1 8B и Qwen3-8B. Новый метод показал устойчивость к выбору настроек, и для получения стабильных результатов разработчикам не требуется длительный поиск оптимальных параметров. Исследователь Андрей Веприков из лаборатории BRAIn Lab подчеркнул, что SimplexLoRA сохраняет преимущества стандартного LoRA: небольшой объем обучаемых параметров, простоту интеграции и отсутствие дополнительных вычислений при использовании модели. Метод будет полезен при настройке языковых моделей в условиях ограниченной вычислительной мощности, а исходный код SimplexLoRA опубликован в открытом доступе.
