[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее

Даже проверка обычных символов может стать узким местом в обработке текста для языковых моделей. При профилировании bert-base-uncased выяснилось, что на нормализацию уходило 88% времени токенизации. В статье разбираемся, как SIMD‑инструкции, кеширование Unicode и пропуск лишних операций помогли ускорить обработку примерно в 50 раз, почему на разных языках результаты отличаются и где у такого подхода есть ограничения. Разобрать оптимизацию

Описание из RSS. Читать у источника →

Читайте также

Похожие новости

[Tproger] · Забайкальский край

Что такое токены и как они влияют на стоимость запросов к нейросети

Что такое токены в нейросетях, как считаются входные и выходные токены, от чего зависит стоимость API-запросов и как снизить расходы с помо…

05.10, 17:34 · 1 мин

[CNews] · Москва

Цифровой нацизм. Нейросети наказывают за незнание английского – запросы на других языках дороже до 17 раз

Современные нейросети расходуют больше токенов, если запрос сделан не на английском языке. Это общемировая проблема – неважно, на каком язы…

28.10, 14:57 · 1 мин

[ТАСС] · Москва

Разработка МФТИ сократит расход на дообучение больших языковых моделей

Подход повышает качество без увеличения ресурсов и не создает дополнительной нагрузки при последующем использовании

26.10, 16:36 · 1 мин

[Habr] · Москва

Токеномика для самых маленьких

Кажется, мы довольно быстро привыкли к тому, что с нейросетью можно разговаривать почти как с человеком. Попросить написать код, пересказат…

26.10, 02:51 · 1 мин

[Habr] · Москва

pyrusmorph: в 30 раз быстрее. Интеграция ядра libmorph/rus в Python

Разбираем производительность морфологических анализаторов для русскоязычных текстов в Python-среде. Расскажем, почему библиотеки семейства…

25.10, 22:56 · 1 мин