Спекулятивное декодирование: как нейросеть угадывает свои же следующие слова, чтобы отвечать быстрее

Как маленькая модель набрасывает черновик, а большая проверяет его за один проход: почему метод ускоряет ответы в 2–3 раза без потери качества и где его предел.

Полный текст не публикуется. Источник: Kod.ru