Ручной запуск немного хлопотно, но сэкономленная задержка действительно приятна

Китайский крипто-новостной сайт сообщает, что модель черновика начинает уходить с арены, а возможности предсказания нескольких токенов (mtp — multi-token prediction) для декодирования начинают применяться в локальных приложениях на фронтенде. Методmtp заключается в добавлении нескольких легких предсказательных головок в основную модель, позволяющих ей заранее угадывать последующие токены и самостоятельно проверять их. Верхнеуровневая модель уже предоставляет действия, а технический отчет deepseek-v3 включаетmtp в тренировочную цель, что указывает на возможность использования этого модуля для ускорения inference. Также начинают адаптировать фреймворки и инструменты для нижнего уровня inference, такие как llama.cpp, vllm и lm studio, пользователям необходимо скачать модели, поддерживающиеmtp, и вручную активировать его.