DeepSeek открыла код DeepInfer для инференса своих ИИ-моделей

DeepInfer предназначен для обслуживания большого числа пользователей при сохранении приемлемой стоимости. По заявлению DeepSeek, один кластер обрабатывает 155 трлн токенов в сутки, а доход при использовании тарифов в периоды низкой нагрузки составляет $38 в час на один GPU. Фреймворк поддерживает только модель DeepSeek-V4.1-Flash (по умолчанию загружается версия 1017) и совместим с GPU NVIDIA на архитектуре Blackwell (SM100) и ускорителями Huawei Ascend 950; поддержка NVIDIA Hopper и более старых поколений не предусмотрена. В DeepInfer есть два механизма ускорения: спекулятивное декодирование с системой DSpark, которое генерирует сразу пять токенов вспомогательной моделью и сокращает количество проверяемых «черновых» токенов на 30% (прирост производительности 4–7% в реальных нагрузках), и второй механизм, почти вдвое сокращающий объём вычислений при первичной обработке запроса за счёт повторного пропуска через слои декодера только последних 128 токенов. Код для управления KV-кэшем и балансировки нагрузки не опубликован, так как эти компоненты тесно связаны с внутренней инфраструктурой компании. Минимальная эффективная конфигурация — 128 GPU (по 64 для первичной обработки запросов и генерации ответов). Фреймворк доступен на GitHub под лицензией Apache 2.0, в комплект входит библиотека deepseek-recipe, использующая ту же логику преобразования запросов в токены, что и официальный API DeepSeek.