Открытый проект llama-modchip запускает DeepSeek-V4-Flash с 284 млрд параметров на компьютере с 64 ГБ оперативной памяти, не используя видеокарту. Представим Василия — хряка-инженера, который хочет держать языковую модель на собственной рабочей станции: первым ограничением для него будет не само число параметров, а объём весов, которые нужно уместить в памяти. Авторы проекта сжимают их в среднем до 1,72 бита на вес, расплачиваясь за это более медленной работой и заметной потерей качества по сравнению с эталонным вариантом.

В релизе 2.5.3, опубликованном 13 ноября, авторы пересобрали веса для 284B напрямую из оригинального чекпойнта DeepSeek и изменили небезопасную работу с временными файлами. В тот же день вышел релиз 2.5.4 с исправлениями бенчмарка, чата и сборки для Windows. Проект распространяется по лицензии Apache 2.0 и представляет собой набор патчей для llama.cpp, но созданные для него квантованные файлы читает только его собственный движок.

Почему 284 миллиардов параметров — это не 284 миллиардов активных

DeepSeek-V4-Flash — модель типа MoE, то есть смесь экспертов. Для каждого токена в каждом слое задействуются шесть из 256 маршрутизируемых экспертов и один общий. Поэтому активны примерно 13 млрд параметров, однако все 284 млрд весов всё равно должны быть доступны в памяти. Здесь-то сжатие и помогает: меньший объём весов означает меньше данных, которые процессору нужно прочитать во время генерации.

Для этого llama-modchip добавляет два формата квантованных блоков по 64 весов. Fractal-64 хранит веса с затратой 3,75 бита на вес. LUT-VQ3-64 использует 3 бит: он кодирует тройки весов индексом в таблице из 128 точек. Таблица помещается в шесть 512-битных регистров AVX-512, а её значения декодируются инструкцией VPERMI2B без обращений к кэшу.

Но эти компактные форматы применяются не одинаково ко всем частям модели. Fractal-64 и LUT-VQ3-64 используются для механизма внимания MLA, индексатора и части общих экспертов. Основную массу — маршрутизируемых экспертов — сжимают ещё сильнее, поэтому средний расход составляет 1,72 бита на вес. В MaxQ-Fractal также есть 174 плотных тензоров в форматах Q6_K и Q8_0, 317 тензоров внимания в Fractal-64 и 129 тензоров экспертов, квантованных с матрицей важности.

В результате сам файл MaxQ-Fractal занимает 56,93 ГиБ, а процесс с контекстом на 32 тысяч токенов использует 57,5–58,1 ГиБ оперативной памяти. Василию пришлось бы считать не только размер файла: на машине с 64 ГБ системе доступно около 62,5 ГиБ, так что запас получается небольшой. Хрюконфиг с большим контекстом здесь быстро превращается в вопрос о свободной памяти, а не просто о том, загрузился ли файл.

Скорость: годится для фоновых задач, но не для мгновенного автодополнения

Основной тест авторов проведён на 16-ядерном Ryzen 9 9955HX с двухканальной DDR5-5600, пропускная способность которой при чтении составляет около 75 ГБ/с. При полном задействовании шести экспертов на слой генерация одного запроса без спекулятивного декодирования достигла 8,66 токена в секунду. Обработка промпта с холодного старта составила 36,1–37,6 токена в секунду, а с уже прогретым префиксом — 44.

У этих показателей разный практический смысл. Генерация примерно девяти токенов в секунду может подойти фоновому агенту, которому не нужно отвечать мгновенно. Но обработка длинного входного текста затягивается: по оценке авторов, 10 тысяч токенов промпта при такой скорости требуют как минимум четырёх минут. Для агентов они кешируют префикс системного промпта в /dev/shm, чтобы восстанавливать его за 10–30 мс. Это сокращает повторную обработку префикса, а не ускоряет любой произвольный большой промпт.

Режим с четырьмя экспертами на слой, кроме первых трёх слоёв, и дополнительной оптимизацией SwiGLU поднимает скорость на кванте Fractal до 10,1–10,7 токена в секунду. За такой прирост приходится платить: по оценке авторов, отклонение от исходного распределения достигает KL-дивергенции 0,07 нат на токен. Режим включается вручную и сбрасывается после перезапуска сервера.

Отчёты других пользователей показывают, что результат зависит от процессора и конфигурации. На Ryzen 7 9800X3D с 64 ГБ под Windows 11 сообщали о 6,35 токена в секунду со всеми экспертами и 8,04 с четырьмя. На Ryzen 9 9950X3D с 128 ГБ генерация составляла 8,11 токена в секунду. Apple M5 Max показал более высокие значения, но это уже не тест только на CPU: модель работала одновременно на GPU и CPU, причём значительная её часть использовала Metal.

Драфтер ускоряет предсказуемый текст, но не каждый ответ

В llama-modchip есть механизм спекулятивного декодирования без отдельной маленькой модели-черновика. Его Stockfish-PVS хранит таблицы вероятных продолжений в стиле шахматных движков и обновляет их во время диалога. Такой подход лучше всего работает там, где текст повторяется или предсказуем: при редактировании кода, вызовах инструментов или формировании JSON.

Для DeepSeek-V4-Flash средний результат теста авторов с драфтером — 8,80 токена в секунду, а доля принятых черновых токенов составляет 78,7%. На отдельных коротких фрагментах кода и вызовах инструментов скорость временно возрастала до 11–21 токена в секунду, а для варианта VQ3 — до 25,3. Это пиковые значения на предсказуемом тексте, а не постоянная скорость генерации любого ответа.

За компактность приходится платить качеством, а совместимость ограничена

По результатам теста на корпусе wiki-alt перплексия MaxQ-Fractal составляет 7,30 против 4,54 у эталонного кванта MXFP4. Это на 60,8% выше. При этом эталонный MXFP4 занимает 150,8 ГиБ и не помещается в систему с 64 ГБ памяти. Авторы предупреждают, что сравнивают собственные результаты на CPU с опубликованными оценками AtomicChat на GPU, а методики не полностью совпадают.

В собственном функциональном тесте разработчиков модель получила 70 из 80 баллов: максимальные оценки за вызов инструментов, поиск факта в длинном контексте и математику, но 20 из 30 за генерацию кода. Это тест самих авторов, а независимая проверка качества кода на стандартных бенчмарках в источнике не приведена. Так что Василию не стоит воспринимать число 70 как независимое подтверждение того, что сжатая модель равна полноразмерной.

Есть и жёсткое ограничение по программной совместимости. Формату Fractal-64 присвоен номер типа тензора 42, который в основной ветке llama.cpp уже используется для другого формата Q2_0; LUT-VQ3-64 добавляет тип 43. Поэтому GGUF-файлы llama-modchip не откроются в обычных llama.cpp, Ollama, vLLM или LM Studio. Преимущество локального запуска не означает, что любой привычный клиент автоматически подхватит эти веса.

Что нужно для запуска и на что стоит обратить внимание

Для рекомендованного контекста в 32 тысяч токенов авторы советуют включить zram и закрыть браузер, чтобы освободить память. Контекст в 256 тысяч токенов они относят к выделенному серверу с zram или системе как минимум с 96 ГБ. Хотя модель поддерживает до миллиона токенов, один пользователь сообщил о запуске с таким контекстом на Ryzen 7 9800X3D и 64 ГБ; это отдельный отчёт, а не гарантия стабильной работы на любом компьютере.

Готовые бинарники для Linux предназначены для x86_64 с glibc 2.30 или новее и требуют libgomp. Для Zen 4 и Zen 5, а также Intel начиная с Ice Lake нужна сборка AVX-512 с инструкцией avx512vbmi. Для более старых процессоров уровня x86-64-v3 доступен вариант AVX2; на ещё более старых готовые бинарники не запустятся. Для Apple Silicon предусмотрены скрипты сборки с Metal, а на Windows 10 и 11 движок нужно собрать из исходного кода через MinGW-w64.

Перед запуском стоит учесть историю с временными файлами. В версиях 2.5.1 и 2.5.2 настройки маршрутизации записывались в /tmp/dsv4_moe_cfg.bin с правами 0666, то есть файл могли изменять все пользователи машины. Авторы предостерегали от установки этих версий на многопользовательских хостах. В 2.5.3 общие пути убрали, а настройки и общая память стали отдельными для каждого пользователя; файлы создаются с правами 0600.

Итак, llama-modchip открывает возможность локально запускать очень большую MoE-модель без отдельной видеокарты, но только в обмен на плотное квантование, требовательное управление памятью и собственный формат движка. Для Василия это может быть рабочим вариантом для неторопливых фоновых задач, если он готов мириться с более низким качеством и долгим ожиданием при больших промптах. А для интерактивного автодополнения ключевыми остаются именно медленная обработка входа и ограниченная скорость генерации.