Відкритий проєкт llama-modchip запускає DeepSeek-V4-Flash із 284 млрд параметрів на комп’ютері з 64 ГБ оперативної пам’яті, не використовуючи відеокарту. Уявімо Василя — хряка-інженера, який хоче тримати мовну модель на власній робочій станції: тут його першим обмеженням буде не число параметрів саме по собі, а обсяг ваг, які треба вмістити в пам’ять. Автори проєкту стискають їх до середніх 1,72 біта на вагу, а ціною стають повільніша робота та помітна втрата якості порівняно з еталонним варіантом.

У релізі 2.5.3, опублікованому 13 листопада, автори перезібрали ваги для 284B безпосередньо з оригінального чекпойнта DeepSeek і змінили небезпечну роботу з тимчасовими файлами. Того ж дня вийшов реліз 2.5.4 з виправленнями бенчмарка, чату та складання для Windows. Проєкт поширюється за ліцензією Apache 2.0 і є набором патчів до llama.cpp, але створені для нього квантизовані файли читає лише його власний рушій.

Чому 284 мільярди параметрів не означають 284 мільярди активних

DeepSeek-V4-Flash — модель типу MoE, тобто суміш експертів. Для кожного токена в кожному шарі залучаються шість із 256 маршрутизованих експертів і один спільний. Тому активними є приблизно 13 млрд параметрів, однак усі 284 млрд ваг усе одно мають бути доступні в пам’яті. Саме тут і працює стиснення: менший обсяг ваг означає менше даних, які процесору треба прочитати під час генерації.

Для цього llama-modchip додає два формати квантованих блоків по 64 ваги. Fractal-64 зберігає ваги з витратою 3,75 біта на вагу. LUT-VQ3-64 використовує 3 біти: він кодує трійки ваг індексом у таблиці зі 128 точок. Таблиця поміщається у шість 512-бітних регістрів AVX-512, а її значення декодуються інструкцією VPERMI2B без звернень до кешу.

Та ці компактні формати не застосовуються однаково до всіх частин моделі. Fractal-64 та LUT-VQ3-64 використовуються для механізму уваги MLA, індексатора й частини спільних експертів. Основну масу — маршрутизованих експертів — стискають ще сильніше, тому середня витрата становить 1,72 біта на вагу. У MaxQ-Fractal також є 174 щільні тензори у форматах Q6_K і Q8_0, 317 тензорів уваги у Fractal-64 та 129 тензорів експертів, квантованих із матрицею важливості.

У результаті сам файл MaxQ-Fractal займає 56,93 ГіБ, а процес із контекстом на 32 тисячі токенів використовує 57,5–58,1 ГіБ оперативної пам’яті. Василеві довелося б рахувати не лише розмір файлу: на машині з 64 ГБ системі доступно близько 62,5 ГіБ, тож запас виходить невеликий. Хрюконфіг із великим контекстом тут швидко перетворюється на питання про вільну пам’ять, а не просто про те, чи файл завантажився.

Швидкість: придатна для фонових задач, не для миттєвого автодоповнення

Основний тест авторів проведений на 16-ядерному Ryzen 9 9955HX із двоканальною DDR5-5600, пропускна здатність якої на читання становить близько 75 ГБ/с. За повного залучення шести експертів на шар генерація одного запиту без спекулятивного декодування досягла 8,66 токена за секунду. Обробка промпта з холодного старту становила 36,1–37,6 токена за секунду, а з уже прогрітим префіксом — 44.

Ці показники мають різний практичний сенс. Генерація близько дев’яти токенів за секунду може підійти для фонового агента, якому не потрібно миттєво відповідати. Але обробка довгого вхідного тексту затягується: автори оцінюють, що 10 тисяч токенів промпта за такої швидкості потребують щонайменше чотирьох хвилин. Для агентів вони кешують префікс системного промпта у /dev/shm, щоб відновлювати його за 10–30 мс. Це скорочує повторну роботу з префіксом, а не робить швидшим будь-який довільний великий промпт.

Режим із чотирма експертами на шар, крім перших трьох шарів, і додатковою оптимізацією SwiGLU піднімає швидкість на кванті Fractal до 10,1–10,7 токена за секунду. Такий приріст має компроміс: за оцінкою авторів, відхилення від початкового розподілу сягає KL-дивергенції 0,07 нат на токен. Режим вмикається вручну й скидається після перезапуску сервера.

Звіти інших користувачів показують, що результат залежить від процесора й конфігурації. На Ryzen 7 9800X3D із 64 ГБ під Windows 11 повідомляли про 6,35 токена за секунду з усіма експертами та 8,04 з чотирма. На Ryzen 9 9950X3D із 128 ГБ генерація становила 8,11 токена за секунду. Apple M5 Max показав вищі значення, але це вже не тест лише на CPU: модель працювала на GPU та CPU разом, причому значна її частина використовувала Metal.

Драфтер прискорює передбачуваний текст, але не кожну відповідь

llama-modchip має механізм спекулятивного декодування без окремої малої моделі-чернетки. Його Stockfish-PVS зберігає таблиці ймовірних продовжень у стилі шахових рушіїв, оновлюючи їх під час діалогу. Такий підхід найкраще працює там, де текст повторюваний або передбачуваний: під час редагування коду, викликів інструментів чи формування JSON.

Для DeepSeek-V4-Flash середній результат тесту авторів із драфтером — 8,80 токена за секунду, а частка прийнятих чернеткових токенів становить 78,7%. На окремих коротких фрагментах коду й викликах інструментів швидкість тимчасово зростала до 11–21 токена за секунду, а для варіанта VQ3 — до 25,3. Це пікові значення на передбачуваному тексті, не стала швидкість генерації будь-якої відповіді.

За компактність платять якістю, а сумісність обмежена

За результатами тесту на корпусі wiki-alt перплексія MaxQ-Fractal становить 7,30 проти 4,54 в еталонного кванта MXFP4. Це на 60,8% вище. Водночас еталон MXFP4 займає 150,8 ГіБ і не поміщається в систему з 64 ГБ пам’яті. Автори попереджають, що порівнюють власні результати на CPU з опублікованими оцінками AtomicChat на GPU, а методики не повністю збігаються.

У власному функціональному тесті розробників модель отримала 70 із 80 балів: повні оцінки за виклик інструментів, пошук факту в довгому контексті й математику, але 20 із 30 за генерацію коду. Це тест самих авторів, а незалежної перевірки якості коду на стандартних бенчмарках у джерелі не наведено. Тож Василеві не варто сприймати цифру 70 як незалежне підтвердження того, що стиснута модель дорівнює повнорозмірній.

Є й жорстке обмеження щодо програмної сумісності. Формату Fractal-64 призначено номер типу тензора 42, який у головній гілці llama.cpp уже використовується для іншого формату Q2_0; LUT-VQ3-64 додає тип 43. Тому GGUF-файли llama-modchip не відкриються звичайними llama.cpp, Ollama, vLLM або LM Studio. Перевага локального запуску не означає, що будь-який звичний клієнт автоматично підхопить ці ваги.

Що потрібно для запуску й де слід бути уважним

Для рекомендованого контексту у 32 тисячі токенів автори радять увімкнути zram і закрити браузер, аби звільнити пам’ять. Контекст у 256 тисяч токенів вони відносять до виділеного сервера із zram або системи щонайменше зі 96 ГБ. Хоча модель підтримує до мільйона токенів, один користувач повідомив про запуск із таким контекстом на Ryzen 7 9800X3D і 64 ГБ; це окремий звіт, а не гарантія стабільної роботи на будь-якому комп’ютері.

Готові Linux-бінарники призначені для x86_64 із glibc 2.30 або новішою та потребують libgomp. Для Zen 4 і Zen 5, а також Intel від Ice Lake потрібна збірка AVX-512 з інструкцією avx512vbmi. Для старших процесорів рівня x86-64-v3 доступний варіант AVX2; на ще старіших готові бінарники не запустяться. Для Apple Silicon передбачені скрипти складання з Metal, а на Windows 10 і 11 рушій потрібно зібрати з вихідного коду через MinGW-w64.

Перед запуском варто врахувати історію з тимчасовими файлами. У версіях 2.5.1 і 2.5.2 маршрутизаційні налаштування записувалися до /tmp/dsv4_moe_cfg.bin із правами 0666, тобто файл могли змінювати всі користувачі машини. Автори застерігали від встановлення цих версій на багатокористувацьких хостах. У 2.5.3 спільні шляхи прибрали, а налаштування та спільна пам’ять стали окремими для кожного користувача; файли створюються з правами 0600.

Отже, llama-modchip відкриває варіант локального запуску дуже великої MoE-моделі без окремої відеокарти, але лише в обмін на щільне квантування, вимогливе керування пам’яттю та власний формат рушія. Для Василя це може бути робочою схемою для неквапливих фонових задач, якщо він приймає нижчу якість і довге очікування на великих промптах. А для інтерактивного автодоповнення ключовими залишаються саме повільна обробка входу та обмежена швидкість генерації.