Artificial Analysis опублікувала незалежні заміри Gemini 4 Hydrogen: модель набрала 54 бали в Intelligence Index на рівні xhigh і показала низьку частку галюцинацій, але поступилася конкурентам у термінальних завданнях. Розберімо, що стоїть за цими результатами й де саме дорожчий режим міркувань додає користь.

Уявімо Оксану, розробницю з вигаданої команди «Копито.dev»: їй потрібно витягти дані з довгого PDF, а згодом доручити моделі роботу через командний рядок. Це два різні навантаження, тож одного загального рейтингового бала для вибору недостатньо. Хрю, спершу дивимося на завдання, а тоді — на цифри.

Що вимірює рейтинг

За оцінкою Artificial Analysis, Gemini 4 Hydrogen отримала 54 бали на xhigh. Це на один бал нижче за Claude Sonnet 5.5 і GPT-6.1 Sol на рівні max, які набрали по 55. На рівні high, встановленому за замовчуванням, у Hydrogen 51 бал; нижчі режими medium і low дали 41 та 27 балів відповідно.

Intelligence Index v5.0.1 об’єднує дев’ять тестів. Серед них є перевірки офісних агентних задач, автоматизації та програмування, дві версії Terminal-Bench, тест знань і галюцинацій AA-Omniscience, а також оцінювання візуального аналізу довгих документів. Artificial Analysis запускала перевірки самостійно через API. Отже, індекс зводить різні вміння в один показник, але не обіцяє однакової якості в кожному окремому типі роботи.

На xhigh Hydrogen опинилася за Claude Sonnet 5.5 і GPT-6.1 Sol, але випередила Gemini 4 Argon на high на чотири бали. Вище в рейтингу були Claude Fable 5.2 із 65 балами, Gemini 4 Carbon із 60, Claude Opus 5.5 із 59 і GPT-6 Astra із 57 — усі результати в джерелі наведені для максимальних рівнів цих моделей. Порівнювати тут варто не лише місця, а й ціну отриманого результату.

Сильна сторона — відмова від вигадки

У тесті AA-Omniscience Artificial Analysis оцінює, як модель поводиться з питаннями, на які не змогла відповісти повністю правильно. Показник галюцинацій — це частка таких випадків, коли модель усе-таки дає неправильну відповідь замість того, щоб відмовитися. У Gemini 4 Hydrogen на xhigh він становив 8%. Для Claude Sonnet 5.5 на max лабораторія зафіксувала 43%, для GPT-6.1 Sol на max — 52%.

Це один із найнижчих результатів за історію цього тесту, але важливо не розтягувати висновок далі за вимірювання. Йдеться саме про частку помилкових відповідей у визначених тестом випадках, а не про гарантію, що Hydrogen не помилиться в робочій базі знань. Для задач, де невпевнене твердження може бути дорожчим за порожню відповідь, такий результат — вагомий аргумент для перевірки моделі.

Ще одна сильна ділянка — робота з довгими документами та зображеннями. У тесті GDP.pdf Hydrogen на medium пройшла всі критерії у 33% спроб і розділила перше місце. А в AA-Briefcase оцінювачі поставили оформлення її результатів вище за результати інших моделей Gemini, зокрема Carbon. Для Оксани це означає, що витягування фактів із PDF варто розглядати як окремий сценарій оцінювання, а не робити висновок про всі завдання розробниці з одного бала.

У терміналі Hydrogen відстає

У Terminal-Bench 4.0, що перевіряє агентне виконання завдань розробки в командному рядку, Gemini 4 Hydrogen набрала 54%. Claude Sonnet 5.5 на max отримала 64%, GPT-6.1 Sol на max — 56%. У науковій версії Terminal-Bench-Science 0.1 результати Hydrogen, Sonnet і Sol становили 50%, 53% і 58% відповідно.

Перехід із high на xhigh не змінив результат Hydrogen у Terminal-Bench 4.0: на обох рівнях було 54%. У науковому варіанті, навпаки, оцінка зросла з 41% на high до 50% на xhigh. Результати за науковими напрямами були в межах 46% для наук про Землю та 53% для фізичних наук. Отже, дорожчий хрюмод має різну цінність залежно від типу завдання, а не просто додає універсальну перевагу.

Artificial Analysis отримала 54% на Terminal-Bench 4.0, тоді як у власному анонсі Google для Hydrogen наведено 57% на Terminal-Bench 4.1. Ці оцінки не можна ставити поруч як повторні вимірювання одного тесту: відрізняються версії бенчмарка й самі прогони. Для Оксани, яка розглядає модель у термінальному процесі, це причина перевірити її на власних завданнях, а не переносити відсотки з іншої методики.

Ціна xhigh і додаткові токени

За розрахунками Artificial Analysis, виконання завдання індексу коштувало $3,16 на xhigh, $1,87 на high, $0,80 на medium і $0,29 на low. Три додаткові бали індексу при переході з high на xhigh супроводжувалися збільшенням ціни завдання на 69%. Тобто максимальний рівень не є автоматично найвигіднішим вибором.

Причина витрат — не лише тариф за токени, а й їхня кількість. Gemini 4 Hydrogen коштує $1,50 за мільйон вхідних токенів і $7,50 за мільйон вихідних; кешований вхід коштує $0,075 за мільйон. На xhigh модель згенерувала майже вдвічі більше вихідних токенів, ніж на high. Під час прогону всього індексу це було 304 мільйони вихідних токенів проти медіани 72,8 мільйона у порівнюваних моделей.

У тестах швидкість виведення становила близько 200 токенів за секунду. На рівнях high, medium і low Hydrogen опинилася на межі Парето за співвідношенням часу й інтелекту: у порівнянні лабораторії не було моделей, які водночас розумніші та швидші. Для xhigh розрахунковий час виконання завдання індексу за методикою Artificial Analysis становив 13 хвилин.

Як застосувати ці результати

Google рекомендує xhigh для складних багатокрокових завдань із програмування, якщо high не справляється. Водночас у незалежному тесті Terminal-Bench 4.0 дорожчий режим не дав приросту до high, а науковий Terminal-Bench показав помітне покращення. Artificial Analysis також наводить оцінку, що завдання індексу на high коштує приблизно в 1,7 раза менше, ніж на xhigh. Вибір залежить від того, чи купуєш ти потрібну якість саме для свого сценарію.

Google радить проводити власні оцінювання на всіх чотирьох рівнях і зупинятися на найнижчому, який забезпечує потрібний результат. Для Оксани це означає розділити перевірку: окремо подивитися, чи коректно модель читає документи, і окремо — як вона справляється з командами та агентною роботою в терміналі. Хрю, один універсальний поріг тут легко перетворити на зайві витрати.

Контекстне вікно Hydrogen становить один мільйон токенів. На вході модель приймає текст, зображення, відео та мовлення, а генерує текст. Але всі наведені результати — заміри на бенчмарках: вони допомагають окреслити сильні й слабкі місця, проте остаточний вибір для конкретного коду чи документів потребує перевірки на власних задачах.