Artificial Analysis опубликовала независимые замеры Gemini 4 Hydrogen: модель набрала 54 балла в Intelligence Index на уровне xhigh и показала низкую долю галлюцинаций, но уступила конкурентам в терминальных задачах. Разберёмся, что стоит за этими результатами и где именно более дорогой режим рассуждений приносит пользу.

Представим Оксану, разработчицу из вымышленной команды «Копыто.dev»: ей нужно извлечь данные из длинного PDF, а позже поручить модели работу через командную строку. Это две разные нагрузки, поэтому одного общего рейтингового балла для выбора недостаточно. Хрю, сначала смотрим на задачи, а потом — на цифры.

Что измеряет рейтинг

По оценке Artificial Analysis, Gemini 4 Hydrogen получила 54 балла на xhigh. Это на один балл ниже, чем у Claude Sonnet 5.5 и GPT-6.1 Sol на уровне max, набравших по 55. На уровне high, установленном по умолчанию, у Hydrogen 51 балла; более низкие режимы medium и low дали 41 и 27 баллов соответственно.

Intelligence Index v5.0.1 объединяет девять тестов. Среди них — проверки офисных агентных задач, автоматизации и программирования, две версии Terminal-Bench, тест знаний и галлюцинаций AA-Omniscience, а также оценка визуального анализа длинных документов. Artificial Analysis запускала проверки самостоятельно через API. Итак, индекс сводит разные навыки в один показатель, но не обещает одинакового качества в каждом отдельном типе работы.

На xhigh Hydrogen оказалась позади Claude Sonnet 5.5 и GPT-6.1 Sol, но опередила Gemini 4 Argon на high на четыре балла. Выше в рейтинге были Claude Fable 5.2 с 65 баллами, Gemini 4 Carbon с 60, Claude Opus 5.5 с 59 и GPT-6 Astra с 57 — в источнике все результаты приведены для максимальных уровней этих моделей. Здесь стоит сравнивать не только места, но и цену полученного результата.

Сильная сторона — отказ от выдумок

В тесте AA-Omniscience Artificial Analysis оценивает, как модель ведёт себя с вопросами, на которые не смогла ответить полностью правильно. Показатель галлюцинаций — это доля таких случаев, когда модель всё-таки даёт неправильный ответ вместо того, чтобы отказаться. У Gemini 4 Hydrogen на xhigh он составил 8%. Для Claude Sonnet 5.5 на max лаборатория зафиксировала 43%, для GPT-6.1 Sol на max — 52%.

Это один из самых низких результатов за всю историю этого теста, но важно не делать выводов шире, чем позволяют измерения. Речь именно о доле ошибочных ответов в случаях, определённых тестом, а не о гарантии, что Hydrogen не ошибётся в рабочей базе знаний. Для задач, где неуверенное утверждение может обойтись дороже пустого ответа, такой результат — весомый аргумент в пользу проверки модели.

Ещё одна сильная сторона — работа с длинными документами и изображениями. В тесте GDP.pdf Hydrogen на medium прошла все критерии в 33% попыток и разделила первое место. А в AA-Briefcase оценщики поставили оформление её результатов выше, чем результаты других моделей Gemini, включая Carbon. Для Оксаны это значит, что извлечение фактов из PDF стоит рассматривать как отдельный сценарий оценки, а не делать вывод обо всех задачах разработчицы по одному баллу.

В терминале Hydrogen отстаёт

В Terminal-Bench 4.0, проверяющем агентное выполнение задач разработки в командной строке, Gemini 4 Hydrogen набрала 54%. Claude Sonnet 5.5 на max получила 64%, GPT-6.1 Sol на max — 56%. В научной версии Terminal-Bench-Science 0.1 результаты Hydrogen, Sonnet и Sol составили 50%, 53% и 58% соответственно.

Переход с high на xhigh не изменил результат Hydrogen в Terminal-Bench 4.0: на обоих уровнях было 54%. В научном варианте, наоборот, оценка выросла с 41% на high до 50% на xhigh. Результаты по научным направлениям составили от 46% для наук о Земле до 53% для физических наук. Итак, более дорогой хрюрежим имеет разную ценность в зависимости от типа задачи, а не просто даёт универсальное преимущество.

Artificial Analysis получила 54% на Terminal-Bench 4.0, тогда как в собственном анонсе Google для Hydrogen указано 57% на Terminal-Bench 4.1. Эти оценки нельзя ставить рядом как повторные измерения одного теста: отличаются версии бенчмарка и сами прогоны. Для Оксаны, которая рассматривает модель для терминального процесса, это повод проверить её на собственных задачах, а не переносить проценты из другой методики.

Цена xhigh и дополнительные токены

По расчётам Artificial Analysis, выполнение задания индекса стоило $3,16 на xhigh, $1,87 на high, $0,80 на medium и $0,29 на low. Три дополнительных балла индекса при переходе с high на xhigh сопровождались увеличением стоимости задания на 69%. То есть максимальный уровень — не автоматически самый выгодный выбор.

Причина расходов — не только тариф за токены, но и их количество. Gemini 4 Hydrogen стоит $1,50 за миллион входных токенов и $7,50 за миллион выходных; кэшированный ввод стоит $0,075 за миллион. На xhigh модель сгенерировала почти вдвое больше выходных токенов, чем на high. Во время прогона всего индекса это было 304 миллиона выходных токенов против медианы в 72,8 миллиона у сравниваемых моделей.

В тестах скорость генерации составляла около 200 токенов в секунду. На уровнях high, medium и low Hydrogen оказалась на границе Парето по соотношению времени и интеллекта: в сравнении лаборатории не было моделей, которые одновременно умнее и быстрее. Для xhigh расчётное время выполнения задания индекса по методике Artificial Analysis составило 13 минут.

Как применить эти результаты

Google рекомендует xhigh для сложных многошаговых задач программирования, если high не справляется. В то же время в независимом тесте Terminal-Bench 4.0 более дорогой режим не дал прироста по сравнению с high, а научный Terminal-Bench показал заметное улучшение. Artificial Analysis также приводит оценку, согласно которой задание индекса на high обходится примерно в 1,7 раза дешевле, чем на xhigh. Выбор зависит от того, покупаешь ли ты нужное качество именно для своего сценария.

Google советует проводить собственные оценки на всех четырёх уровнях и останавливаться на самом низком, который обеспечивает нужный результат. Для Оксаны это значит разделить проверку: отдельно посмотреть, правильно ли модель читает документы, и отдельно — как она справляется с командами и агентной работой в терминале. Хрю, один универсальный порог здесь легко обернуть в лишние расходы.

Контекстное окно Hydrogen составляет один миллион токенов. На вход модель принимает текст, изображения, видео и речь, а генерирует текст. Но все приведённые результаты — замеры на бенчмарках: они помогают определить сильные и слабые стороны, однако окончательный выбор для конкретного кода или документов требует проверки на собственных задачах.