Gemini 4 Argan: что на самом деле обнаружил один интенсивный тестер

Эти выводы получены в результате тестирования одного автора на YouTube, а не из документации Google. Источник: Имена следуют авто-транскрипции («Argan» и прозвищ коллег, таких как Soul, Muse Wonderful, Fable и Astra). Там, где транскрипция неоднозначна, на этой странице указано. Mantis не повторял личные бенчмарки.

Gemini 4 Argan интересен как модель экосистемы Google: доступ к данным YouTube, мультимодальные привычки и пользовательские интерфейсы, которые могут выглядеть приемлемо, когда есть навык дизайна. Разочаровывает как стандартный агент кодирования при работе с реальными репозиториями в этом видео. Рыночная цена кажется привлекательной до включения потребности в токенах, слабых попаданий в кэш и повышения с 1 декабря. Рассматривайте все утверждения о кодовой базе как ненадежные, пока более сильная модель проверки или человек их не подтвердят.

Основные выводы в кратком виде

Площадь	Заявление в видео	Тип доказательства	Уровень уверенности для читателей
Интервал между релизами	Примерно 8 месяцев с момента последнего крупного выпуска класса Gemini Pro; между ними только Flash	Рассказ создателя	Средний. Утверждение по календарю, здесь не проверялось независимо
Розничная цена	Введение $2 на вход / $10 на выход за миллион, тогда $4 / $20 с 1 декабря	Чтение создателем интерфейса ценообразования Google	Средний. Проверьте актуальные цены перед составлением бюджета
Фактическая стоимость	Требует много токенов, примерно 70–80% попаданий в кэш против 99%+ по аналогам	Телеметрия создателя (Antigravity / T3 Code)	Средне-низкий. Возможна ошибка клиента или отчётности
Разведка AA	Выше Astra и GPT-6.1 Soul; ниже Opus 5.5 High и выше; хуже стоимость за балл, чем у Opus High	Графики Искусственного Анализа показаны на камеру	Средний. Индекс третьей стороны, не специфичный для кодирования
Skatebench	Идеальный балл; около Opus 5.5 Max 79%	Частный бенчмарк создателя	Высокий только для этой нишевой задачи
Аудиты кода	Баллы около 2.25 до 4.4 / 10; большинство ложных утверждений при нескольких запусках	Частная панель создателя плюс судьи	Высокий как опыт этого тестировщика, не публичная таблица лидеров
Уникальный keep	Транскрипты YouTube и API данных Google, а не качество Gmail	Использование в производстве создателями	Средний. Специфичный для рабочего процесса
Правило отправки	PR, созданные Gemini, не будут объединены; планируется их автоматическое закрытие	Явная позиция по закрытию	Мнение. Полезно как предупреждение процесса

Что было протестировано

Создатель сообщает о раннем доступе через контакты Google, затем публичная доступность через:

• Разработчики и предприятия: API, Studio и платформа Gemini
• Google AI Ultra: Антигравитация
• Ultra и Pro: приложение Gemini и режим AI в Поиске

Работа в видео охватывает генерацию фронтенда маркетинговой страницы (с помощью навыков дизайна Anthropic и без них), повторяющийся Fishslop Подсказка для 3D-игр, используемая на разных моделях, приватная Skatebench для именования трюков на скейтборде, графики искусственного анализа и несколько аудиторов реального кода. Эти аудиты включают переписывание на Rust стека компилятора, связанного с TypeScript, ошибки кода T3, облачный продукт («Lakebed») и проверку архитектуры, а также «исправление» подключения SQLite в реальном времени, которое превратилось в закрытый pull request.

Маркетинговые заявления Google, показанные в стриме (индекс VL номер один, «100% успех на оценках», рефакторинг Chrome, цитаты в стиле Deloitte) являются утверждениями, которые следует дисконтировать, а не фактами, проверенными Mantis.

Ценообразование: ценник против счёта

Основной аргумент видео о стоимости состоит из четырёх частей:

1. Ценник выглядит дешевым. Приблизительно $2 / $10 за миллион ввод и вывод в течение вводного периода.
2. Цена увеличивается. Тот же создатель поднимает цену до $4 / $20 с 1 декабря, оформляя это как шаблон, который Google использовал при недавних снижениях: разумно сейчас, вдвое позже.
3. Эффективность низкая. На кривых затрат в стиле Artificial Analysis, Argan не является выгодным, если учитывать объем токенов. Создатель оценивает его дороже, чем Opus 5.5 на High несмотря на более низкий показатель интеллекта.
4. Дефекты кэша доминируют. Сообщаемые показатели попаданий при чтении кэша составляют около 70-80%, в сравнении с 99% или выше на моделях, которые они используют ежедневно. Большая рекламируемая скидка на чтение кэша не помогает, когда промахи происходят и вам чаще приходится платить полную стоимость ввода.

«Я говорю о 70–80% попаданий в кэш по сравнению с другими моделями, где я вижу более 99%.»

Они отмечают, что это может быть баг в отчетности Antigravity или особенность интеграции MCP / T3 Code, и они явно отказываются от дальнейшей отладки («Google должен этим заниматься»). Для читателей Mantis: фиксируйте свой собственный процент попаданий в кэш, прежде чем верить любому сравнению стоимости за миллион.

Практический бюджетный контрольный список

• Рассчитайте тарифы после 1 декабря если вы строите долгоживущий путь агента.
• Лог токены подсказок, токены завершения, чтения кэша, повторные попытки и циклы инструментов за одну репрезентативную задачу.
• Сравнить долларов за принятую работу, а не по прайс-листу за миллион токенов.

Индексы интеллекта против «обманывает ли он насчет моего репозитория?»

Artificial Analysis

В индексе интеллекта Artificial Analysis, как показано в видео, Gemini 4 Argan находится выше Astra и GPT-6.1 Soul, и значительно ниже Opus 5.5 на уровнях High, XHigh и Max. Создатель рассматривает этот индекс как грубый сигнал интеллекта, а не рейтинг по программированию.

На диаграмме галлюцинаций или «вседознания» Argan описан как имеющий примерно 15% уровень галлюцинаций, самый низкий среди моделей с результатом выше 45 по индексу интеллекта, однако четвертый в общем зачете после того как отказы и неполные ответы оценены. Низкий показатель «неправильно» может означать «я не буду отвечать», а не «я знаю вашу кодовую базу.»

Частная панель аудита кода

Здесь тон видео становится жестче. Создатель проверяет репозитории, собирая заявления модели, проверяя их и оценивая с помощью панели судей:

Задача (как описано)	Gemini 4 Argan	Сильное упоминание коллегой	Значимый режим отказа
Аудит переписывания TS / Rust	4.38 / 10; 24 из 36 заявлений ложные; около 43 мин; около $3	GPT-6.1 Soul 8.84 (38 верных / 0 ложных, около 28 мин, около $4); Opus 5.5 около 8.78	Большинство заявлений неверные
Аудит ошибок в реальном коде T3	Считался слишком слабым для оправдания; около 14 / 40 в неправильном классе ошибок по сравнению с Muse	Opus 5.5 лучший (около 8.22); Soul дешевый и чистый (около $1, 10 минут)	Отличительное поведение, не полезная точность
Аудит облачного продукта Lakebed	2.25 / 10; 56 из 78 находок неверны (около 70%)	Душа 9 / 10; Класс Sonnet/Opus примерно 8.5	«Более вероятно будет манипулировать вашими агентами»
Проход архитектуры T3	3.95 / 10; 31 верно / 14 частично / 47 неверно	Muse Wonderful Full 29 верно / 8 частично / 4 неверно	Больше ложных находок, чем у Muse было верных

«Из 36 утверждений 24 были неверными. … когда эта модель выполняет реальную работу в настоящей кодовой базе, она так же, если не более вероятно, ошибается, как и правильно»

Это операционный вывод для Hermes и других стеков агентов: не позволяйте одной модели на передовом рубеже одновременно быть автором и сертифицировать изменения. Сопоставляйте проекты Argan, если вы их вообще используете, с проверкой класса Soul или Opus, либо с замороженным человеческим чеклистом. Привычка сравнения — это та, которая используется при оценке закрытых моделей на переднем рубеже.

Pull request для SQLite в качестве практического примера

По известной нестабильности подключения SQLite в T3 Code, Argan:

• Провёл долгий синхронный поиск «чтения каждого файла», который создатель считает привычкой Gemini.
• Приблизительно определил форму пула для чтения / одного писателя, затем создал приблизительно 1 200-строчный pull request, который должен был быть размером примерно 30 строк.
• Игнорировал навык форматирования pull-request репозитория и написал стену резюме вместо короткого заявления о проблеме.
• Провалил CI и линтинг и не исправил комментарии review-bot.
• Пропустил существующие pull-запросы, которые уже исправляли проблему, и придумал неправильную маршрутизацию (описанную как подход на основе регулярных выражений).

Opus 5.5, получив обсуждение и прося честное мнение, согласился, что это мусор, закрыл pull request и внедрил исправление около 21 строки. Диагноз был частично правильным. Реализация была неверной и чрезмерно большой.

Frontend, 3D и путь только для Google.

Фронтенд

С навыком проектирования Anthropic включен, Argan создавал маркетинговые страницы, которые создатель не сразу идентифицировал бы как AI, включая функциональный интерактивный раздел. С отключенными навыками или с навыком «вкуса», который им не нравится, результаты скатывались в массивную верхнюю навигацию, шумные шрифты и макеты, которые они называли кринжевыми.

Они все еще занимают Fable 5.1 высшее место за выразительный маркетинг и эстетику главной страницы, и они подчеркивают, что задержка итерации превосходит чистую скорость токенов для реальной продуктовой работы. По анекдотическим данным, Argan может быстро стримить токены, не решая сложные задачи быстро.

Fishslop, тест 3D-игры

Та же подсказка и инструменты, что и у других моделей. Первый проход завершил петлю из пяти аквариумов с приемлемым движением рыб, сломанной поверхностью воды и смертельным механизмом для еды: еда никогда не пропадает на дне аквариума, поэтому рыбы умирают с голоду, глядя на нее. Второй проход, после обратной связи, выглядел лучше, и кормление улучшилось, но бонус истек до того, как появились монстры. Фраза создателя была «no big model smell»: локальный код, который выглядит нормально без моделирования системы.

Урок для агентов: графическая или 3D донастройка не доказывает общий инженерный здравый смысл.

Skatebench и мультимодальная работа

Argan взял идеально результат на частной таблице создателя для именования трюков на скейтборде. Opus 5.5 Max набрал около 79%, а более ранний Gemini Flash уже был очень сильным. Ответы были быстрыми, без лишних раздумий. Создатель использует этот результат, чтобы опровергнуть цитаты Google «100% оценок»: успех полностью зависит от того, что вы оцениваете.

Зрение, документы, видео и аудио остаются историческими сильными сторонами Gemini. Это видео не проводило повторное тестирование их для Argan. Если ваша рабочая нагрузка связана с маркировкой материнских плат, PDF-ориентированием или чем-то подобным, проведите собственное испытание.

Приложения YouTube и Google

Модели Gemini имеют щедрые возможности работы с данными YouTube и Google. Создатель называет API Gemini одним из лучших текущих способов получения расшифровок YouTube, и будут продолжать использовать его для этого. Отдельно, они предпочитают Grok Bot или ChatGPT вместо Gemini в Gmail и других приложениях Google.

Это разделение соответствует Mantis: маршрут по возможностям, а не по бренду. Навык Hermes для транскриптов YouTube может оставаться на Gemini, в то время как навыки кодирования закрепляются за Opus или Soul.

Антигравитация, учетные записи и инфраструктура агента

Проблемы, не связанные с возможностями, все еще важны для работы агентов:

• Радиус поражения учетной записи. Аутентификация Gemini через Google-аккаунт. В модели риска создателя, бан (даже если Google обещает баны только для продукта) может угрожать YouTube, Gmail, платежам и паролям Chrome.
• Особенности ACP и Antigravity. Уровни усилий сгруппированы по моделям, поэтому «Argan высокий», «средний» и «низкий» выбираются так, как если бы это были отдельные модели. Шлюз может отключиться во время выполнения после длительного чтения файлов. Создатель обвиняет интеграцию Antigravity в значительной части ошибок T3 Code.

Для Hermes и других многопользовательских конфигураций: изолируйте учетные данные Google, предпочитайте обратимые списки запретов и не позволяйте нестабильному шлюзу быть единственным исполнителем долгосрочных задач без контрольных точек.

Как попробовать это самостоятельно

1. Закрепите задачу. Один репозиторий, один вопрос («перечислите настоящие дефекты с указанием файла и строки»), и фиксированный таймаут и бюджет.
2. Запустите Argan один раз. Сохраняйте каждое утверждение как структурированные данные: утверждение, путь и цитату в качестве доказательства.
3. Второй прогон с Soul или Opus. Отметьте каждое утверждение как истинное, частично верное или ложное. Не позволяйте Аргану оценивать сам себя.
4. Опциональная фронтенд-полоска. Создайте маркетинговую страницу с включенным дизайном Anthropic, затем с выключенными навыками, и сравните.
5. Телеметрия расходов. Записывайте попадания в кэш и общие расходы. Пересчитайте стоимость той же задачи по тарифам на 1 декабря.
6. Оставьте YouTube на Gemini если транскрипты являются выигрышем. Это самая очевидная возможность, в которую создатель по-прежнему верит.

Если вы уже используете цикл от транскрипта к статье, вы применяете ту же способность, в которую создатель по-прежнему верит.

Ограничения перед цитированием этого

• Стек одного YouTuber. Активное использование Heavy Antigravity и T3 Code. Результаты могут отличаться в Cursor, Claude Code или при работе с необработанным API с другими инструментами.
• Неофициальные документы Google. Даты ценообразования, лидерство индекса VL и цитаты «100% оценка» приведены, как на трансляции.
• Шум в расшифровке. «Argan», «cash» как игра слов на cache, прозвища моделей коллег и названия продуктов могут отличаться от маркетинговых строк. Проверьте их на актуальной карте модели Google перед тем, как жёстко кодировать идентификаторы.
• Слух о «Carbon». Создатель упоминает, что слышал о лучшей предстоящей версии snapshot. Непроверено здесь.
• Мнения не являются измерениями Mantis. Мы приводим их данные. Мы не проводили повторные частные тесты.

FAQ

Является ли Gemini 4 Argan моделью с наибольшей ценностью на передовой?

По мнению этого тестера, если учитывать использование токенов и поведение кэша, это не так. Вводная цена списка кажется дешевой. Эффективная стоимость и качество аудита кода — нет.

Стоит ли использовать это для агентного кодирования?

Только за сильной моделью рецензирования или через ручное слияние человеком. Приватные аудиты видео показывают высокий процент ложных утверждений в нескольких реальных репозиториях и большой сломанный pull request, который более сильная модель переписала на десятки строк.

Для чего это всё ещё годится?

Получение данных с YouTube и Google, испытания сложных задач зрения (историческая сильная сторона, не подтверждённая в этом видео) и черновики интерфейсов. с Солидные навыки проектирования. Итерации с более быстрой или более «вкусной» моделью, если черновику это нужно.

Почему графики галлюцинаций выглядят нормально, если аудит кода плохой?

Определения различаются. Поведение с частыми отказами может выглядеть как «низкая галлюцинация» на тестах знаний, в то время как та же модель придумывает уверенные, но неверные утверждения о репозиториях при использовании инструментов.

Что операторам следует изменить дальше?

Направляйте навыки работы с транскриптами YouTube на Gemini, если этот путь успешен. Назначьте кодирование и авторство pull-request моделям, которые проходят ваш цикл проверки утверждений. Логируйте попадания в кэш. Планируйте рост цены в декабре. Не объединяйте автоматически pull-request, созданные Gemini, без второго судьи.

Источники

• , создатель тестирует видео, которое эта страница обрабатывает. Цифры, цены и результаты тестов приводятся из этого видео и его автоматического транскрипта.
• Не карточка модели Google, не страница с ценами и не пост о запуске. Проверяйте актуальные цены Google и идентификаторы моделей перед использованием в производстве.
• Оценка моделей с закрытым фронтиром, связанный урок Mantis о выборе модели по задачам.

Запустите это в работу

Разделяйте маркетинговые оценки и индексы галлюцинаций от того, выдерживают ли утверждения модели о вашей кодовой базе проверку другой моделью.

Попробовать

Проведите одну аудитную проверку ограниченного репозитория с Gemini 4 Argan, затем переоцените все утверждения с помощью обзора класса Opus или Soul перед любым слиянием.

Докажите, что это сработало

Отслеживайте уровень ложных заявлений, процент попадания в кэш, время до зеленого PR и общие затраты, а не только цену по прайсу.

Держите в поле зрения

• Начальная цена по прайсу выглядит дешево. 1 декабря она удваивается, а слабое попадание в кэш нивелирует большую часть скидки.
• Искусственный анализ ставит Argan ниже Opus 5.5 по соотношению интеллекта к стоимости, когда учитывается использование токенов.
• Частные стенды проверки кода в исходном видео показывают в основном ложные утверждения о реальных репозиториях.
• Держите Gemini в стеке для транскриптов YouTube и визуальных экспериментов. Не объединяйте непроверенные PR агентов.

Изучите рабочий процесс: оценка закрытых передовых моделей →