Grok 4.7 Дешёвый. Он действительно способен строить?

Воспроизводимая игра всё ещё может иметь сломанное управление взлётом. Рабочая кнопка секундомера может скрывать колесо, которое движется в шестьдесят раз быстрее. Когда инструмент ИИ для кодирования создаёт убедительный прототип, протестируйте поведение, которое делает проект полезным, прежде чем тратить ещё одну сессию на его внешний вид.

Сравнение Grok 4.7 от Mantis предоставляет пять конкретных примеров для этого процесса: защита башни, планер, механические часы, требушет и генератор города. Шестнадцать сборок использовали 9% выделенного команды лимита моделей Cursor, но большинство токенов были помечены как Auto. Рассматривайте результаты как доказательства того сеанса Cursor, с ограничениями на то, сколько можно приписать только Grok.

Приведённые ниже проверки превращают эти примеры в метод обзора для ваших собственных сборок. Это предлагаемые упражнения, основанные на зарегистрированных неудачах, а не утверждение о том, что для этой статьи был проведён новый бенчмарк.

Перед началом

Иметь оригинальное задание, созданный проект и способ его запуска с использованием собственных инструкций проекта. Сохраните копию исходной версии перед тем, как просить кодирующего агента что-либо исправить. Вам также понадобится запись использования сеанса, если вы хотите сравнить стоимость; скриншот селектора модели не может идентифицировать все делегированные вызовы.

Составьте короткую таблицу приёмки перед запуском приложения. Разделите внешнее оформление, взаимодействие и внутренние вычисления. Например, для часов может потребоваться читаемые слои, отзывчивое управление движением и согласованное соотношение между секундной стрелкой и её колесом. Прохождение одной колонки не подразумевает прохождение остальных.

Пример	Требование для проверки	Доказательство для сохранения
Защита башни	Бой и покупки правильно изменяют состояние игры	Золото и поведение врага до и после каждого действия
Планер	Приземление позволяет выполнить заявленный следующий взлёт	Последовательность ввода, состояние на земле и наблюдаемая реакция
Наблюдай	Рука и соответствующее колесо используют задуманное время	Позиции через фиксированное время и после остановки
Трёбучет	Сопротивление воздуха соответствует требуемой зависимости	Рассчитанное сопротивление на двух контролируемых скоростях
Сити	Реализация использует требуемую геометрию	Код рендеринга и структура сцены, вместе с областью просмотра

Используйте тот же краткий обзор при сравнении моделей и записывайте любые исправления отдельно от первого вывода. Сравнение источников признаёт, что есть возможность улучшить подсказки, но время, сопротивление и управление полётом уже были запрошены. Оставляйте пропущенное требование в результате, даже если позже улучшите подсказку.

Проверьте полный цикл игры

Начните с короткого взаимодействия, которое изменяет состояние игры. В примере с башенной защитой разместите башню рядом с тропой, начните волну и посмотрите, идут ли враги по маршруту, получают ли урон и получают золото при поражении. Затем купите, улучшите и продайте башню, проверяя баланс после каждого действия.

Эти поведения работали в продемонстрированном начале. Башня мороза также замедляла врагов в пределах своей зоны, что делало её расположение важным. В задании требовалось десять волн и двадцать начальных жизней; работающая первая волна является полезным доказательством, но это не подтверждает, что все десять волн, каждое улучшение и окончательное условие поражения корректны.

Продлите тест через переход обратно в игру. Ember Glider достаточно хорошо связывал наклон, скорость и высоту, чтобы пролетать через кольца и использовать тёплый восходящий поток воздуха. Приземление выявило другое состояние: игра переставала обрабатывать ввод наклона на острове. Ей рекомендовалось наклонять вниз для взлёта, но этот ввод не мог изменить угол после ровного приземления. Требовался отдельный повторный запуск через клавишу R.

Для аналогичного сбоя предоставьте агенту программирования воспроизводимый отчёт, а не «почините полёт»:

Приземлитесь ровно на острове. Примените заявленный ввод наклона вниз.
Ожидаемый результат: ввод изменяет угол и позволяет выполнить документированный взлёт.
Наблюдаемый результат: наклон не меняется при приземлении; повторный запуск происходит через R.
Проверьте обработку входных данных в состоянии приземления. Сохраните работоспособные элементы управления в воздухе
затем повторно протестируйте посадку, взлет и отдельное восстановление действия.

Это пример запроса на ремонт, выведенный из зафиксированного дефекта. Важная деталь — переход в состояние посадки. Агент, тестирующий только полет, может никогда не использовать ветку, содержащую сбой.

Тестирование взаимосвязей внутри анимации

Для часов или другого образовательного механизма уточните, какую взаимосвязь анимация должна объяснять. Затем проверьте эту взаимосвязь как численно, так и визуально.

Часы Grok поддерживали выбор движения, разложенные слои и более медленное воспроизведение. Их большие пластины и тёмный фон скрывали часть механизма. Светлый фон и маркированные слои Astra было легче исследовать. Более серьёзно, секундное колесо Grok вращалось в шестьдесят раз быстрее соответствующей стрелки; остановка переключала вычисления и заставляла колесо прыгать. Astra сохраняла колесо и стрелку в одной временной шкале.

Полезная предлагаемая проверка заключается в том, чтобы удерживать прошедшее время постоянным и сравнивать углы, используемые для стрелки и соответствующего ей колеса. Если секундная стрелка делает один оборот в минуту, её угол увеличивается на шесть градусов в секунду. Через четверть секунды она продвигается на 1,5 градуса. Соответствующая часть, рассчитанная на скорость в шестидесят раз выше, продвинется на девяносто градусов. Эта арифметика иллюстрирует наблюдаемое несоответствие; это не общее утверждение, что все шестерни в настоящих часах вращаются с одинаковой скоростью.

Также сравните положение сразу до и после остановки. Действие паузы не должно переключаться на несовместимую временную шкалу. Попросите агента отслеживать единицы и общие значения времени перед изменением внешнего вида или скорости анимации.

Часы Fable вышли из строя раньше: отсутствие значения цвета остановило рисование на первом кадре анимации. Если элементы управления отображаются, но механизм не работает, сначала проверьте первую ошибку выполнения перед оценкой механики. Отшлифованная оболочка вокруг неудачной процедуры рисования не является рабочей симуляцией.

Используйте независимую проверку физики

Стандартный выстрел требушета достиг ворот замка. Грок и Астра оба рассчитали движение соединённого бросового рычага и пращи; Fable использовал более простую анимацию рычага с таймером, за которой следовал двухмерный расчёт снаряда. Более детальная модель всё ещё может содержать неправильное уравнение.

Запрошенная зависимость воздушного сопротивления была квадратичной: при прочих равных условиях удвоение скорости должно увеличивать сопротивление в четыре раза. Грок удвоил его по-другому, в то время как Астра реализовала запрошенную зависимость. Прогнозируемая траектория Грока могла совпадать с фактической траекторией, потому что оба использовали одно и то же некорректное вычисление.

Для этой конкретной спецификации сравните отношение сопротивления при скорости 40 к сопротивлению при скорости 20. При зависимости, пропорциональной квадрату скорости, отношение равно 40² / 20² = 4. Вам не нужна полная симуляция, чтобы определить это ожидаемое отношение. Оставьте остальные входные данные без изменений, чтобы сравнение отвечало на один вопрос.

Попросите агента определить, где предсказание и воспроизведение рассчитывают сопротивление. Если они используют одну и ту же функцию, их совпадение является проверкой согласованности, а не независимой проверкой физики. Проверьте функцию в соответствии с заявленной зависимостью, затем повторно запустите оба результата. Не делайте выводов о общей физической точности только на основании успешного попадания в ворота.

Проверьте реализацию, которая находится за картинкой.

Генератор города создал трафик, плотные здания и переключатель день/ночь. Освещённые окна делали ночной вид привлекательным. Как Grok, так и Astra рисовали здания на 2D холсте, однако, несмотря на запрос краткой, используемой для настоящей 3D геометрии.

Запросите пошаговое объяснение кода, которое определяет путь рендеринга и структуры, представляющие здания. Оценивайте ответ по коду, а не по описанию модели своей работы. Декоративная панель веб-сайта может быть вполне полезна в качестве 2D-иллюстрации. Приложение, которому нужна настоящая 3D-геометрия, имеет другой критерий принятия. Решите, какой проект вы создаете, прежде чем платить за очередной раунд визуальной полировки.

Учтите стоимость всей сессии

В записанном сеансе использовалось 50,4 миллиона токенов, при этом дополнительных расходов на плане команды Cursor Pro за 20 долларов не зафиксировано. После этого использование квоты моделей показало 9%. Около 83% токенов были прочитаны из кеша, что означает повторное использование контекста ввода, а не сгенерированный заново код. Эти данные относятся к указанному сеансу и плану, а не к текущей цене или гарантированной квоте для вашей учетной записи.

Проверить Текущая документация Cursor по моделям и ценам относительно плана в вашей учетной записи перед составлением бюджета. Наследственная квота Pro для записи не является универсальной.

Примерно девять миллионов токенов были помечены как Grok и сорок один миллион как Auto. Рон подозревал, что делегированная работа по умолчанию была передана субагентам Composer, но запись не установила этот маршрут. Сохраняйте Auto как неизвестную категорию в вашей собственной таблице затрат, а не переназначайте его на модель, выбранную в начале.

Для справедливого сравнения сохраните входные данные, выходные данные и данные о чтении из кэша, фактическую плату или изменение допуска, выбранную модель, а также любые отдельно маркированные вызовы. Включите попытки ремонта. Включите время, затраченное на исправление ошибок, а также плату за генерацию.

В записи приводятся стандартные тарифы API: $2 за миллион входных токенов и $6 за миллион выходных токенов для Grok, по сравнению с $10 и $50 для Astra и Fable, при этом отмечается более дешёвое чтение кэша у Fable. Это исторические тарифы, приведённые в сравнении. Их нельзя умножать на общие 50,4 миллиона, чтобы воссоздать этот счёт Cursor: категории токенов и учёт подписки различаются. Эквивалентное использование выделенной квоты Cursor для Astra и Fable не измерялось, поэтому здесь нет контролируемого процента экономии. Воспоминание о предыдущей сессии Fable, превысившей квоту, не является эквивалентным испытанием.

Устранение неполадок впечатляющего, но ненадёжного прототипа

Если приложение выглядит правильно, но рабочий процесс не выполняется, запишите его состояния и проверьте переходы. Воздушные элементы управления планером работали; наземная ветка не работала. Если анимация прыгает при паузе, проверьте общие значения времени и единицы измерения. Если два прогноза совпадают, проверьте, разделяют ли они одно и то же предположение или функцию. Если вывод выглядит трёхмерным, проверьте код рендеринга перед принятием требования к геометрии.

При сравнении моделей держите неудачи на виду вместе с успехами. Приведённые Роном показатели запуска улучшились по сравнению с Grok 4.6: Cursor Bench 4.0 вырос с 40,4% до 46,3%, что ниже 51,8% Fable; Terminal Bench 4.0 вырос с 20,3% до 38%, что ниже 57,9% Fable. Рон также кратко упоминает, что Kimi K3 выполнила требования из этих брифов, не создавая отдельного сравнения Kimi здесь. Он описал более крупную базовую модель, более длительное обучение с подкреплением, контекстное окно на 500 000 токенов, ввод текста и изображений, регулируемое рассуждение и неизменное стандартное ценообразование. Это заявленные показатели выпуска, а не результаты повторного запуска. Различные настройки рассуждения и отсутствие результата Astra в упомянутом сравнении Cursor ограничивают их использование для ранжирования.

Практическим предпочтением Рона оставалась Astra для основного кодирования, при этом Grok был полезен для скорости и работы с данными X. Его упоминание Jev касалось отдельной работы, а не другого проверенного результата в этом сравнении. Для собственного выбора держите принятый артефакт и его историю ремонта рядом с записью об использовании. Урок экономичной модели расширяет этот выбор; этот обзор дает вам конкретные дефекты, на которые следует обратить внимание, прежде чем объявлять прототип завершённым.