Тестирование DeepSeek v4 Pro + НОВЫЙ DeepSeek Harness
Что пошло не так с новым Harness
Мы прогнали DeepSeek V4 Pro через бенчмарк Helm's Deep на их совершенно новом Harness, и визуальные результаты были грубыми. Стартовая страница прокрутки города оказалась обычной. Ember Glider, симулятор полета, был настолько темным, что мы не могли увидеть самолет. Jabberw Walk не дал нам ни инструкций к стихотворению, ни монстра для боя. Даже сборка 3D-китайской архитектуры не смогла завершить крышу, с чем старый V4 Pro справлялся без проблем.
Эта последняя деталь и важна. Мы знаем, что V4 Pro сильнее старой модели. Что же изменилось? Сам Harness. Старый тест V4 Flash запускался на Cursor, а не на новом Harness, и работал нормально. Не идеально, но самолет был виден, и движение функционировало. Поставьте более сильную модель Pro на новый Harness — и все становится темнее, пустее и менее играбельно. Мы считаем, что проблема в Harness, а не в модели.
Привязка — это чистый лист
Новый Harness от DeepSeek всё ещё находится на стадии предварительного просмотра для разработчиков. Он поставляется с множеством плагинов, что означает, что по сути он пуст, пока вы не установите то, что вам нужно. Если вы ожидаете, что сможете один раз задать запрос и сразу получить хороший результат, забудьте об этом. Вам нужно потратить время на установку плагинов, изменение настроек и настройку окружения, прежде чем ваш агент сможет что-то сделать.
Это действительно отпугивает, если вы просто хотите весело закодить фронтенд. Но это не является критическим минусом для всех. Если у вас уже настроено много плагинов, Harness может работать для вас хорошо. Главное, что Harness и модель — это два разных объекта. Вы не можете винить V4 Pro за визуальный мусор, когда Harness ещё не подключён. И вы не можете хвалить Harness, когда за всё мышление отвечает модель.
Где V4 Pro действительно выигрывает
Даже после того уродливого теста на производительность мы оставили V4 Pro в нашем рейтинге. Почему? Потому что он в пять раз дешевле Kimi K3 для запуска нашей панели YouTube и при этом намного быстрее.
Наш конвейер панели синхронизирует данные API YouTube, комментарии, новые видео и шорты. С Kimi K3 быстрая синхронизация занимала две-три минуты. С Miniax M3 раньше ситуация была та же. DeepSeek V4 Pro выполняет весь процесс примерно за 5 секунд. Он не выпендривается. Он просто сразу делает своё дело, а стоимость минимальна.
Причина структурная. Передовые модели стоят дорого, потому что объединяют мультимодальную генерацию. V4 Pro хорошо справляется с текстом и мощный в задачах для агентской работы на бэкенде, но вы платите за получаемое. Для визуальной работы на переднем плане Cursor по-прежнему лучше. Для текстовых, насыщенных данными бэкенд-пайплайнов, V4 Pro на Harness дешев и быстр, как только вы его настроите.
Вывод прост. Не делайте V4 Pro своим стандартным выбором для визуальной работы, особенно на новом Harness. Но если вы создаете инструменты и агенты для бэкенда, это выгодная покупка. В пять раз дешевле альтернативы, и мы видели, как он синхронизировал всю нашу панель за секунды.