Четыре брифа. Проверяемая правильность.
Четыре односообщенческих HTML-ориентированных бенчмарка тестируют решение ограничений, согласованность событий, долгосрочное планирование и границы инструкций. Подсказки опубликованы с одной записанной оценкой.
Каждый вызов требует полированного интерактивного браузерного артефакта, чья логика сохраняется после редактирования, противоречивых данных, повторного воспроизведения или отложенных последствий. Это предлагаемые более сложные тесты по различным осям рассуждений, а не доказательство сбоя модели передового уровня или измеренные показатели прохождения.
Редакция подсказок 2.0 · Одна записанная оценка: DeepSeek V4.1 Flash-1017 запустил все четыре брифинга.
Бриф 17 · Редакция 2.0
Павильон Prism Freight
Постройте отполированный интерактивный выставочный павильон для грузов в одном автономном HTML-файле: шесть помеченных экспонатов занимают шесть площадей пола, а точный алгоритм находит наилучшее законное расположение или объясняет наименьший набор правил, которые нужно убрать, чтобы его создать.
Протокол: одиночный запрос
Ось рассуждений: Многокритериальное рассуждение в компактном артефакте; точное статическое распределение, оптимальность, невозможность и минимальное ослабление.
Бриф 18 · Редакция 2.0
Обсерватория Tidal Ledger
Постройте интерактивную гавань-обсерваторию в одном автономном HTML-файле: три склада обмениваются пломбированным грузом через детерминированный реестр событий, и пользователи могут перематывать, воспроизводить и создавать ветвления истории, одновременно проверяя точное местоположение каждой единицы.
Протокол: одиночный запрос
Ось рассуждений: кодирование без инструментов в условиях адверариальной консистентности; детерминированное воспроизведение событий, идемпотентность, атомарный импорт и ветвление временной линии.
Бриф 19 · Издание 2.0
Last-Light Relay
Создайте полностью автономный инструмент планирования и исполнения для восстановления вымышленной островной ретрансляционной станции до наступления темноты в одном HTML-файле: вычислите оптимальный ресурсно-доступный график, проиграйте его последствия, а затем перестройте план с учетом закрытия крана без переписывания уже начатой работы.
Протокол: одиночный запрос
Ось рассуждений: Долгосрочное планирование, сжатое в один шаг; планирование с ограниченными ресурсами, оптимальность, исполнение и перестройка плана с неизменной историей.
Бриф 20 · Издание 2.0
Деск карантинного сигнала
Постройте визуально проработанный стол проверки сигналов в одном автономном HTML-файле: импортированные сообщения могут содержать вводящие в заблуждение инструкции, но решения диспетчера должны следовать приведённой ниже явной политике, а весь импортированный текст должен оставаться неактивными данными.
Протокол: одиночный запрос
Ось рассуждений: следование конфликтым/противоречивым инструкциям через явную границу доверия, с определенным приоритетом политики и обработкой враждебного текста как данных.
Записанная оценка
DeepSeek V4.1 Flash-1017 запустил все четыре брифа из издания 2.0, по одному независимому агенту на каждый бриф, создавая каждый артефакт за один проход без тестирования в браузере и без этапа исправления. Артефакты публикуются как доставленные.
С записи сессии указывает, какие проверки на уровне исходного кода были выполнены, какие проверки остаются для ручного обзора в браузере и чем эта доставка отличается от эпизода с одним сообщением через размещенный API: модель работала внутри агента с файл-подсказкой и путем к выводу, а не как обычное завершение API.
Создание контента без инструментов, с одним ответом
Один полный запрос как одно сообщение пользователя; один автономный HTML-ответ. Без инструментов, внешних зависимостей или последующих исправлений во время создания. Частное рассуждение неограниченно. Позднее человек-ревьюер проверяет артефакт в браузере; самостоятельно заявленный успех модели не является доказательством.
Не объединяйте руководство оператора 1.x BENCHMARK-PROMPT.md с этими краткими инструкциями. Встроенная проверка предназначена для самоанализа на уровне исходного кода и последующей проверки человеком через браузер. Фиксируйте ошибки до любых отдельно обозначенных исправлений с помощью помощника.
Веса рубрики и проходной критерий
Каждая рубрика имеет пять бинарных критериев, каждый из которых оценивается в 20 баллов за дизайн. Присуждайте балл за критерий только тогда, когда все указанные проверки прошли успешно; в противном случае присуждайте ноль. Это веса рубрик, а не оценки моделей. Для прохождения необходимо выполнение всех пяти критериев, каждого элемента встроенного контроля и общего контрольного этапа: ровно один автономный HTML-артефакт, отсутствие внешних запросов или зависимостей, никакие инструменты в процессе генерации и отсутствие механизмов-заглушек. Проводите проверку при разрешении 1280×800 и 390×844 с использованием навигации с клавиатуры и уменьшенной анимации. Используйте бухгалтерские книги, экспорты, независимую арифметику и анализ исходного кода.
Каждая страница содержит пять критериев, правила прохождения и объем противодействия мошенничеству. Важны редактируемые общедоступные данные и независимая проверка; значки «пройдено», созданные приложением, не устанавливают результат. Абсолютные заявления о производительности не делаются без указания аппаратного обеспечения и измерений.
Сохраняйте сравнимость версий на их собственных условиях
Результаты Superbench 1.x сохраняют свои исходные протоколы. Рабочий процесс core/specialist repository-run не планирует v2. Медиа-поддерживаемый протокол специалиста City Scroll остается отдельным. Результаты разных версий количественно несравнимы, и никакие исторические показатели не переносились.
Основные и специализированные краткие инструкции Superbench 1.x остаются доступными вместе с архивными тестами и историческими результатами. Выпуск 2.0 их не отменяет.
Запусковые подсказки заморожены на издании 2.0. Изменения поведения, оснастки или критериев прохождения требуют документированного нового издания; будущие результаты должны сохранять точно оцененную ревизию. Явно указывайте типографические исправления.
Покрытие издания
«Записанный» означает опубликованный артефакт, а не поведенческий проход. Исторические возвращаемые результаты сохраняют свой оригинальный протокол.
deepseek-v4-1-flash-1017 · Superbench 2.0: 4/4 записано · 0 в ожидании · 0 не запущено
- 17 Павильон грузов Prism · один запрос · Записано
- 18 Обсерватория Tidal Ledger · один запрос · Записано
- 19 Релей последнего света · один запрос · Записано
- 20 Пульт карантинного сигнала · один запрос · Записано