Руководство по тестированию Claude Opus 5

Итог

Opus 5 — практичный кандидат на обновление для длительного кодирования, исследовательской работы и задач агентов. Его 1 млн контекста, контроль усилий и цена Opus 4.8 — полезные функции, но переключаться стоит только после того, как он улучшит стоимость за принятый результат в вашей собственной работе.

Claude Opus 5 был запущен 24 июля, на день позже предполагаемой даты в оригинальной версии этой статьи. Утечка была полезна как сигнал, но ее было недостаточно для принятия решения о покупке. Теперь есть официальная модель, цена, размер окна контекста и название API для тестирования.

Opus 5 предназначен для длительного кодирования, исследований и работы агентов. Он имеет окно контекста на 1 миллион токенов, поддерживает до 128 000 выходных токенов, по умолчанию позволяет «думать» и позволяет пользователям выбирать между низким, средним, высоким, очень высоким и максимальным уровнем усилий. Название модели в API: claude-opus-5.

Anthropic установила цену $5 за миллион входных токенов и $25 за миллион выходных токенов, такая же базовая цена, как у Opus 4.8. Режим быстрого выполнения работает примерно в 2,5 раза быстрее стандартной скорости и стоит в два раза дороже базовой цены.

Ученики и небольшие команды теперь могут проверить, справляется ли более мощная модель с достаточным количеством сложной работы с меньшим количеством повторных попыток и меньшим объёмом проверки, чтобы оправдать её стоимость.

Особенности, которые стоит изучить

Усилия теперь являются частью маршрутизации модели

Не выполняйте каждую задачу на максимуме. Модель, которая предлагает несколько уровней усилий, даёт вам ещё одно решение о маршрутизации наряду с выбором модели.

Используйте меньшие усилия для работы с чётким шаблоном и дешёвой проверкой. Увеличивайте усилия для сложной ошибки, неоднозначной исследовательской задачи или длинной задачи, где слабый первоначальный план создаёт дорогостоящую переделку. Навык заключается не в поиске одного идеального уровня. Он заключается в согласовании усилий с стоимостью ошибки.

Для длинного контекста всё ещё нужна хорошая формулировка задачи

Контекстное окно в 1 миллион токенов может вместить большой репозиторий или исследовательский пакет, но вместимость не создаёт структуру. Сообщите модели, какой результат вам нужен, какие файлы или источники имеют авторитет, что она может изменять и как будет проверяться результат.

Для кодирования это может означать успешное прохождение теста, минимальные изменения и проверку в браузере. Для исследований это может означать приведённый с ссылками ответ с пометкой неподтверждённых утверждений. Большой контекст наиболее полезен, когда правило принятия небольшое и ясное.

Измеряйте самопроверку, а не рейтинг по бенчмарку

Anthropic подчёркивает, что Opus 5 проверяет свою работу и справляется с более длительными задачами. Примеры его запуска включают устранение корневых причин ошибок, создание тестового сценария при отсутствии прямого потока данных и проверку компоновки в браузере перед передачей.

Это примеры от поставщиков, а не гарантии. Они указывают на лучшую цель для оценки, чем один показатель по бенчмарку: замечает ли модель свою собственную ошибку раньше вас, и сокращает ли это время, необходимое для принятия результата?

Проведите тест переключения на десяти задачах

Выберите десять задач из работы, которую вы уже выполнили. Включите смесь простых и сложных задач, но сохраняйте ожидаемый результат и проверку на приемлемость известными.

Для каждой задачи запишите:

подсказку, исходные файлы, инструменты и разрешения;
модель и настройки усилий;
затраченное время, стоимость токенов, попытки повторного запуска и ошибки инструментов;
время на ручную проверку и исправление;
прошел ли результат первоначальную проверку на приемлемость.

Запустите тот же набор с вашей текущей моделью. Затем вычислите стоимость за принятый результат, а не за запрос. Более дорогой запуск все еще может быть более дешевым, если он выполняет сложную задачу качественно. Сильная модель-бенчмарк все равно может оказаться неправильным выбором, если проверка и исправление поглощают полученную выгоду.

Опубликуйте тест как доказательство.

Сравнение моделей становится доказательством портфолио, когда другой человек может его проверить. Опубликуйте определения задач, правила принятия, настройки и короткий журнал сбоев. Удалите приватный код и данные клиентов, но не скрывайте неудачные запуски.

Это доказательство может поддерживать оплачиваемую работу, не превращая статью в обещание дохода. Разработчик может показать более быструю, проверенную миграционную рабочую схему. Исследователь может показать процитированный краткий документ с меньшим временем исправления. Оператор может показать, что повторяющаяся автоматизация завершается в пределах определённого бюджета на затраты и проверку.

Коммерческая ценность исходит из принятого результата. Доступ к Opus 5 доступен всем на одной платформе, поэтому само название модели не является преимуществом.

Когда не следует менять

Оставайтесь с текущей моделью, если ваши задачи уже выполняются дешево, если ваша среда инструментов ненадёжно поддерживает Opus 5 или если новая модель генерирует более длинные ответы, которые требуют больше времени на проверку. Держите резервный вариант для производственной работы и тестируйте изменения выборки или мышления перед миграцией сохранённых подсказок.

Также отделите эталонные показатели Anthropic от ваших доказательств. Компания сообщает о сильных результатах в кодировании, интеллектуальной работе, использовании компьютера и науке, но ваш поставщик, средства, инструменты, подсказки и правила принятия составляют систему, которой вы фактически пользуетесь.

Продолжайте с руководством по семейству моделей Anthropic и рамками принятия решений по модели.

Официальные источники

Запустите это в работу

Сравнивайте модели по принятым результатам, усилиям на обзор, затраченному времени и стоимости, а не только по стартовым эталонным показателям.

Попробовать

Выполните десять представительных задач на Opus 5 и вашей текущей модели с одинаковыми правилами принятия и фиксированным бюджетом.

Докажите, что это сработало

Сохраняйте подсказки, настройки усилий, разрешения инструментов, ошибки, ручные исправления, затраченное время и стоимость для каждого принятого результата.

Держите в поле зрения

Модель имеет контекстное окно на 1 миллион токенов, до 128 тысяч выходных токенов и по умолчанию включено размышление.
Настройки усилий варьируются от низкого до максимального, чтобы покупатели могли тестировать возможности в зависимости от использования токенов, а не использовать один фиксированный уровень рассуждений.
Базовое ценообразование API соответствует Opus 4.8 и составляет 5 долларов за миллион входных токенов и 25 долларов за миллион выходных токенов.

Изучите рабочий процесс: выбор между моделями Anthropic