Аудит навыков агента Hermes (Руководство по настройке NVIDIA SkillEvaluator)

Файлы навыков — это то, что делает вашего агента Hermes действительно полезным, но большинство из них бесполезны или хуже. Nvidia только что выпустила инструмент с открытым исходным кодом под названием Skill Evaluator, который проверяет три вещи: является ли навык безопасным и корректно оформленным, дублирует ли он что-то, что у вас уже есть, и действительно ли он улучшает производительность агента. А новостная исследовательская команда уже подключила его к установкам навыков для вашего агента Hermes.

Выдающимся открытием является третий уровень: производительность. Nvidia выполняла парные задачи с навыками и без них. Баллы за правильность, обнаруживаемость, эффективность и продуктивность удвоились, когда был загружен хороший навык. Это конкретный показатель роста, а не ощущение. Если вы не используете навыки, вы упускаете много возможностей.

Почему это важно

Одиночный файл skill.md может тихо заставить вашего агента выводить секреты или тратить токены, загружаясь для неправильной задачи. Skill Evaluator даёт вам доказательства на обоих уровнях: можно ли этому доверять и улучшает ли это что-либо? Во время установки, уровень один плюс Skill Specter действует как проверка перед запуском. Он помечает хардкодированные ключи, скрытые инструкции Unicode и явно опасные вспомогательные скрипты до того, как навык будет загружен. Во время разработки уровень три заменяет «мне кажется, что так лучше» на число прироста навыка для каждого агента по каждому набору задач.

Это недостающий средний слой для агентов Hermes. Навыки перестают быть магическими YAML-блоками и становятся артефактами, которые можно сканировать, оценивать и фильтровать в CI до того, как они попадут в продакшн.

Как настроить это

У нас есть полный пошаговый гид на mantis.guru, но вот как это происходит. Сначала обновите Hermes и установите оба сканера с репозитория Nvidia на GitHub: Skill Evaluator и Skill Specter. Затем измените способ установки новых навыков. Сначала скачивайте их в карантин. Hermes выполняет встроенное сканирование безопасности и принятие решений по политике, используя предупреждения первого уровня Skill Evaluator, и только после этого вы подтверждаете установку. Следуйте этому процессу каждый раз.

Если в категории «вредоносные» появляются находки, считайте это опасным. Но отсутствие находок не означает, что всё безопасно. Чистый отчет лишь значит, что выполненные проверки не выявили ничего в рамках их текущих правил. Могут быть другие векторы атаки, поэтому подтверждайте источник, проверяйте файлы, ограничивайте права доступа и тестируйте в отдельной рабочей среде, прежде чем предоставлять учетные данные или назначенный доступ.

Чтобы подтвердить навыки, которые у вас уже есть, найдите папку своих навыков .hermy и выполните команду оценщика. Затем создайте набор оценок, охватывающий явные, неявные, контекстные и негативные случаи, как в процессе третьего уровня Nvidia. Запустите парные живые оценки для одной и той же задачи, одну с навыком и одну без, чтобы увидеть реальные показатели эффективности, правильности, производительности, безопасности и обнаруживаемости.

Навыки имеют высокий рычаг воздействия и высокий риск. Эта настройка даёт вам доказательства для принятия правильных решений.