WikiSkill — многообещающее исследование. Сообщества CLI по-прежнему нуждаются в вашем собственном шлюзе

WikiSkill — это исследовательская платформа Google, предназначенная для превращения опыта выполнения задач в постоянную базу знаний, которая помогает предлагать изменения навыков агента. В статье выделяются три уровня: неизменяемые сырые следы, вики, которая сохраняет объединенные шаблоны, и навыки, которые могут быть отменены, если проверка не улучшает результаты.[1] Независимое мнение описывает такое же разделение на сырой/вики/навык и подчеркивает, что основная модель не подвергается непрерывному переобучению этим процессом.[4] Это привлекательный ответ на знакомую проблему агента: полезный урок часто исчезает вместе с записью чата.

Это не обещание, что развивающаяся папка инструкций улучшит каждый рабочий процесс. В статье оцениваются пять семейств эталонов с использованием пяти моделей; в ней сообщается о приросте по сравнению с отсутствием навыков и базовыми линиями эволюции навыков во многих настройках, при этом также показывается, что результаты зависят от бенчмарка и модели.[1] Редакционный сайт, приватный репозиторий, политика одобрения инструментов и реальный рабочий процесс клиента не являются этими бенчмарками.

Что на самом деле поставляет сообщество проекта

ashutoshsinghpr7/wikiskill это Python CLI/приложение с лицензией MIT, а не отдельный пакет навыков. Метаданные PyPI требуют Python 3.10 или новее и предоставляют консольную команду.[2] wikiskill Приложение создаёт рабочие пространства, реализует песочницы задач, сохраняет следы и вики, запускает модератора и предлагающего, и проверяет кандидатный набор навыков на тестовых заданиях для валидации.[3]

Зафиксированный артефакт, рассмотренный в этой статье, это wikiskill==0.1.2, wheel SHA-256 79d7aa575e8b1f8c6ec4f3598a2aa1873ec6aa54bca524051e05a0ab55f96a2e. PyPI отмечает версию 0.1.1 как удалённую, потому что wikiskill.backends отсутствовал; версия 0.1.2 включает этот пакет в wheel.[2] Установите с помощью pip install wikiskill; удалите с помощью python3 -m pip uninstall wikiskill. Деинсталляция не удаляет рабочее пространство эволюции, его сгенерированные навыки или каталог профиля.

Проект документирует Hermes как эталонное backend и Claude Code как поставляемый backend. Codex и OpenCode находятся в планах развития, на сегодняшний день не поддерживаются как backend.[3] Это различие важно при чтении сравнений или при решении, применим ли конкретный запуск к вашему агенту.

Осмотрите границу перед тем, как давать ей модель

Hermes backend из wheel версии 0.1.2 создаёт рабочее пространство локально HERMES_HOME, очищает свои рабочие сессии и каталоги памяти, и восстанавливает каталог активных навыков в виде символических ссылок для управления.[3] Это полезные решения в дизайне. Тот же код также копирует config.yaml, .env, и auth.json из исходного домашнего каталога Hermes, если они существуют.[3]

Именно эта копия объясняет, почему «изолированный» требует уточнения. Она может предотвратить загрузку обычного профиля при запуске агента, но может дублировать его учетные данные и конфигурацию в новом месте. Обрабатывайте сгенерированные навыки и трассировки как конфиденциальные, проверяйте подпроцессы и записи в файловой системе, и используйте только специально созданный исходный профиль с ограниченным доступом к модели. Не направляйте инструмент на ежедневный профиль или историю приватных сессий.

CLI вызывает Hermes, экспортирует сессии в сырой слой и управляет активными навыками через вложенный Git-репозиторий для подтверждений и откатов.[3] Таким образом, это приложение с правами доступа к файловой системе, подпроцессам, поставщику моделей и обработке транскриптов — а не безобидная загрузка текста. Оно самостоятельно не выполняет внешние вызовы без настроенного агента/бэкенда, но настроенный бэкенд может использовать доступ к модели и инструменты, которые оно получает.

Отложенный шлюз Mantis, честно сообщено

Мы добавили benchmarks/wikiskill/ с десятью замороженными синтетическими задачами с автоматической оценкой: семь тренировочных случаев и три отложенных случая. Испытательная система фиксирует дополнительное правило принятия: принятая отложенная версия должна увеличиться как минимум на 10 процентных пунктов, предложения с более низкими оценками не могут быть приняты, секретное сканирование должно не выявить утечек, очистка должна быть завершена, и сравнение отложенных случаев должно быть повторено.

Измеренный результат составляет без измерений, а не «пройдено», «не пройдено по производительности» или «доказательство вреда». Запуск в реальном времени был незаконным в рамках ограничений задачи, потому что не был предоставлен отдельный тестовый профиль Hermes с учетными данными. Запуск проверяемого bootstrap на активном профиле скопировал бы его конфигурацию и учетные данные, нарушая границы оценки. Следовательно, исходные директории содержат явные NOT_RUN записи, а не вымышленные протоколы или оценки.

В наборе для проверки с тремя случаями также есть шаги оценки по 33,33 балла. Это воспроизводимый контрольный фильтр, недостаточно данных, чтобы делать широкие утверждения о надежности. Будущий оценщик должен работать из чистых песочниц, сохранять как принятые, так и отклоненные предложения, очищать все следы и публиковать повторное сравнение, даже если оно отрицательное или смешанное.

Удаление является частью результата

Безопасный тест требует больше очистки, чем pip uninstall. Удалите временное колесо и окружение, одноразовое рабочее пространство, сгенерированную вики, активные и фреймворковые навыки, журналы модели, экспорты сессий и выделенный тестовый профиль. Убедитесь, что ни один путь активного профиля, учетные данные, необработанная приватная расшифровка или секрет не сохраняются в отчете.

Этот запуск только для аудита не создавал никаких из этих артефактов выполнения. Его доказательство очистки говорит именно об этом. Отсутствие учебного пособия намеренное: доказательства не удовлетворяют установленный порог.

Источники

[1] https://arxiv.org/html/2608.27454 — Tang и др., «WikiSkill: Компиляция опыта агента в устойчивые знания для эволюции навыков», Google Research, 2026.

[2] https://pypi.org/pypi/wikiskill/json — wikiskill Метаданные релиза 0.1.2, хэши файлов, требование Python, лицензия и снятая запись 0.1.1, проверено 2026-08-31.

[3] https://github.com/ashutoshsinghpr7/wikiskill — Реализация сообществом, README, поддержка бэкенда, дорожная карта и перекрестная проверка исходника; закреплённое колесо 0.1.2 было независимо проверено 2026-08-31.

[4] https://the-decoder.com/google-gives-ai-agents-their-own-wiki-so-they-can-learn-from-mistakes-and-successes/ — Независимое резюме трёх уровней статьи и контекста бенчмарка, 29 августа 2026.

Запустите это в работу

Отдельные исследовательские данные, утверждения сопровождающих и локальные измерения перед принятием инструкций агента с самосовершенствованием.

Попробовать

Проверьте закреплённое колесо и запустите только одну синтетическую удерживаемую проверку из выделённого профиля Hermes с ограниченными учетными данными.

Докажите, что это сработало

Сохраняйте разделение задач, базовые показатели, все предложения и решения проверок, очищенные трассы, проверку секретов, повторное сравнение и доказательство очистки.

Где это может оплатить

Рассмотренный инструмент оценки может стать полезной службой надежности, но никогда не продавайте перенос эталонных показателей или немеренные улучшения как результат в производстве.

Держите в поле зрения

• Статья разделяет неизменяемые трассы выполнения, постоянную вики и навыки с возможностью отката; заявленные эталонные улучшения не являются обещанием для нового рабочего процесса.
• Созданный сообществом артефакт — это Python CLI с включёнными пакетами навыков, а не просто загрузка SKILL.md; версия 0.1.2 исправляет удалённое колесо версии 0.1.1.
• Его Hermes bootstrap копирует конфигурационные и учетные файлы в изолированный профиль рабочей области, поэтому изоляция не заменяет специально созданный тестовый профиль.
• Наша замороженная тестовая среда из десяти случаев включает семь обучающих и три отложенных случая, но утвержденного источника изолированных учетных данных не было; его вердикт не измерен.

Изучите рабочий процесс: измеряйте навык, прежде чем доверять ему →