Hermes Agent + Decodo = МОЩНЫЙ веб-скрапинг

Веб-поиск хорошо находит страницы. Он гораздо менее надежен, когда вашему агенту нужно открыть страницу с интенсивным использованием JavaScript, пройти проверку на бота, собрать полный контент и вернуть одинаковые поля с нескольких рынков. Именно эту нишу закрывает Decodo: его слой для скрапинга обрабатывает получение страниц, а Hermes решает, что собирать, какой инструмент использовать и как проверить результат.

Видео Рона от 30 июня, Hermes Agent + Decodo = Мощный веб-скрапинг, использовало Python-хелпер, интегрированный в Hermes Skill. С тех пор Decodo выпустила официальный сервер Model Context Protocol (MCP). Современная конфигурация чище: MCP предоставляет инструменты для скрапинга; Skill является опциональным и должен содержать ваши повторяемые правила исследований, а не ваш секретный токен или низкоуровневый код API.

Перед началом

Вам нужны четыре вещи:

1. Рабочая установка Hermes Agent. Если MCP для вас нов, пройдите наш урок Hermes MCP сначала.
2. Node.js 18 или новее. Официальный пакет MCP от Decodo работает через npx.
3. Аккаунт Decodo Web Scraping API и его Токен базовой аутентификации. Создайте аккаунт через ссылку Decodo Рона; предложение в видео включает 10% скидку на первый оплаченный месяц, если позже вы превысите бесплатные лимиты.
4. Законная, ограниченная цель. Публичная доступность не означает отсутствие ограничений: соблюдайте условия сайта, средства контроля доступа, авторские права, правила конфиденциальности и ограничения по количеству запросов. Никогда не просите агента обходить вход в систему или собирать частные данные.

Текущая документация MCP Decodo рекламирует до 2000 бесплатных запросов без кредитной карты. Рассматривайте детали плана, показанные в видео и скриншоте ниже, как снимок на 30 июня, а не как постоянные цены; проверяйте панель управления перед планированием повторяющейся задачи.

Шаг 1: храните токен вне конфигурации MCP

В панели управления Decodo откройте Web Scraping API и скопируйте токен базовой аутентификации. Не вставляйте его в подсказку, скриншот, Skill или репозиторий. Поместите его в локальный файл секретов Hermes:

# ~/.hermes/.env
SCRAPER_API_TOKEN=ВСТАВЬТЕ СЮДА ВАШ БАЗОВЫЙ ТОКЕН АУТЕНТИФИКАЦИИ

Ограничьте доступ к файлу только для вашего пользователя на общей машине (chmod 600 ~/.hermes/.env). Если токен когда-либо был зафиксирован в коммите или показан публично, замените его в Decodo вместо того, чтобы просто удалять строку.

Шаг 2: добавьте Decodo как локальный MCP сервер

Наиболее надежная установка Hermes использует официальный @decodo/mcp-server пакет Decodo через stdio. Добавьте этот блок под mcp_servers в ~/.hermes/config.yaml:

mcp_servers:
  decodo:
    команда: "npx"
    аргументы: ["-y", "@decodo/mcp-server"]
    окружение:
      SCRAPER_API_TOKEN: "${SCRAPER_API_TOKEN}"
      НАБОРЫ_ИНСТРУМЕНТОВ: "web,search,ecommerce,social_media"
    включено: true

Это позволяет использовать общие страницы, поиск, покупки, Reddit, TikTok и YouTube. Оставьте ai отключите набор инструментов, если вам не нужны конкретно инструменты ChatGPT, Perplexity или Google AI Mode от Decodo; меньший каталог облегчает выбор инструментов и снижает вероятность случайного вызова.

Перезагрузите и протестируйте сервер:

Гермес mcp тест decodo
Гермес mcp настроить decodo
Гермес mcp список

Выбирайте только те инструменты, которые собираетесь использовать. Практичный стартовый набор: scrape_as_markdown, screenshot, google_search, amazon_product, amazon_pricing, youtube_metadata, и youtube_subtitles. Начните новую сессию Hermes после сохранения или запустите /reload-mcp в существующей сессии.

Опция удалённого MCP

Decodo также предоставляет https://mcp.decodo.com/mcp. Для Hermes настройте её вручную, потому что интерактивный hermes mcp add --url процесс обычно формирует заголовок Bearer, тогда как Decodo ожидает Базовый аутентификацию:

mcp_servers:
  decodo:
    URL: "https://mcp.decodo.com/mcp?toolsets=web,search,ecommerce,social_media"
    заголовки:
      Авторизация: "Basic ${SCRAPER_API_TOKEN}"
    включено: true

Используйте один транспорт, а не оба. Локальный пакет проще для диагностики; удалённая конечная точка удаляет локальный подпроцесс Node.

Шаг 3: подтвердите один небольшой скрапинг перед созданием рабочего процесса

Попросите Гермеса предоставить ограниченный, проверяемый результат:

Используйте инструмент Decodo scrape_as_markdown на https://news.ycombinator.com/.
Верните первые пять видимых заголовков историй и их целевые URL.
Сделайте только один вызов скрапинга. Не переходите по целевым ссылкам.

Проверьте, что Гермес называет инструмент Decodo, возвращает пять связанных элементов и использует один запрос. Если он тихо переходит на обычный веб-поиск, остановитесь и исправьте обнаружение MCP, прежде чем доверять большому запуску.

В видео Рон вызвал /decodo-scraping Навык в 04:10С официальным сервером MCP агент может напрямую обнаруживать инструменты Decodo; команда со слешем полезна только тогда, когда нужен стандартный операционный процесс.

Шаг 4: запустите сравнение на Amazon с правильным инструментом

Самый сложный тест в видео сравнивал наушники Sony на Amazon в США, Германии и Японии. Универсальный скрапер сработал, но сначала он отправил названия стран там, где ожидались почтовые коды, а потом обнаружил, что японский листинг использует другой ASIN. Этот провал — урок: для известной торговой площадки предпочитайте amazon_product или amazon_pricing через scrape_as_markdown.

Дайте Hermes контракт, а не «найти самый дешевый»:

Используйте инструменты Amazon от Decodo, чтобы сравнить новые Sony WH-1000XM5 на Amazon в США,
Германии и Японии. Сопоставляйте точную модель; не предполагайте, что каждая торговая площадка использует
тот же ASIN. Для каждого рынка указывайте местную цену, продавца, состояние запасов,
примечание к доставке, URL продукта и время получения. Преобразуйте цены в доллары США, используя один
указанный источник обменного курса и отметку времени. Ограничьте весь процесс 8 вызовами Decodo.
Если рынок не удается сопоставить с уверенностью, возвращайте «не проверено» вместо
подстановки похожего продукта.

Если Decodo отклоняет geo, согласуйте домен торговой площадки с рынком и используйте формат почтового индекса, который ожидает целевой рынок. Не повторяйте попытки с тем же неверным значением страны. Агент Рона идентифицировал и исправил это правило во время выполнения:

Окончательный ответ должен сохранять неопределённость. В снятом на видео запуске Германия была распродана, Японии требовался другой список, а агент сообщил, что Япония является самым дешевым проверенным новым предложением на тот момент. Это был успешный результат исследования — а не вечное утверждение о покупке.

Шаг 5: превратить политику исследования в навык Hermes

MCP отвечает на вопрос «какими инструментами может воспользоваться Hermes?» Навык отвечает на вопрос «как должна выполняться эта работа каждый раз?» Создавайте маленький Навык только после того, как ручной запрос работает. Его инструкции должны требовать целевых инструментов, предела запросов, временных меток, URL источников и явных неизвестных. Никогда не копируйте токен в SKILL.md.

Различие имеет значение в масштабе. Рон описал мониторинг 603 X-аккаунтов и сбор до 15 последних постов с каждого аккаунта. Видео оценивало, что ежедневная работа обходится примерно в $16,50 в месяц и показало 2 700 исторических запросов с уровнем успеха 99,3%. Это показатели рабочей нагрузки Рона за июнь 2026 года, а не общая стоимость или гарантия производительности Decodo. Измеряйте собственные успешные запросы, повторные попытки, актуальность и стоимость за принятый рекорд.

Используйте самый узкий инструмент, соответствующий задаче. Шаблон может возвращать стабильные поля с меньшим количеством токенов и меньшей необходимостью парсинга, чем универсальное сканирование страниц. Универсальное сканирование оставляйте для целей без специализированного инструмента.

Устранение неполадок

401 Unauthorized: подтвердите, что значение является токеном аутентификации Web Scraping API Basic. Удаленное подключение Decodo требует Authorization: Basic ..., не Bearer. Проверьте на случайные пробелы и замените токен, который мог быть скомпрометирован.

Hermes сообщает, что инструментов Decodo нет: запуск hermes mcp test decodo, подтвердите Node 18+, проверьте отступы в YAML и убедитесь, что @decodo/mcp-server может запускаться через npx. Перезагрузите MCP или начните новую сессию после изменений.

Ответ превышает контекст: запросите меньший набор результатов или укажите tokenLimit. Сначала собирайте; потом суммируйте. Не выполняйте вторую платную выборку только потому, что первый ответ был слишком длинным.

Маркетплейс возвращает неверный регион или отсутствие товара: используйте инструмент, специфичный для целевого маркета, сопоставьте домен с маркетплейсом, укажите ожидаемое место доставки и проверьте идентичность продукта, вместо того чтобы принудительно использовать один ASIN для разных стран.

Затраты внезапно растут: отключите неиспользуемые наборы инструментов, ограничьте количество вызовов в подсказке, избегайте автоматических параллельных повторов и ведите журнал успешных записей по каждому запросу. Дешевый скрапинг, который производит непригодные данные, все равно является потраченными средствами.

Официальная документация

• Начните с Decodo и используйте предложение партнера Рона
• Документация сервера Decodo MCP
• Сервер Decodo MCP на GitHub
• Справка по конфигурации Hermes Agent MCP
• Просмотрите полное исходное видео