Decodo + Codex = МОЩНЫЙ веб-скрейпинг (Полное руководство)
Почему веб-поиск оказывается недостаточным для агентов, работающих с исследованиями
Если вы использовали ИИ-агента с встроенным веб-поиском, вы знаете его ограничения. Веб-поиск подходит для быстрого вопроса или лёгкого исследования. Он находит и ранжирует релевантные страницы, очень похоже на то, как если бы вы что-то гуглили и читали первую страницу результатов. Но когда вы просите агента исследовать 100 или 1 000 источников, возникают проблемы. Многие сайты блокируют ботов или используют интенсивное выполнение JavaScript. Простой веб-поиск не гарантирует получение каждой страницы и не предоставляет полного отображаемого контента, который вам нужен.
Вот где на помощь приходит веб-скрапинг. Скрапинг обходит многие системы защиты от ботов и возвращает полный контент страницы. Dakota ставит слой скрапинга за инструментами для ИИ-агентов и также предлагает прямой API. Он работает с такими средами, как Codex, Claude, Cursor, Windsurf и другими. Dakota совместим с любым ИИ-агентом, совместимым с MCP. В предыдущем видео канал показал, как использовать агента Hermes с Dakota, а управляемый сервис обеспечивает смену прокси, рендеринг браузера, повторные попытки и общие задачи защиты от ботов.
Канал несколько месяцев активно использует Dakota для работы Mantis.ai, веб-сайта, охватывающего все темы, связанные с ИИ. Агент находит ограниченные по времени предложения, бесплатные кредиты и скидочные планы от поставщиков ИИ, а затем собирает их в список. Это то, что обычный поиск в интернете сделать не может. Та же система используется для DogK.com, сайта в стиле Google Maps, который находит рестораны, дружелюбные к собакам, в Гонконге.
Как настроить Dakota
Начните с dakotato.com и нажмите «начать бесплатно». Бесплатный план веб-скрапинга API позволяет до 2000 запросов и не требует кредитной карты. Когда потребуется масштабирование, вы можете выбрать платный план. У канала есть промокод на 10% скидку на первый платный план, он доступен в описании видео и закрепленном комментарии.
После регистрации перейдите на панель управления, откройте раздел API для скрапинга и нажмите API веб-скрапинга. Справа вы увидите ваш токен базовой аутентификации. Скопируйте его и добавьте размещённый сервер MCP с этим токеном. Настройка одинаковая для всех сред, но синтаксис конфигурации отличается. Четвёртый шаг на панели Dakota показывает точный синтаксис для Codex, Claude Code, Cursor, Windsurf, VS Code и агента Hermes. Настройка канала использует Codex. В настройках Codex перейдите в плагины и MCP, и вы сможете подтвердить, что Dakota включена.
Совет для новичков от этого канала стоит знать. Часто агенты будут собирать данные с Google чаще, чем с указанных вами платформ, даже если вы говорите им собирать данные с YouTube или TikTok. Вы можете наблюдать за панелью Dakota, чтобы увидеть, какие запросы были успешными. Если ваш агент слишком часто использует Google по умолчанию, вы можете установить навыки агента с GitHub Dakota. Эти навыки обучают вашего агента использовать Dakota для веб-скрапинга, и вы можете настраивать слой маршрутизации. Например, вы можете сказать агенту собирать данные с YouTube или TikTok больше, а с Google — меньше. В Claude Code вы устанавливаете это как плагин, выполнив команду /plugin marketplace add agent skills. Вы также можете вручную скопировать навыки агента в формате Anthropic. После установки вы можете позволить вашему агенту просмотреть файл skill.md и настроить его для конкретных платформ.
Прямой тест: сбор статьи и поиск предложений
Канал провел прямой тест на Codex с двумя заданиями. Первое задание заключалось в сравнении Fable 5 и GPT-5.6 Sol, создании статьи и интеграции её на сайт Mantis. Агент проверил, доступен ли Dakota, и нашел полный набор инструментов: веб-скрапинг, скриншоты, поиск на YouTube, метаданные и субтитры. Он использовал серию команд интеграции Dakota для сбора статей в формате markdown. Затем он получил метаданные с нескольких каналов, включая 3-часовой прямой эфир. Среднее время отклика составило 5,4 секунды.
Одна полезная деталь: у Dakota есть шаблоны скраперов для Google, Amazon, YouTube, TikTok, Reddit и других сервисов. С базовым токеном агент самостоятельно определяет правильный шаблон. Для YouTube он выбрал шаблон скрапинга субтитров YouTube вместо простого веб-шаблона. Это означает, что он может получать субтитры, метаданные и временные метки, а не только текст страницы.
Создание статьи в режиме планирования дало предварительный просмотр с локальным браузером и мобильным видом. Первая версия не включала скриншоты от других пользователей YouTube, поэтому пользователь запросил больше. Агент пытался просмотреть YouTube напрямую, но получил ошибку. Затем он использовал извлечённый структурированный контент, включая тайм-коды для точных кадров плеера, чтобы сделать скриншоты с помощью захвата страницы Дакоты. Финальная статья была опубликована на Mantis с скриншотами с YouTube и собственными визуальными тестами канала, а также с анализом, сравнением, практической таблицей решений, примерами рабочих процессов и кратким изложением (TL;DR).
Вторая задача заключалась в отслеживании веб-сайтов поставщиков ИИ на предмет ограниченных по времени предложений. Агент обнаружил новое предложение Google: один год бесплатного доступа к Gemini для студентов колледжей. Он также нашёл пробный период для новых пользователей Z.AI на 5 дней, что последовало за раскрытием, что OX Alpha оказался GLM 5.3 Flash. 27 августа агент нашёл восемь текущих предложений, используя скрейпинг множества источников. Эти результаты были опубликованы в разделе предложений на Mantis.
Канал рекомендует использовать Dakota для такого рода мониторинга в любой области, а не только в ИИ. Если вы интересуетесь спортом или играми, вы можете скрейпить официальные сайты на предмет лимитированных предложений. Многие предложения ограничены по количеству, поэтому к тому времени, когда вы о них узнаете, их уже может не быть. Вы можете настроить cron-задание и связать его с навыком агента Dakota для автоматического запуска мониторинга.
Бесплатный план Dakota на 2000 запросов достаточно, чтобы попробовать это на своих собственных рабочих процессах. Для полного пошагового руководства в письменном виде на канале есть 13-уровневый курс на Mantis.ai в разделе обучения.