Масштабируйте проверенный скрапинг с помощью синхронных, асинхронных и пакетных запросов

Последнее тестирование и обновление: Август 2026

Не автоматизируйте неопределённый исследовательский запрос. Сначала докажите фиксированную цель, схему, правило валидации и бюджет запроса с помощью MCP или API Playground.

Затем выберите режим API.

Режим	Использовать когда	Основной компромисс
В реальном времени	Одна задача должна завершаться быстро в открытом HTTP-запросе	Соединение остаётся открытым; задокументированный таймаут составляет 150 секунд
Асинхронно	Задача может пережить запрос или требует последующего извлечения	Вы должны хранить и опрашивать task_id
Пакетная обработка	Многие URL или запросы используют одну цель и схему	Большая вероятность сбоя; применяются ограничения частоты подписки

Запрос в реальном времени

curl --запрос POST \
  --url 'https://scraper-api.decodo.com/v2/scrape' \
  --заголовок 'Accept: application/json' \
  --заголовок 'Authorization: Basic TOKEN_VALUE' \
  --заголовок 'Content-Type: application/json' \
  --данные '{
    "target": "google_search",
    "query": "лучший компактный механический клавиатура",
    "geo": "США",
    "locale": "en-US"
    "тип_устройства": "настольный компьютер",
    "разбирать": true
  }'

Используется для интерактивного запроса, где вызывающий может ждать. Если соединение закроется до завершения, результат может быть потерян.

Поставить в очередь одну асинхронную задачу

curl --запрос POST \
  --url 'https://scraper-api.decodo.com/v3/task' \
  --заголовок 'Accept: application/json' \
  --заголовок 'Authorization: Basic TOKEN_VALUE' \
  --заголовок 'Content-Type: application/json' \
  --данные '{
    "target": "google_search",
    "query": "лучший компактный механический клавиатура",
    "geo": "США",
    "разбирать": true
  }'

Сохраните возвращённое id как ваш task_id. Затем:

# Проверить статус
curl --запрос GET \
  --url 'https://scraper-api.decodo.com/v3/task/TASK_ID' \
  --заголовок 'Authorization: Basic TOKEN_VALUE'

# Получить результаты после того, как статус будет завершён
curl --запрос GET \
  --url 'https://scraper-api.decodo.com/v3/task/TASK_ID/results' \
  --заголовок 'Authorization: Basic TOKEN_VALUE'

Поставьте в очередь пакет

Использовать https://scraper-api.decodo.com/v3/task/batch когда все записи используют одну цель. Документация Decodo говорит, что одна партия содержит либо запросы, либо URL-адреса, но не оба одновременно, и указывает лимит в один запрос на партию в секунду.

{
  "target": "google_search",
  "query": [
    "лучший компактный механический клавиатура",
    "тихая механическая клавиатура для офиса",
    "механическая клавиатура с низким профилем"
  ],
  "гео": "Соединённые Штаты",
  "разбор": true
}

Сохраняйте одну запись результата на каждый входной элемент, включая ошибки. Никогда не удаляйте неудачные строки и затем не сообщайте 100% успешность.

Используйте обратные вызовы осторожно

Асинхронный запрос может включать callback_url. Рассматривайте входные данные обратного вызова как недоверенные сетевые данные:

1. Используйте HTTPS.
2. Добавьте случайное значение в поле Decodo passthrough и проверьте его при получении.
3. Проверить идентификатор задачи, цель и ожидаемую схему.
4. Сделать обработку идемпотентной; повторные обратные вызовы не должны создавать дубликаты записей.
5. Держите Basic-токен вне URL обратного вызова и журналов.

Получать несколько форматов ответа

Decodo поддерживает raw, parsed, markdown, xhr, и png выводы для совместимых асинхронных запросов. Получайте выбранные форматы через:

https://scraper-api.decodo.com/v3/task/TASK_ID/results?type=raw,markdown,png

Не каждая цель поддерживает каждую комбинацию.

Запись, готовая к производству

Хранить как минимум:

• внутренний идентификатор задачи;
• идентификатор задачи Decodo;
• цель и точный ввод;
• параметры запроса;
• время постановки в очередь, завершения и наблюдения;
• статус ответа и формат;
• количество принятых записей;
• количество повторных попыток и причина;
• результат проверки;
• исходные URL;
• оценочная или фактическая стоимость запроса.

Официальные ссылки

• Запросы в реальном времени
• Асинхронные и пакетные запросы
• Несколько форматов ответа