Chegou o Web Scrape

Web Scrape extrai o conteúdo principal de uma URL em Markdown por 1 crédito por solicitação concluída.

O que você recebe

• markdown: o conteúdo principal da página com títulos, parágrafos, listas, tabelas, links e imagens, e com o cabeçalho, o rodapé e a navegação do site removidos.
• title, description, author, publishedAt, siteName, language e image quando a página os declara.
• finalUrl e statusCode: o endereço final depois dos redirecionamentos e o status que o site devolveu.
• images: cada imagem de markdown, na ordem em que aparece, com o texto alternativo.

Como funciona

Envie uma URL pública http ou https com até 2.048 caracteres. O Web Scrape abre a página, renderiza as que um script desenha, como páginas de produto de lojas, e guarda o conteúdo que o leitor procura: o texto, as tabelas e as imagens. O resultado é um Markdown limpo, pronto para guardar, buscar ou analisar.

maxChars define o tamanho, de 1.000 a 200.000 caracteres (100.000 por padrão). Uma página longa para em uma quebra de parágrafo e marca truncated: true. country (US por padrão) define o idioma e a região com que a página é pedida. Um PDF, uma página que responde 404 ou 410, ou um site que recusa a solicitação encerram a tarefa com PAGE_UNAVAILABLE, e a mensagem traz a resposta do site.

Onde ajuda

• Leia as páginas que as respostas de IA citam para ver que conteúdo ganha citações.
• Passe um link dos resultados do GOOGLE_SERP para ler as páginas que ranqueiam em uma busca.
• Acompanhe as páginas de produto e de preços da concorrência como texto para comparar ao longo do tempo.
• Leia uma página direto do seu assistente de IA com a ferramenta MCP scrape_page.

Envie a requisição

Envie a requisição com a sua chave de API no cabeçalho Authorization.

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "taskType": "WEB_SCRAPE",
    "payload": {
      "url": "https://docs.querying.ai/quickstart",
      "country": "US"
    }
  }'

Campos da requisição

taskTypestringObrigatório

O motor que executa a tarefa, como CHATGPT ou GOOGLE.

payload.urlstringObrigatório

A página a ler: um endereço público http ou https, com até 2.048 caracteres.

payload.maxCharsinteger

Limite de tamanho de markdown, de 1.000 a 200.000. Padrão 100.000. Uma página maior termina numa quebra de parágrafo e traz truncated.

payload.countrystring

País de onde a página é pedida; define idioma e região. Padrão US.

webhook.urlstring

Um endereço HTTPS do seu servidor. A tarefa concluída é enviada para lá assim que termina.

idempotencyKeystring

Seu próprio ID para a requisição. Cada chave cria uma única tarefa por conta, então um reenvio continua sendo uma tarefa.

Resposta

Uma tarefa concluída chega assim, resumida para facilitar a leitura.

{
  "success": true,
  "task": {
    "id": "910017b1-4fd5-4bc7-8895-bbe6b1b0d1df",
    "taskType": "WEB_SCRAPE",
    "status": "COMPLETED",
    "createdAt": "2026-10-02T15:48:34.088Z"
  },
  "credits": { "creditsToCharge": 1, "creditsCharged": 1 },
  "response": {
    "url": "https://docs.querying.ai/quickstart",
    "finalUrl": "https://docs.querying.ai/quickstart",
    "statusCode": 200,
    "title": "AI Search Data API Quickstart",
    "description": "Submit a task, receive a result — with webhooks or by polling.",
    "siteName": "querying.ai",
    "language": "en",
    "markdown": "# AI Search Data API Quickstart\n\n[한국어 시작 가이드](https://querying.ai/ko/guides/quickstart) · [API plans and credits](https://querying.ai/en/pricing)\n\n## 1\\. Set your credentials\n\n```shellscript\nexport BASE=\"https://api.querying.ai\"\nexport API_KEY=\"<your-key>\"\n```\n\n…",
    "images": [],
    "truncated": false
  }
}

task.statusstring

QUEUED, PROCESSING e, no fim, COMPLETED com a resposta ou FAILED com error.

credits.creditsChargedinteger

Créditos cobrados pela tarefa concluída. Uma tarefa que falhou cobra 0.

response.markdownstring

O conteúdo principal da página em Markdown: títulos, parágrafos, listas, tabelas, links e imagens.

response.titlestring

O título da página, com description, author, siteName e language quando a página os declara.

response.publishedAtstring

A data de publicação que a página declara, em ISO 8601.

response.finalUrlstring

O endereço final após redirecionamentos, com statusCode.

response.imagesarray

As imagens de markdown, na ordem de leitura, cada uma com url e alt.

response.truncatedboolean

true quando markdown chegou a maxChars e termina numa quebra de parágrafo.

Receba o resultado

A requisição devolve a tarefa na hora, com status QUEUED. Consulte GET /v1/async/task/{id} até status virar COMPLETED ou FAILED, ou adicione webhook.url e a tarefa concluída chega ao seu servidor com os mesmos task, credits e response. Os resultados ficam disponíveis por 24 horas após o fim da tarefa.

curl https://api.querying.ai/v1/async/task/$TASK_ID \
  -H "Authorization: Bearer $QUERYING_API_KEY"

Preço

Cada página concluída usa 1 crédito.