Voici Web Scrape

Web Scrape extrait le contenu principal d’une URL en Markdown pour 1 crédit par requête terminée.

Ce que vous obtenez

• markdown : le contenu principal de la page avec ses titres, paragraphes, listes, tableaux, liens et images, débarrassé de l’en-tête, du pied de page et de la navigation du site.
• title, description, author, publishedAt, siteName, language et image quand la page les déclare.
• finalUrl et statusCode : l’adresse finale après redirections et le statut renvoyé par le site.
• images : chaque image de markdown, dans l’ordre d’apparition, avec son texte alternatif.

Fonctionnement

Envoyez une URL publique http ou https de 2 048 caractères au plus. Web Scrape ouvre la page, affiche d’abord celles qu’un script dessine, comme les fiches produits d’une boutique, et garde le contenu que le lecteur vient chercher : le texte, les tableaux et les images. Le résultat est un Markdown propre, prêt à être stocké, recherché ou analysé.

maxChars fixe la longueur, de 1 000 à 200 000 caractères (100 000 par défaut). Une page longue s’arrête à une fin de paragraphe et indique truncated: true. country (US par défaut) fixe la langue et la région de la requête. Un PDF, une page qui répond 404 ou 410, ou un site qui refuse la requête termine la tâche avec PAGE_UNAVAILABLE, et le message reprend la réponse du site.

Cas d’usage

• Lisez les pages que citent les réponses d’IA pour voir quel contenu obtient des citations.
• Passez un link des résultats de GOOGLE_SERP pour lire les pages qui se classent sur une requête.
• Suivez les pages produits et tarifs de vos concurrents sous forme de texte à comparer dans le temps.
• Lisez une page depuis votre assistant IA avec l’outil MCP scrape_page.

Envoyer la requête

Envoyez la requête avec votre clé API dans l’en-tête Authorization.

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "taskType": "WEB_SCRAPE",
    "payload": {
      "url": "https://docs.querying.ai/quickstart",
      "country": "US"
    }
  }'

Champs de la requête

taskTypestringObligatoire

Le moteur à interroger, par exemple CHATGPT ou GOOGLE.

payload.urlstringObligatoire

La page à lire : une adresse publique http ou https, jusqu’à 2 048 caractères.

payload.maxCharsinteger

Longueur maximale de markdown, de 1 000 à 200 000. Par défaut 100 000. Une page plus longue s’arrête à une fin de paragraphe et porte truncated.

payload.countrystring

Pays depuis lequel la page est demandée ; il fixe sa langue et sa région. Par défaut US.

webhook.urlstring

Une adresse HTTPS de votre serveur. La tâche terminée y est envoyée dès qu’elle se termine.

idempotencyKeystring

Votre identifiant pour la requête. Chaque clé crée une seule tâche par compte : un envoi répété reste une seule tâche.

Réponse

Voici une tâche terminée, raccourcie pour la lecture.

{
  "success": true,
  "task": {
    "id": "910017b1-4fd5-4bc7-8895-bbe6b1b0d1df",
    "taskType": "WEB_SCRAPE",
    "status": "COMPLETED",
    "createdAt": "2026-10-02T15:48:34.088Z"
  },
  "credits": { "creditsToCharge": 1, "creditsCharged": 1 },
  "response": {
    "url": "https://docs.querying.ai/quickstart",
    "finalUrl": "https://docs.querying.ai/quickstart",
    "statusCode": 200,
    "title": "AI Search Data API Quickstart",
    "description": "Submit a task, receive a result — with webhooks or by polling.",
    "siteName": "querying.ai",
    "language": "en",
    "markdown": "# AI Search Data API Quickstart\n\n[한국어 시작 가이드](https://querying.ai/ko/guides/quickstart) · [API plans and credits](https://querying.ai/en/pricing)\n\n## 1\\. Set your credentials\n\n```shellscript\nexport BASE=\"https://api.querying.ai\"\nexport API_KEY=\"<your-key>\"\n```\n\n…",
    "images": [],
    "truncated": false
  }
}

task.statusstring

QUEUED, PROCESSING, puis COMPLETED avec la réponse ou FAILED avec error.

credits.creditsChargedinteger

Crédits facturés pour la tâche terminée. Une tâche en échec facture 0.

response.markdownstring

Le contenu principal de la page en Markdown : titres, paragraphes, listes, tableaux, liens et images.

response.titlestring

Le titre de la page, avec description, author, siteName et language quand la page les déclare.

response.publishedAtstring

La date de publication déclarée par la page, au format ISO 8601.

response.finalUrlstring

L’adresse finale après redirections, avec statusCode.

response.imagesarray

Les images de markdown, dans l’ordre de lecture, chacune avec url et alt.

response.truncatedboolean

true quand markdown a atteint maxChars et s’arrête à une fin de paragraphe.

Recevoir le résultat

La requête renvoie aussitôt la tâche avec status QUEUED. Interrogez GET /v1/async/task/{id} jusqu’à ce que status vaille COMPLETED ou FAILED, ou ajoutez webhook.url pour recevoir la tâche terminée sur votre serveur, avec les mêmes task, credits et response. Les résultats restent disponibles 24 heures après la fin de la tâche.

curl https://api.querying.ai/v1/async/task/$TASK_ID \
  -H "Authorization: Bearer $QUERYING_API_KEY"

Tarif

Chaque page terminée utilise 1 crédit.