Web Scrape를 소개해요

Web Scrape가 URL의 본문을 Markdown으로 가져와요. 완료된 요청당 1크레딧이에요.

받는 결과

• markdown: 페이지 본문을 제목, 문단, 목록, 표, 링크, 이미지와 함께 담습니다. 사이트의 머리글, 바닥글, 메뉴는 걸러 냅니다.
• title, description, author, publishedAt, siteName, language, image: 페이지가 밝힌 정보를 그대로 담습니다.
• finalUrl, statusCode: 리디렉션 후 최종 주소와 사이트가 돌려준 상태 코드입니다.
• images: markdown 안의 이미지를 나오는 순서대로 대체 텍스트와 함께 담습니다.

동작 방식

공개된 http, https URL을 2,048자까지 보내세요. Web Scrape가 페이지를 열고, 쇼핑몰 상품 페이지처럼 스크립트로 그리는 페이지는 화면을 그린 뒤 읽어, 독자가 보러 온 본문, 표, 이미지를 남깁니다. 결과는 깔끔한 Markdown이라 바로 저장하고 검색하고 분석합니다.

maxChars로 길이를 1,000자에서 200,000자까지 정합니다(기본 100,000자). 긴 페이지는 문단 경계에서 끊고 truncated: true를 표시합니다. country(기본 US)는 페이지를 요청할 언어와 지역을 정합니다. PDF, 404나 410을 돌려주는 페이지, 요청을 거부한 사이트는 PAGE_UNAVAILABLE로 끝나고 메시지에 사이트의 응답이 담깁니다.

이렇게 활용하세요

• AI 답변이 인용한 페이지를 읽고 어떤 콘텐츠가 인용되는지 파악합니다.
• GOOGLE_SERP 결과의 link를 넣어 검색어별 상위 페이지를 읽습니다.
• 경쟁사의 상품, 가격 페이지를 텍스트로 모아 시점별로 비교합니다.
• MCP 도구 scrape_page로 AI 어시스턴트에서 바로 페이지를 읽습니다.

요청 보내기

API 키를 Authorization 헤더에 넣어 요청을 보냅니다.

curl -X POST https://api.querying.ai/v1/async/task \
  -H "Authorization: Bearer $QUERYING_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "taskType": "WEB_SCRAPE",
    "payload": {
      "url": "https://docs.querying.ai/quickstart",
      "country": "US"
    }
  }'

요청 필드

taskTypestring필수

실행할 엔진입니다. CHATGPT, GOOGLE 같은 값을 넣습니다.

payload.urlstring필수

읽을 페이지입니다. 공개된 http 또는 https 주소, 최대 2,048자.

payload.maxCharsinteger

markdown 길이 상한, 1,000에서 200,000. 기본값 100,000. 더 긴 페이지는 문단 경계에서 끝나고 truncated가 붙습니다.

payload.countrystring

페이지를 요청하는 국가로, 페이지의 언어와 지역이 정해집니다. 기본값 US.

webhook.urlstring

서버의 HTTPS 주소입니다. 태스크가 끝나는 즉시 결과를 이 주소로 보냅니다.

idempotencyKeystring

요청에 붙이는 고유 ID입니다. 키 하나는 계정에서 태스크 하나를 만들므로, 다시 보내도 태스크는 하나로 유지됩니다.

응답

완료된 태스크는 이런 형태입니다. 길이를 줄여 보여 드립니다.

{
  "success": true,
  "task": {
    "id": "910017b1-4fd5-4bc7-8895-bbe6b1b0d1df",
    "taskType": "WEB_SCRAPE",
    "status": "COMPLETED",
    "createdAt": "2026-10-02T15:48:34.088Z"
  },
  "credits": { "creditsToCharge": 1, "creditsCharged": 1 },
  "response": {
    "url": "https://docs.querying.ai/quickstart",
    "finalUrl": "https://docs.querying.ai/quickstart",
    "statusCode": 200,
    "title": "AI Search Data API Quickstart",
    "description": "Submit a task, receive a result — with webhooks or by polling.",
    "siteName": "querying.ai",
    "language": "en",
    "markdown": "# AI Search Data API Quickstart\n\n[한국어 시작 가이드](https://querying.ai/ko/guides/quickstart) · [API plans and credits](https://querying.ai/en/pricing)\n\n## 1\\. Set your credentials\n\n```shellscript\nexport BASE=\"https://api.querying.ai\"\nexport API_KEY=\"<your-key>\"\n```\n\n…",
    "images": [],
    "truncated": false
  }
}

task.statusstring

QUEUED, PROCESSING을 거쳐 답변과 함께 COMPLETED로, 또는 error와 함께 FAILED로 끝납니다.

credits.creditsChargedinteger

끝난 태스크에 청구된 크레딧입니다. 실패한 태스크는 0입니다.

response.markdownstring

페이지 본문 Markdown입니다. 제목, 문단, 목록, 표, 링크, 이미지가 담깁니다.

response.titlestring

페이지 제목입니다. 페이지가 밝히면 description, author, siteName, language도 함께 옵니다.

response.publishedAtstring

페이지가 밝힌 게시일, ISO 8601 형식.

response.finalUrlstring

리다이렉트를 거친 최종 주소와 statusCode입니다.

response.imagesarray

markdown에 든 이미지를 본문 순서대로 담고, 각각 url과 alt가 있습니다.

response.truncatedboolean

markdown이 maxChars에 닿아 문단 경계에서 끝났으면 true입니다.

결과 받기

요청하면 status가 QUEUED인 태스크가 바로 돌아옵니다. status가 COMPLETED나 FAILED가 될 때까지 GET /v1/async/task/{id}로 조회하거나, webhook.url을 넣어 같은 task, credits, response를 서버로 받으세요. 결과는 태스크가 끝난 뒤 24시간 동안 조회됩니다.

curl https://api.querying.ai/v1/async/task/$TASK_ID \
  -H "Authorization: Bearer $QUERYING_API_KEY"

요금

완료된 페이지마다 1크레딧이 차감됩니다.