/api/v1/augment/scrape
Tools
Web Scrape
Scrape a web page and return its content as markdown. Supports most public web pages; some sites (e.g. X/Twitter, Reddit) that block automated access are rejected immediately.
Authentication: This endpoint accepts either a Bearer API key or a SIGN-IN-WITH-X header for x402 wallet-based authentication. The legacy X-Sign-In-With-X header is also accepted during migration. When using x402, a 402 Payment Required response indicates insufficient balance and includes top-up instructions.
POST
/api/v1/augment/scrape
Senden Sie eine öffentlich zugängliche URL im Feld
url. Die API gibt den Seiteninhalt als Markdown zurück.
Der Scraper versucht zuerst die native Markdown-Unterstützung der Zielseite (über Cloudflare Markdown for Agents) und greift dann auf eine Headless-Browser-Extraktion zurück. Einige Seiten, die automatisierten Zugriff blockieren (z. B. X/Twitter, Reddit), werden sofort mit einem 400-Fehler abgelehnt.
Preise: $0.01 pro Anfrage.
Beispiel (cURL)
Autorisierungen
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
Body
application/json
The URL to scrape
Beispiel:
"https://example.com"