/api/v1/augment/scrape
Tools
Web Scraping
Scrape a web page and return its content as markdown. Supports most public web pages; some sites (e.g. X/Twitter, Reddit) that block automated access are rejected immediately.
Authentication: This endpoint accepts either a Bearer API key or a SIGN-IN-WITH-X header for x402 wallet-based authentication. The legacy X-Sign-In-With-X header is also accepted during migration. When using x402, a 402 Payment Required response indicates insufficient balance and includes top-up instructions.
POST
/api/v1/augment/scrape
Envoyez une URL publiquement accessible dans le champ
url. L’API renvoie le contenu de la page en markdown.
Le scraper essaie d’abord la prise en charge native du markdown du site cible (via Cloudflare Markdown for Agents), puis se rabat sur une extraction par navigateur headless. Certains sites qui bloquent l’accès automatisé (par exemple X/Twitter, Reddit) sont rejetés immédiatement avec une erreur 400.
Tarification : 0,01 $ par requête.
Exemple (cURL)
Autorisations
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
Corps
application/json
The URL to scrape
Exemple:
"https://example.com"