- Web Search liefert strukturierte Ergebnisse mit Titeln, URLs, Snippets und Datumsangaben.
- Web Scrape wandelt eine ausgewählte öffentliche Seite in Markdown um.
Das Web durchsuchen
Senden Sie eine Anfrage an die Search API:Einen Anbieter auswählen
Jeder Anbieter nimmt dieselbe Anfrage entgegen und kostet pro Suche gleich viel, sodass ein Wechsel nur ein Feld betrifft. Der Unterschied liegt darin, was zurückkommt:
Längere Ergebnisse werden zu Input-Tokens, wenn Sie sie an ein Modell übergeben. Sie kosten also mehr und brauchen länger in der Verarbeitung. Wenn Ergebnisse direkt in einen Prompt gehen, begrenzen Sie, wie viele Sie aufnehmen und wie viel Text jedes beiträgt. Behalten Sie bei
google die Passagen, die zur Anfrage passen, statt des Anfangs jedes Ergebnisses, der oft aus Navigation oder einem Cookie-Banner besteht.
Wie sich die Anbieter bei Relevanz, Antwortgenauigkeit, Latenz und Token-Kosten unterscheiden, lesen Sie in Benchmark von Websuche-Anbietern. Der Artikel verlinkt das Benchmark-Harness, sodass Sie den Vergleich mit Ihren eigenen Fragen wiederholen können.
Eine Seite scrapen
Nachdem Sie ein Ergebnis ausgewählt haben, senden Sie dessen öffentliche URL an die Scrape API:Search-to-Scrape-Workflow
1
Suchen
Reichen Sie eine gezielte Anfrage ein und sammeln Sie die strukturierten Ergebnisse.
2
Quellen auswählen
Filtern Sie Ergebnisse nach Relevanz, Domain und Datum, bevor Sie Seiteninhalte abrufen.
3
Scrapen
Extrahieren Sie Markdown nur von den Seiten, die Ihre Anwendung tatsächlich verwenden möchte.
4
Inhalte verwenden oder speichern
Fügen Sie das Markdown in einen Prompt ein, erstellen Sie Embeddings, cachen Sie es oder bewahren Sie Quell-URLs für Zitate auf.
429 zurück. Wiederholen Sie sie mit exponentiellem Backoff und beschränken Sie paralleles Scraping auf einen kleinen Pool.