- Web Search renvoie des résultats structurés comprenant titres, URL, extraits et dates.
- Web Scrape convertit une page publique sélectionnée en Markdown.
Rechercher sur le web
Envoyez une requête à l’API Search :Choisir un fournisseur
Chaque fournisseur accepte la même requête et coûte le même prix par recherche, donc changer de fournisseur revient à modifier un seul champ. La différence tient à ce qui est renvoyé :
Les résultats plus longs deviennent des tokens d’entrée quand vous les transmettez à un modèle : ils coûtent donc plus cher et prennent plus de temps à traiter. Si les résultats vont directement dans un prompt, limitez leur nombre et la quantité de texte que chacun apporte. Avec
google, conservez les passages qui correspondent à la requête plutôt que le début de chaque résultat, qui contient souvent la navigation ou un bandeau de cookies.
Pour comparer les fournisseurs en pertinence, précision des réponses, latence et coût en tokens, lisez Benchmark des fournisseurs de recherche web. L’article renvoie vers le harness du benchmark, pour que vous puissiez relancer la comparaison sur vos propres questions.
Extraire une page
Après avoir sélectionné un résultat, envoyez son URL publique à l’API Scrape :Flux Search-to-Scrape
1
Rechercher
Soumettez une requête ciblée et collectez les résultats structurés.
2
Sélectionner les sources
Filtrez les résultats par pertinence, domaine et date avant de récupérer le contenu des pages.
3
Extraire
Extrayez le Markdown uniquement des pages que votre application a l’intention d’utiliser.
4
Utiliser ou stocker le contenu
Incluez le Markdown dans un prompt, créez des embeddings, mettez-le en cache ou conservez les URL sources pour les citations.
429 ; réessayez-les avec un backoff exponentiel et limitez le scraping parallèle à un pool réduit.