- Web Search restituisce risultati strutturati con titoli, URL, snippet e date.
- Web Scrape converte una pagina pubblica selezionata in Markdown.
Cercare sul web
Invia una query all’API Search:Scegliere un provider
Ogni provider accetta la stessa richiesta e costa lo stesso per ricerca, quindi cambiare provider significa modificare un solo campo. La differenza sta in ciò che viene restituito:
I risultati più lunghi diventano token di input quando li passi a un modello, quindi costano di più e richiedono più tempo di elaborazione. Se i risultati finiscono direttamente in un prompt, limita quanti ne includi e quanto testo contribuisce ciascuno. Con
google, conserva i passaggi che corrispondono alla query invece dell’inizio di ogni risultato, che spesso è navigazione o un banner dei cookie.
Per vedere come si confrontano i provider su pertinenza, accuratezza delle risposte, latenza e costo in token, leggi Benchmark dei provider di ricerca web. Include il link all’harness del benchmark, così puoi ripetere il confronto sulle tue domande.
Estrarre una pagina
Dopo aver selezionato un risultato, invia il suo URL pubblico all’API Scrape:Flusso search-to-scrape
1
Cerca
Invia una query mirata e raccogli i risultati strutturati.
2
Seleziona le fonti
Filtra i risultati per rilevanza, dominio e data prima di recuperare il contenuto delle pagine.
3
Estrai
Estrai il Markdown solo dalle pagine che la tua applicazione intende utilizzare.
4
Usa o memorizza il contenuto
Includi il Markdown in un prompt, crea embedding, mettilo in cache, oppure conserva gli URL sorgente per le citazioni.
429; riprovale con backoff esponenziale e limita lo scraping in parallelo a un pool ridotto.