Vai al contenuto principale
Venice fornisce API separate per scoprire pagine web ed estrarne il contenuto:
  • Web Search restituisce risultati strutturati con titoli, URL, snippet e date.
  • Web Scrape converte una pagina pubblica selezionata in Markdown.
Usale insieme quando la tua applicazione ha bisogno di materiale sorgente aggiornato e ispezionabile prima dell’inferenza.

Cercare sul web

Invia una query all’API Search:
Brave è il provider predefinito e offre Zero Data Retention. È disponibile anche Google con query anonimizzate instradate tramite Venice, mentre Exa è disponibile con Zero Data Retention. Consulta il riferimento API Web Search per la selezione del provider e lo schema di risposta completo.

Scegliere un provider

Ogni provider accetta la stessa richiesta e costa lo stesso per ricerca, quindi cambiare provider significa modificare un solo campo. La differenza sta in ciò che viene restituito: I risultati più lunghi diventano token di input quando li passi a un modello, quindi costano di più e richiedono più tempo di elaborazione. Se i risultati finiscono direttamente in un prompt, limita quanti ne includi e quanto testo contribuisce ciascuno. Con google, conserva i passaggi che corrispondono alla query invece dell’inizio di ogni risultato, che spesso è navigazione o un banner dei cookie. Per vedere come si confrontano i provider su pertinenza, accuratezza delle risposte, latenza e costo in token, leggi Benchmark dei provider di ricerca web. Include il link all’harness del benchmark, così puoi ripetere il confronto sulle tue domande.

Estrarre una pagina

Dopo aver selezionato un risultato, invia il suo URL pubblico all’API Scrape:
L’endpoint restituisce il contenuto della pagina in Markdown. Innanzitutto richiede la rappresentazione Markdown nativa del sito quando disponibile e altrimenti utilizza un’estrazione basata su browser.

Flusso search-to-scrape

1

Cerca

Invia una query mirata e raccogli i risultati strutturati.
2

Seleziona le fonti

Filtra i risultati per rilevanza, dominio e data prima di recuperare il contenuto delle pagine.
3

Estrai

Estrai il Markdown solo dalle pagine che la tua applicazione intende utilizzare.
4

Usa o memorizza il contenuto

Includi il Markdown in un prompt, crea embedding, mettilo in cache, oppure conserva gli URL sorgente per le citazioni.
Web Search e Web Scrape hanno ciascuno un limite di richieste al minuto per account. Le richieste oltre il limite restituiscono 429; riprovale con backoff esponenziale e limita lo scraping in parallelo a un pool ridotto.

API standalone o web search del modello?

Usa le API standalone quando la tua applicazione ha bisogno di controllo sulla selezione delle fonti o vuole riutilizzare il contenuto recuperato. Abilita la web search su una richiesta al modello quando desideri che Venice gestisca il retrieval come parte di un’unica richiesta di inferenza.
Web Search e Web Scrape sono API sperimentali. I loro formati di richiesta e risposta possono cambiare senza preavviso. Web Scrape accetta solo pagine accessibili pubblicamente, e i siti che bloccano l’accesso automatizzato possono essere rifiutati.

Risorse correlate

Stai costruendo una pipeline search-to-scrape? Risposte con citazioni tramite Web Search illustra passo dopo passo l’intero flusso di lavoro, comprese la selezione delle fonti, la gestione delle pagine che non si estraggono correttamente e la produzione di una risposta in cui ogni affermazione risale a un URL.