Venice fornisce API separate per scoprire pagine web ed estrarne il contenuto:
- Web Search restituisce risultati strutturati con titoli, URL, snippet e date.
- Web Scrape converte una pagina pubblica selezionata in Markdown.
Usale insieme quando la tua applicazione ha bisogno di materiale sorgente aggiornato e ispezionabile prima dell’inferenza.
Cercare sul web
Invia una query all’API Search:
Brave è il provider predefinito e offre Zero Data Retention. È disponibile anche Google con query anonimizzate instradate tramite Venice. Consulta il riferimento API Web Search per la selezione del provider e lo schema di risposta completo.
Estrarre una pagina
Dopo aver selezionato un risultato, invia il suo URL pubblico all’API Scrape:
L’endpoint restituisce il contenuto della pagina in Markdown. Innanzitutto richiede la rappresentazione Markdown nativa del sito quando disponibile e altrimenti utilizza un’estrazione basata su browser.
Flusso search-to-scrape
Cerca
Invia una query mirata e raccogli i risultati strutturati.
Seleziona le fonti
Filtra i risultati per rilevanza, dominio e data prima di recuperare il contenuto delle pagine.
Estrai
Estrai il Markdown solo dalle pagine che la tua applicazione intende utilizzare.
Usa o memorizza il contenuto
Includi il Markdown in un prompt, crea embedding, mettilo in cache, oppure conserva gli URL sorgente per le citazioni.
API standalone o web search del modello?
Usa le API standalone quando la tua applicazione ha bisogno di controllo sulla selezione delle fonti o vuole riutilizzare il contenuto recuperato. Abilita la web search su una richiesta al modello quando desideri che Venice gestisca il retrieval come parte di un’unica richiesta di inferenza.
Web Search e Web Scrape sono API sperimentali. I loro formati di richiesta e risposta possono cambiare senza preavviso. Web Scrape accetta solo pagine accessibili pubblicamente, e i siti che bloccano l’accesso automatizzato possono essere rifiutati.
Risorse correlate
