Pular para o conteúdo principal
A Venice oferece APIs separadas para descobrir páginas web e extrair seu conteúdo:
  • Web Search retorna resultados estruturados com títulos, URLs, trechos e datas.
  • Web Scrape converte uma página pública selecionada em Markdown.
Use-as em conjunto quando sua aplicação precisar de material de origem atualizado e inspecionável antes da inferência.

Pesquisar na web

Envie uma consulta para a API Search:
O Brave é o provedor padrão e oferece Zero Data Retention. O Google também está disponível, com consultas anonimizadas encaminhadas via proxy pela Venice, e o Exa está disponível com Zero Data Retention. Consulte a referência da API Web Search para a seleção de provedor e o esquema completo da resposta.

Escolhendo um provedor

Todos os provedores recebem a mesma requisição e custam o mesmo por pesquisa, então trocar de provedor é uma mudança de um único campo. A diferença está no que volta: Resultados mais longos viram tokens de entrada quando você os passa para um modelo, então custam mais e demoram mais para processar. Se os resultados vão direto para um prompt, limite quantos você inclui e quanto texto cada um contribui. Com google, mantenha os trechos que correspondem à consulta em vez do início de cada resultado, que muitas vezes é navegação ou um banner de cookies. Para ver como os provedores se comparam em relevância, precisão das respostas, latência e custo de tokens, leia Benchmark de provedores de busca web. Ele aponta para o harness do benchmark, para que você possa repetir a comparação com suas próprias perguntas.

Extrair uma página

Depois de selecionar um resultado, envie sua URL pública para a API Scrape:
O endpoint retorna o conteúdo da página em Markdown. Primeiro ele solicita a representação nativa em Markdown do site, quando disponível, e caso contrário utiliza extração baseada em navegador.

Fluxo de pesquisa para extração

1

Pesquise

Envie uma consulta focada e colete os resultados estruturados.
2

Selecione as fontes

Filtre os resultados por relevância, domínio e data antes de obter o conteúdo das páginas.
3

Extraia

Extraia o Markdown apenas das páginas que sua aplicação pretende usar.
4

Use ou armazene o conteúdo

Inclua o Markdown em um prompt, crie embeddings, coloque em cache ou preserve as URLs de origem para citações.
Web Search e Web Scrape têm, cada um, um limite de requisições por minuto por conta. Requisições acima do limite retornam 429; repita-as com backoff exponencial e mantenha o scraping paralelo em um pool pequeno.

APIs autônomas ou busca web do modelo?

Use as APIs autônomas quando sua aplicação precisa de controle sobre a seleção das fontes ou pretende reutilizar o conteúdo recuperado. Ative a busca web em uma requisição de modelo quando quiser que a Venice cuide da recuperação como parte de uma única requisição de inferência.
Web Search e Web Scrape são APIs experimentais. Seus formatos de requisição e resposta podem mudar sem aviso prévio. O Web Scrape aceita apenas páginas acessíveis publicamente, e sites que bloqueiam acesso automatizado podem ser rejeitados.

Recursos relacionados

Construindo um pipeline de busca para extração? Respostas com Citações usando Web Search percorre todo o fluxo passo a passo, incluindo seleção de fontes, tratamento de páginas que falham ao extrair e produção de uma resposta em que cada afirmação é resolvida para uma URL.