- Web Search retorna resultados estruturados com títulos, URLs, trechos e datas.
- Web Scrape converte uma página pública selecionada em Markdown.
Pesquisar na web
Envie uma consulta para a API Search:Escolhendo um provedor
Todos os provedores recebem a mesma requisição e custam o mesmo por pesquisa, então trocar de provedor é uma mudança de um único campo. A diferença está no que volta:
Resultados mais longos viram tokens de entrada quando você os passa para um modelo, então custam mais e demoram mais para processar. Se os resultados vão direto para um prompt, limite quantos você inclui e quanto texto cada um contribui. Com
google, mantenha os trechos que correspondem à consulta em vez do início de cada resultado, que muitas vezes é navegação ou um banner de cookies.
Para ver como os provedores se comparam em relevância, precisão das respostas, latência e custo de tokens, leia Benchmark de provedores de busca web. Ele aponta para o harness do benchmark, para que você possa repetir a comparação com suas próprias perguntas.
Extrair uma página
Depois de selecionar um resultado, envie sua URL pública para a API Scrape:Fluxo de pesquisa para extração
1
Pesquise
Envie uma consulta focada e colete os resultados estruturados.
2
Selecione as fontes
Filtre os resultados por relevância, domínio e data antes de obter o conteúdo das páginas.
3
Extraia
Extraia o Markdown apenas das páginas que sua aplicação pretende usar.
4
Use ou armazene o conteúdo
Inclua o Markdown em um prompt, crie embeddings, coloque em cache ou preserve as URLs de origem para citações.
429; repita-as com backoff exponencial e mantenha o scraping paralelo em um pool pequeno.