- Web Search 返回包含标题、URL、摘要和日期的结构化结果。
- Web Scrape 将选定的公开页面转换为 Markdown。
搜索网络
向 Search API 发送查询:选择提供商
所有提供商接受相同的请求,每次搜索的价格也相同,因此切换提供商只需修改一个字段。区别在于返回的内容:
把结果传给模型时,更长的结果会变成输入 token,因此成本更高、处理时间更长。如果结果直接放入提示词,请限制包含的结果数量以及每条结果贡献的文本量。使用
google 时,请保留与查询匹配的段落,而不是每条结果的开头,开头往往是导航栏或 Cookie 横幅。
要了解各提供商在相关性、回答准确率、延迟和 token 成本方面的比较,请阅读网页搜索提供商基准测试。文中附有基准测试工具的链接,你可以用自己的问题重新运行对比。
抓取页面
选择结果后,将其公开 URL 发送到 Scrape API:搜索到抓取的工作流
1
搜索
提交一个聚焦的查询并收集结构化结果。
2
选择来源
在获取页面内容之前,按相关性、域名和日期筛选结果。
3
抓取
仅从你的应用打算使用的页面中提取 Markdown。
4
使用或存储内容
将 Markdown 包含在提示中、创建嵌入、进行缓存,或保留源 URL 以供引用。
429;请使用指数退避进行重试,并将并行抓取保持在较小的并发池内。