- Web Search는 제목, URL, 스니펫, 날짜가 포함된 구조화된 결과를 반환합니다.
- Web Scrape는 선택된 공개 페이지를 Markdown으로 변환합니다.
웹 검색
Search API로 쿼리를 전송하세요:제공자 선택하기
모든 제공자는 같은 요청을 받고 검색당 비용도 같으므로, 제공자를 바꾸려면 필드 하나만 변경하면 됩니다. 차이는 반환되는 내용에 있습니다.
결과를 모델에 전달하면 긴 결과는 입력 토큰이 되므로 비용이 더 들고 처리 시간도 길어집니다. 결과를 프롬프트에 바로 넣는다면 포함할 결과 수와 각 결과가 차지하는 텍스트 양을 제한하세요.
google을 사용할 때는 각 결과의 앞부분 대신 쿼리와 일치하는 구절을 남기세요. 앞부분은 내비게이션이나 쿠키 배너인 경우가 많습니다.
관련성, 답변 정확도, 지연 시간, 토큰 비용 측면에서 제공자를 비교하려면 웹 검색 제공자 벤치마크를 읽어 보세요. 벤치마크 하네스 링크가 있으므로 직접 준비한 질문으로 비교를 다시 실행할 수 있습니다.
페이지 스크래핑
결과를 선택한 후 해당 공개 URL을 Scrape API로 전송하세요:검색-스크래핑 워크플로
1
검색
집중된 쿼리를 제출하고 구조화된 결과를 수집하세요.
2
소스 선택
페이지 콘텐츠를 가져오기 전에 결과를 관련성, 도메인, 날짜로 필터링하세요.
3
스크래핑
애플리케이션에서 실제로 사용할 페이지에서만 Markdown을 추출하세요.
4
콘텐츠 사용 또는 저장
Markdown을 프롬프트에 포함하거나, 임베딩을 생성하거나, 캐시하거나, 인용을 위해 소스 URL을 보존하세요.
429를 반환하므로 지수 백오프로 재시도하고, 병렬 스크래핑은 작은 풀로 유지하세요.