- Web Search تُعيد نتائج مُنظَّمة تتضمن العناوين وعناوين URL والمقتطفات والتواريخ.
- Web Scrape تحوّل صفحة عامة محددة إلى Markdown.
البحث في الويب
أرسل استعلامًا إلى Search API:اختيار موفّر
يقبل كل موفّر الطلب نفسه ويكلّف المبلغ نفسه لكل عملية بحث، لذا فإن التبديل بينها يقتصر على تغيير حقل واحد. يكمن الفرق فيما يُعاد:
تتحول النتائج الأطول إلى رموز إدخال عندما تمررها إلى نموذج، لذا تكلّف أكثر وتستغرق وقتًا أطول في المعالجة. إذا كانت النتائج تذهب مباشرة إلى موجّه، فحدّد عدد النتائج التي تضمّنها ومقدار النص الذي تساهم به كل نتيجة. مع
google، احتفظ بالمقاطع التي تطابق الاستعلام بدلًا من بداية كل نتيجة، التي تكون غالبًا قوائم تنقّل أو شريط ملفات تعريف الارتباط.
لمعرفة كيف تتقارن الموفّرات في الصلة ودقة الإجابات وزمن الاستجابة وتكلفة الرموز، اقرأ اختبار معياري لموفّري البحث في الويب. يتضمن رابطًا إلى أداة الاختبار المعياري، لتتمكن من إعادة المقارنة على أسئلتك.
استخراج صفحة
بعد اختيار نتيجة، أرسل عنوان URL العام الخاص بها إلى Scrape API:سير العمل من البحث إلى الاستخراج
1
البحث
أرسل استعلامًا مركّزًا واجمع النتائج المُنظَّمة.
2
اختيار المصادر
قم بفلترة النتائج حسب الصلة والنطاق والتاريخ قبل جلب محتوى الصفحة.
3
الاستخراج
استخرج Markdown فقط من الصفحات التي ينوي تطبيقك استخدامها.
4
استخدام المحتوى أو تخزينه
ضمّن Markdown في مطالبة، أو أنشئ تضمينات، أو خزّنه مؤقتًا، أو احتفظ بعناوين URL المصدرية للاستشهادات.
429؛ أعد محاولتها مع تراجع أُسّي (exponential backoff)، وأبقِ الزحف المتوازي ضمن مجموعة صغيرة.