المعرفة

زحف الويب

استورد مراكز المساعدة والوثائق العامة: أنواع الزحف والعمق والمجاملة والتعرف الاختياري على الصور عبر Gemini ونسخ الصوت/الفيديو، وسلوك الطابور في الإنتاج.

زحفمركز مساعدةموقع وثائقsitemapgemini

الزحف مناسب عندما يعيش المحتوى على نطاقات تتحكم بها. كمّل الموصلات عندما لا توجد API لموقع ثابت أو microsite.

يمكنك الزحف HTML فقط (سريع، بلا Gemini) أو الإثراء اختياريًا بأوصاف الصور المرتبطة ونسخ الصوت/الفيديو. هذه الخطوات بالذكاء الاصطناعي تتطلب Gemini عاملاً (مستضاف أو مفتاح المؤسسة).

احترم robots.txt عند التفعيل؛ تطبّق FlexyAgents تأخيرًا بين الطلبات لتخفيف الضغط على المصدر. في الإنتاج، قد تُصف الزحوفات الطويلة في workers — راجع الحالة في لوحة التحكم.

أنواع الزحف: بداية، sitemap، موقع كامل

زحف البداية يزحف URL واحدًا — مفيد للصفحات الهبوطية أو اختبارات smoke.

وضع sitemap يقرأ sitemap.xml (وقد يتبع فهارس متداخلة حتى سقف) لسرد URLs؛ مناسب لمواقع وثائق ذات sitemap موثوق.

الموقع الكامل يبدأ من URL بداية ويتبع روابط نفس النطاق حتى العمق والعدد الأقصى — أفضل عندما يهم التنقل والـ sitemaps ناقصة.

  • اضبط الحد الأقصى للصفحات والعمق لبنيتك؛ الزحوفات الضخمة جدًا تناسب نوافذ الصيانة.
  • تتبع الروابط ينطبق على الزحوفات الكاملة؛ أوضاع البداية وsitemap لا تتجول بشكل عشوائي.

URLs البداية والنطاق والمجاملة

ابدأ من URL بداية أو sitemap. قيّد المسارات إلى `/help/` أو `/docs/` حتى لا يخفّف التسويق محتوى الدعم.

استبعد مسارات الموظفين المصادق عليهم ما لم ترد ذلك المحتوى في هذه القاعدة.

  • حدّد تأخيرًا لكل طلب (ثوانٍ) لتكون مجاملاً مع المصادر الصغيرة.
  • فعّل احترام robots.txt عندما تفرض سياستك ذلك بصرامة.

التعرف على الصور مقابل نسخ الصوت/الفيديو

مفتاحان مستقلان يتحكمان فيما إذا كان الزاحف يسترجع ويعالج الصور، وفيما إذا كان يعالج URLs الصوت والفيديو في كل صفحة HTML.

عند التفعيل، يحمّل النظام الوسائط ضمن حدود الحجم، ينفّذ الرؤية أو النسخ عبر Gemini، ويضيف النص المستخرج إلى المستند المزحوف. الفشل يولّد علامات قصيرة لمعرفة أي URLs فشلت.

  • URLs من نوع SVG وdata: تُتجاهَل في معالجة الصور للتوافق.
  • حصص الزحف المستضافة تُحسب لكل استدعاء Gemini مستضاف ناجح؛ مفاتيح Gemini للمؤسسة تتجنّب العدادات المستضافة — راجع الوثائق → المعرفة → الرؤية بالذكاء الاصطناعي والنسخ والحدود.

بوابات مصادق عليها

بعض الفرق تعرض بوابات بـ SSO؛ نسّق مع IT لأنماط الزحف المدعومة أو استخدم تصديرات/موصلات.

لا تخزّن أبدًا بيانات اعتماد العملاء في إعدادات الزحف.

الصيانة

جدول إعادة زحف بعد تحديثات وثائق كبيرة. الروابط المعطلة في HTML المصدر تخلق فجوات — أصلحها في المصدر.

اجمع الزحف مع التحليلات لمعرفة أي URLs تغذّي الإجابات فعليًا.

ابنِ على بنيتك التقنية

هل أنت مستعد لإطلاق مساعدين مرتكزين؟

ابدأ تجربة أو تحدث معنا عن النشر والحوكمة ومتطلبات المؤسسات.