ज्ञान
सार्वजनिक सहायता केंद्र/दस्तावेज़ अंतर्ग्रहण: क्रॉल प्रकार, गहराई, विनम्रता, वैकल्पिक Gemini चित्र पहचान/ऑडियो-वीडियो ट्रांसक्रिप्शन, प्रोडक्शन कतार व्यवहार।
क्रॉल उन डोमेन के लिए उपयुक्त है जिन्हें आप नियंत्रित करते हैं; स्थैतिक साइट/माइक्रोसाइट बिना API कनेक्टर का पूरक।
केवल-HTML क्रॉल (तेज़, बिना Gemini) या वैकल्पिक रूप से लिंक किए चित्र विवरण/ऑडियो-वीडियो ट्रांसक्रिप्शन से समृद्ध करें; AI चरण कार्यशील Gemini (होस्टेड/संगठन कुंजी) माँगते हैं।
सक्षम होने पर robots.txt का सम्मान करें; FlexyAgents अनुरोध विलंब मूल लोड कम करते हैं; प्रोडक्शन में लंबे क्रॉल पृष्ठभूमि वर्कर में कतारित हो सकते हैं — डैशबोर्ड में स्थिति जाँचें।
होमपेज क्रॉल एकल URL — लैंडिंग पृष्ठ/स्मोक परीक्षण।
साइटमैप मोड sitemap.xml पढ़ता है (नेस्टेड इंडेक्स छत तक), URL सूची; विश्वसनीय साइटमैप वाली दस्तावेज़ साइटों के लिए अच्छा।
पूर्ण साइट सीड URL से समान-डोमेन लिंक अधिकतम गहराई/संख्या तक — नेविगेशन मायने रखे और साइटमैप अधूरे हों तो बेहतर।
सीड URL/साइटमैप से शुरू करें; पथ `/help/`/`/docs/` सीमित करें ताकि मार्केटिंग सपोर्ट पतला न करे।
प्रमाणित कर्मचारी पथ उस आधार में न चाहें तो बाहर रखें।
दो स्वतंत्र स्विच नियंत्रित करते हैं कि क्रॉलर प्रत्येक HTML पृष्ठ पर चित्र लाए/संसाधित करे और ऑडियो/वीडियो URL संसाधित करे।
सक्षम: आकार सीमाओं में डाउनलोड, Gemini Vision/ट्रांसक्रिप्शन, निकाला पाठ क्रॉल दस्तावेज़ में जोड़; विफलताएँ संक्षिप्त प्लेसहोल्डर दिखाती हैं कि कौन से URL विफल।
कुछ टीमें SSO पोर्टल उजागर करती हैं; IT समर्थित क्रॉल पैटर्न समन्वय या निर्यात/कनेक्टर उपयोग करें।
ग्राहक क्रेडेंशियल क्रॉल सेटिंग में कभी न रखें।
बड़े दस्तावेज़ अपडेट के बाद पुनः-क्रॉल निर्धारित करें; स्रोत HTML में टूटे लिंक अपस्ट्रीम ठीक करें।
क्रॉल को एनालिटिक्स से मिलाएँ कि कौन से URL वास्तव में उत्तर फीड करते हैं।
और जानें
प्लेटफ़ॉर्म सुविधाएँ · HTTP API और वेबहुक · त्वरित प्रारंभ · संपर्क
अपने स्टैक पर निर्माण करें
ट्रायल शुरू करें या रोलआउट, शासन और एंटरप्राइज़ आवश्यकताओं पर हमसे बात करें।