クロールは、すでに管理するドメイン上にあるコンテンツに適しています。静的サイトやマイクロサイトに API がない場合は、コネクターを補完します。
HTML テキストのみをクロールできます(高速、Gemini 不要)。または、リンク画像の説明とリンク音声/動画の文字起こしでページをオプションでエンリッチできます。これらの AI ステップには、動作する Gemini 設定(ホスト型または組織キー)が必要です。
有効な場合は robots.txt を尊重してください。FlexyAgents はリクエスト間に遅延を適用し、オリジンへの負荷を軽減します。本番環境では、長時間のクロールはバックグラウンド ワーカーでキューイングされる場合があります — ダッシュボードでクロール状態を確認してください。