지식
공개 헬프센터와 문서 수집: 크롤 유형, 깊이, 예의, 선택적 Gemini 이미지 인식과 오디오/동영상 전사, 프로덕션 환경의 큐 동작.
크롤은 이미 관리하는 도메인에 있는 콘텐츠에 적합합니다. 정적 사이트나 마이크로사이트에 API가 없으면 커넥터를 보완합니다.
HTML 텍스트만 크롤할 수 있습니다(빠름, Gemini 불필요). 또는 링크 이미지 설명과 링크 오디오/동영상 전사로 페이지를 선택적으로 enrichment할 수 있습니다. 이러한 AI 단계에는 작동하는 Gemini 설정(호스팅형 또는 조직 키)이 필요합니다.
유효한 경우 robots.txt를 존중하세요. FlexyAgents는 요청 간 지연을 적용하여 오리진 부하를 줄입니다. 프로덕션에서는 장시간 크롤이 백그라운드 워커에서 큐잉될 수 있습니다 — 대시보드에서 크롤 상태를 확인하세요.
홈페이지는 단일 URL을 크롤합니다 — 랜딩 페이지나 스모크 테스트에 유용합니다.
sitemap 모드는 sitemap.xml을 읽고(상한까지 중첩 sitemap 인덱스를 따를 수 있음) URL을 나열합니다. 정확한 sitemap을 유지하는 문서 사이트에 적합합니다.
전체 사이트는 시드 URL에서 시작하여 동일 도메인 링크를 최대 깊이와 페이지 수까지 따릅니다 — 내비게이션이 중요하고 sitemap이 불완전한 경우에 최적입니다.
시드 URL 또는 sitemap에서 시작하세요. 경로를 `/help/` 또는 `/docs/`로 제한하여 마케팅 콘텐츠가 지원 검색을 희석하지 않도록 하세요.
해당 베이스에 사내 콘텐츠를 의도하지 않는 한 인증이 필요한 직원 전용 경로를 제외하세요.
2개의 독립 스위치가 크롤러가 이미지를 가져와 처리할지, 각 HTML 페이지에서 찾은 오디오/동영상 URL을 처리할지 제어합니다.
활성화된 경우 시스템은 크기 제한 내에서 미디어를 다운로드하고 Gemini Vision 또는 전사를 실행하며 추출 텍스트를 크롤한 문서에 추가합니다. 실패 시 어떤 URL이 실패했는지 확인할 수 있는 짧은 플레이스홀더가 생성됩니다.
일부 팀은 SSO가 있는 포털을 공개합니다. IT와 지원되는 크롤 패턴을 조율하거나 내보내기/커넥터를 사용하세요.
크롤 설정에 고객 자격 증명을 저장하지 마세요.
대규모 문서 업데이트 후 재크롤을 계획하세요. 소스 HTML의 깨진 링크는 격차를 만듭니다 — 상류에서 수정하세요.
크롤과 분석을 결합하여 실제로 답변에 기여하는 URL을 확인하세요.
계속 탐색하기
플랫폼 기능 · HTTP API 및 웹훅 · 빠른 시작 · 문의