当公开 HTML 为准且没有专用连接器时，爬取是合适模式。
需要治理：深度、排除规则与 robots，以免运维踩坑。
知识与 RAG
面向 AI 知识库的网站爬取摄取
何时爬取营销或文档站点、如何控制深度与频率，以及如何与连接器组合以避免重复真相。
2025年1月22日约 10 分钟阅读
网站爬取 知识库HTML 摄取 RAG爬取深度 限制公开文档 索引
何时爬取是合适的摄取方式
公开内容频繁变更且已有稳定 URL 时适用。
在没有清晰凭证与范围控制前，避免爬取需登录区域。
必须配置的运营控制
限制深度、允许域名与频率，以预测成本与负载。
记录负责人与爬取反复失败时的告警。
需登录的内部门户
内部门户通常更适合连接器或上传，而非开放爬取。
若用认证爬取，需记录会话轮换与最小范围。
爬取 + 连接器：避免双重真相
同一文章若同时存在于 wiki 与官网，应去重或指定权威源。
通过 boost 让内部核准版本胜过陈旧副本。
相关文章
更多博客内容——从与本文同类目的文章开始。