RAG结合了一个检索器(拉取相关文档)和一个生成式LLM(生成答案)。新鲜度很重要:爬虫必须不断摄取新页面,以便检索器提供最新事实。使用Proxied轮换IP抓取目标站点而不会遇到IP封禁,保持您的RAG知识库最新。