検索拡張生成

RAG は、関連ドキュメントを取得するリトリーバーと、回答を生成する大規模言語モデル（LLM）を組み合わせるパイプラインです。新鮮なデータが重要なため、クローラーは常に最新のページを取り込み、リトリーバーが最新の情報を返せるようにします。ProxiedのローテーションIPを使ってターゲットサイトをスクレイプし、IPブロックを回避しながら知識ベースを常に最新に保ちます。