幅優先探索

幅優先探索（BFS） は、グラフのノードをレベルごとに探索します。クローリングでは、BFSがページ内のすべてのリンクを取得し、次にそれらのページからリンクを抽出して均等に拡大することで、サイト全体を幅広くカバーします。

なぜProxiedとBFSを組み合わせるのか?

• 高い発見率: ドメイン全体の構造を迅速にマッピングします。

• プロキシローテーションの相乗効果: 各新規ページ取得時に、当社のモバイルプールから新しいIPに切り替えることで、パターン検知によるブロックを防ぎます。