广度优先搜索

**广度优先搜索（BFS）**逐层探索图节点。在爬取过程中，BFS从页面抓取所有链接，然后从这些页面抓取所有链接，均匀地向外扩展。这在深入探索之前提供了广泛的站点覆盖。

为什么使用BFS与Proxied结合？

• 高发现率： 快速映射整个域结构。
• 代理轮换协同： 每次抓取新页面时，可以从我们的移动池中切换到一个新的IP，防止在大规模爬取期间基于模式的封禁。