爬虫

爬虫（蜘蛛）从种子URL开始，下载页面，提取链接并重复——构建站点地图或数据集。将每个请求通过Proxied的运营商IP轮换，以避免速率限制和封禁。