网页爬取

网页爬取是通过递归跟随超链接发现和下载页面的自动化过程。爬虫：

1. 从种子URL开始。

2. 通过Proxied 4G/5G IP抓取每个页面以避免封禁。

3. 提取链接并重复直到达到停止规则（深度、robots.txt或队列耗尽）。

在每次请求时轮换运营商级IP可防止速率限制封禁和地理偏差。出于道德考虑，遵守robots.txt和爬取延迟指令。