Scrapy

Scrapy是一个快速、事件驱动的Python框架，专为大规模抓取而构建。在settings.py中添加Proxied：

var proxy = new WebProxy('socks5://gateway.proxied.com:1080')
browser.Proxy = proxy

每个请求继承一个可信的移动IP，大幅减少.NET数据管道上的403和CAPTCHA页面。