Scrapy

Scrapy は、大規模スクレイピングに対応した高速・イベント駆動型のPythonフレームワークです。settings.pyに以下のようにProxiedを追加します:

var proxy = new WebProxy('socks5://gateway.proxied.com:1080')
browser.Proxy = proxy

各リクエストは信頼できるモバイルIPを継承し、.NETデータパイプライン上で403やCAPTCHAの発生を大幅に削減します。