Robots.txt

robots.txt文件指示抓取器可以访问哪些路径（Disallow: /private）。道德抓取意味着在下载页面之前检查此文件。在允许的情况下，通过Proxied轮换IP以遵守每IP抓取延迟指令，同时高效地收集允许的数据。