Um arquivo robots.txt instrui os rastreadores quais caminhos eles podem acessar (Disallow: /private). Raspagem ética significa verificar este arquivo antes de baixar páginas. Quando permitido, alterne IPs via Proxied para cumprir as diretivas de atraso por IP enquanto coleta dados permitidos de forma eficiente.