Un fichier robots.txt indique aux crawlers quels chemins ils peuvent accéder (Disallow: /private). Un scraping éthique signifie vérifier ce fichier avant de télécharger des pages. Lorsqu'il est autorisé, faites tourner les IPs via Proxied pour respecter les directives de délai de crawl par IP tout en collectant efficacement les données permises.