Robots.txt — это файл, который инструктирует краулеров, какие пути они могут посещать (Disallow: /private). Этичный скрейпинг означает проверку этого файла перед загрузкой страниц. Когда разрешено, ротируйте IP через Proxied, чтобы соблюдать директивы crawl-delay для каждого IP, собирая разрешённые данные эффективно.