Busca em Largura (BFS) explora os nós de um grafo nível por nível. Na raspagem, o BFS coleta todos os links de uma página, depois todos os links dessas páginas, expandindo uniformemente. Isso proporciona uma ampla cobertura do site antes de aprofundar.
Por que usar BFS com o Proxied?
Alta taxa de descoberta: Mapeia rapidamente toda a estrutura de um domínio.
Sinergia com rotação de proxies: Cada nova página buscada pode alternar para um IP fresco do nosso pool móvel, prevenindo bloqueios baseados em padrões durante raspagens em larga escala.