La Recherche en Largeur (BFS) explore les nœuds d'un graphe niveau par niveau. Lors du crawling, BFS récupère tous les liens d'une page, puis tous les liens de ces pages, s'étendant uniformément vers l'extérieur. Cela permet une couverture large du site avant d'approfondir.
Pourquoi utiliser BFS avec Proxied ?
- Taux de découverte élevé : Cartographie rapidement la structure entière d'un domaine.
- Synergie avec la rotation des proxys : Chaque nouvelle page récupérée peut utiliser une IP fraîche de notre pool mobile, empêchant les blocages basés sur des motifs lors de crawls à grande échelle.