Un crawler (araña) comienza con URLs iniciales, descarga páginas, extrae enlaces y repite, construyendo un mapa del sitio o un conjunto de datos. Rota cada solicitud a través de las IPs de operadores de Proxied para evitar límites de velocidad y bloqueos.