Proxys mit Puppeteer für Seitenanfragen integrieren

15 Minuten Lesezeit

Hannah

Proxys mit Puppeteer für Seitenanfragen integrieren

Um Proxys mit Puppeteer zu integrieren, legen Sie den Proxy-Server beim Start des Browsers fest und behandeln die Authentifizierung separat. Für einen Proxy-Wechsel auf Browserebene nach 1.000 Seitennavigationen zählen Sie die Anfragen, schließen den Browser und starten ihn mit dem neuen Proxy neu.

Die Proxy-Einrichtung wirkt einfach, bis Zugangsdaten, HTTPS-Seiten oder Rotation ins Spiel kommen. Entscheidend ist, die passende Routing-Methode für die Aufgabe zu wählen und zu berücksichtigen, wie Puppeteer jede Verbindung behandelt.

Dieser Leitfaden zeigt praktische Schritte, um einen Proxy für einen Browser oder eine Seite zu konfigurieren, ihn zu authentifizieren, bei Bedarf ausgewählte Anfragen zu routen und Proxys nach einer festgelegten Anzahl von Anfragen zu rotieren. Außerdem erklärt er, was Sie prüfen sollten, wenn eine Verbindung fehlschlägt, damit Sie ein Setup aufbauen, das ohne unnötige Komplexität zu Ihrem Automatisierungs-Workflow passt.

Das Wichtigste in Kürze

  • Legen Sie den Proxy-Server beim Start von Puppeteer fest und behandeln Sie Proxy-Zugangsdaten separat, wo der Browser es erfordert.
  • Wählen Sie browserweites Routing für einheitlichen Seiten-Traffic oder Routing auf Anfrageebene, wenn nur ausgewählte Anfragen einen Proxy benötigen.
  • Für eine Rotation nach 1.000 Seitennavigationen zählen Sie die Navigationen, schließen den Browser und starten ihn mit einem anderen Proxy neu.
  • Wenn eine Verbindung fehlschlägt, prüfen Sie Proxy-Protokoll und Authentifizierungsantwort, bevor Sie Ihr Puppeteer-Setup ändern.

Proxy-Authentifizierung

Konfigurieren Sie den Proxy-Server des Browsers getrennt von seinen Zugangsdaten und testen Sie beides, bevor Sie Anfragen senden. Die Startoptionen von Puppeteer leiten den Browser-Traffic, während Authentifizierungsmethoden Benutzername und Passwort übernehmen.

Den Proxy-Server konfigurieren

Legen Sie den Proxy-Endpunkt mit dem Chrome-Flag --proxy-server in puppeteer.launch fest. Verwenden Sie zum Beispiel http://proxy-host:port für einen HTTP-Proxy oder socks5://proxy-host:port für SOCKS5. Das Schema muss zum Protokoll des Servers passen; eine Abweichung kann Verbindungen verhindern. Lassen Sie Zugangsdaten aus dem Flag heraus, denn Chrome und Chromium unterstützen keine Proxy-URLs mit Benutzernamen und Passwörtern.

Zugangsdaten für den Proxy-Server festlegen

Starten Sie den Browser mit dem Proxy-Flag und rufen Sie dann vor der Navigation page.authenticate() auf. Übergeben Sie Benutzername und Passwort des Proxys im Credentials-Objekt der Methode. Setzen Sie username auf den Kontonamen und password auf das zugehörige Passwort. Das sind nicht die Login-Daten der Zielwebsite. Je nach Website und Proxy-Setup kann die Proxy-Authentifizierung einen anderen Ansatz erfordern.

  1. Antwort und Verbindung prüfen.

Navigieren Sie erst, nachdem Sie die Zugangsdaten gesetzt haben, und prüfen Sie dann auf Fehler. Eine HTTP-407-Antwort bedeutet in der Regel, dass der Proxy eine Authentifizierung verlangt; prüfen Sie also Benutzername, Passwort und Zugriffseinstellungen des Proxys. Erreicht der Browser den Server nicht, testen Sie die Verbindung mit cURL oder telnet und bestätigen Sie Adresse, Port und Protokoll. Auch ein erreichbarer Server kann ungültige Zugangsdaten ablehnen.

  1. Öffentliche IP prüfen und einen Proxy-Typ wählen.

Öffnen Sie httpbin.org/ip über Puppeteer und vergleichen Sie die angezeigte Adresse mit der IP des Proxys. Residential Proxys nutzen private IP-Adressen aus verschiedenen geografischen Regionen; Rechenzentrums- und mobile Proxys sind Alternativen mit anderen Netzwerkquellen. Wählen Sie nach Zielwebsite und Aufgabe und bestätigen Sie dann, dass die beobachtete IP der vorgesehenen Route entspricht.

  1. Das Setup verantwortungsvoll in allen Umgebungen anwenden.

Übergeben Sie unter Linux, Windows oder Docker dasselbe Startargument an den Chromium-Prozess, der in der jeweiligen Umgebung läuft. Stellen Sie in Docker sicher, dass der Browserprozess den Proxy-Server über das konfigurierte Netzwerk erreicht. Für authentifizierte Proxys kann proxy-chain einen lokalen Proxy-Server auf Port 8000 erstellen, den Puppeteer nutzt, ohne Zugangsdaten in die Proxy-URL von Chrome zu schreiben.

Prüfen Sie vor der Automatisierung die robots.txt der Zielwebsite auf Scraping-Richtlinien und takten Sie Anfragen, damit Sie nicht zu viele zu schnell von einer IP senden. Ein Proxy kann Ihre IP vor dem Ziel verbergen, doch Cookies können der Website trotzdem helfen, den Traffic zu verfolgen. Halten Sie sich an geltende Regeln und die Zugriffsrichtlinien der Website.

Vorteile von Proxys beim Headless-Browsing

Nutzen Sie einen Proxy, wenn ein Headless-Browser in Puppeteer eine andere Netzwerkroute benötigt. Die richtige Methode hängt vom Ziel, von der Aufgabe und davon ab, ob Anfragen eine gleichbleibende oder wechselnde IP-Adresse benötigen.

  1. Dem Browser eine passende Route zuweisen. Wählen Sie einen Proxy-Typ nach dem Traffic, den Sie senden müssen. Residential Proxys nutzen private IP-Adressen aus verschiedenen geografischen Regionen, was beim standortspezifischen Zugriff helfen kann. Ein Browser, der prüft, wie eine Seite in verschiedenen Regionen erscheint, kann zum Beispiel einen Proxy am jeweiligen Standort nutzen. Ein Proxy ändert die Route, nicht die Headless-Einstellung des Browsers.
  2. Wiederholte Anfragen nicht von einer IP-Adresse abhängig machen. Eine feste Route sendet jede Seitenanfrage über dieselbe IP. Proxy-Rotation wechselt die IP-Adresse regelmäßig, was helfen kann, natürliches Nutzerverhalten nachzubilden. Ein Datenerfassungsskript kann zum Beispiel für jeden Browserdurchlauf einen anderen Proxy nutzen. Legen Sie die Rotation nach der Aufgabe fest, statt Routen ohne klaren Grund zu wechseln.
  3. Zwischen zufälligem Proxy und geplanter Reihenfolge wählen. Ein JavaScript-Skript kann einen zufälligen Proxy aus einer Liste auswählen oder die Proxys nacheinander durchlaufen. Zufällige Auswahl verteilt Browserdurchläufe auf die verfügbaren Routen; sequenzielle Auswahl macht die Reihenfolge für die Fehlersuche vorhersehbar. Protokollieren Sie zum Beispiel den gewählten Proxy zu jedem Durchlauf und vergleichen Sie die Ergebnisse, wenn eine Route ausfällt. Halten Sie die Proxy-Liste an den Zugriffsanforderungen des Ziels ausgerichtet.
  4. Browser-Identität vom Browser-Modus trennen. Headless beschreibt, wie Puppeteer den Browser ausführt, während ein Proxy seine Netzwerkroute steuert. Puppeteer läuft standardmäßig headless, kann aber auch das vollständige Chrome oder Chromium ausführen. Konfigurieren Sie zum Beispiel denselben Proxy-Server, während Sie eine Seite im Headless-Modus und anschließend in einem sichtbaren Browser testen. So erkennen Sie, ob ein Problem vom Routing oder vom Browserverhalten kommt.
  5. Die Proxy-Wahl auf die Aufgabe abstimmen. Wählen Sie für standortbezogene Prüfungen eine Route, die dem getesteten Standort entspricht. Überlegen Sie bei wiederholter automatisierter Erfassung, wie Rotation und Anfragetakt zu den Richtlinien der Zielwebsite passen. Ein Proxy ersetzt keine sinnvollen Automatisierungskontrollen. Wenn Residential-Routing zur Aufgabe passt, prüfen Sie Residential-Proxy-Optionen als mögliche Lösung.

Proxys nach einer festgelegten Zahl von Seitenanfragen wechseln

Für einen Proxy-Wechsel auf Browserebene nach 1.000 Seitennavigationen zählen Sie jede Navigation, schließen Puppeteer und starten Chrome mit einem neuen Proxy-Server erneut. Dieser Neustart ist wichtig, weil der Proxy des Browsers beim Start festgelegt wird.

  1. Den Navigationsschwellenwert festlegen. Verwenden Sie 1000 als Zählwert, wenn Ihre Aufgabe einen Proxy-Wechsel nach 1.000 Seitennavigationen erfordert. Zählen Sie Aufrufe, die die Seite navigieren, etwa page.goto(), statt jede Anfrage für Bilder, Skripte oder andere Ressourcen als Seitennavigation zu werten. Diese Unterscheidung bindet die Rotationsregel an den festgelegten Schwellenwert.
  2. Einen Zähler im JavaScript-Workflow führen. Erhöhen Sie den Navigationszähler nach jeder abgeschlossenen Seitennavigation um eins. Prüfen Sie vor jeder weiteren Navigation, ob der Zähler 1000 erreicht hat. Wenn die Prüfung nahe am Navigationsaufruf steht, ist der Rotationspunkt sichtbar, und die nächste Seite nutzt nicht versehentlich den alten Proxy-Server.
  3. Puppeteer am Schwellenwert schließen und neu starten. Das Argument --proxy-server wird übergeben, wenn Puppeteer Chrome startet; eine Änderung erfordert daher einen neuen Browserprozess. Ein vereinfachter Ablauf sieht so aus:
let browser;
let pageCount = 0;
let proxyIndex = 0;

async function startBrowser(proxy) {
browser = await puppeteer.launch({
args: [`--proxy-server=${proxy}`]
});
}

await startBrowser(proxies[proxyIndex]);

// After each page.goto():
pageCount++;
if (pageCount === 1000) {
await browser.close();
proxyIndex = (proxyIndex + 1) % proxies.length;
await startBrowser(proxies[proxyIndex]);
pageCount = 0;
}

Platzieren Sie den Navigationszähler direkt neben dem eigentlichen page.goto()-Aufruf. So lässt sich die Neustartbedingung leichter prüfen.

  1. Den nächsten Proxy gezielt wählen. Das Beispiel durchläuft eine Proxy-Liste der Reihe nach und kehrt dann zum ersten Eintrag zurück. Sie können stattdessen für jeden neuen Browserdurchlauf einen zufälligen Proxy wählen. Halten Sie die Auswahllogik vom Zähler getrennt, damit das Erreichen von 1.000 Anfragen die Rotation zuverlässig auslöst, unabhängig davon, welcher Proxy als Nächstes kommt.
  2. Laufende Arbeit abschließen, bevor Chrome geschlossen wird. Schließen Sie den Browser erst, wenn die aktuelle Navigation und die nötige Seitenverarbeitung abgeschlossen sind. Starten Sie dann einen neuen Browser mit dem Ersatz-Proxy-Server und setzen Sie den Zähler zurück. Beim Web-Scraping erhält so jede Browsersitzung eine klare Proxy-Zuordnung, und Fehler lassen sich einem bestimmten Durchlauf zuordnen.
  3. Jedes Rotationsereignis protokollieren. Protokollieren Sie beim Neustart des Browsers die abgeschlossene Navigationszahl und die Kennung des gewählten Proxys. Schlägt eine Seite direkt nach der Rotation fehl, hilft das Protokoll, ein Proxy-Verbindungsproblem von einem seitenspezifischen Fehler zu unterscheiden. Beschränken Sie Protokolle auf betriebliche Details und speichern Sie keine Proxy-Zugangsdaten.
Proxys mit Puppeteer integrieren

Proxys für ganze Seiten oder einzelne Anfragen nutzen

Wählen Sie den Routing-Umfang danach, ob die Aufgabe eine Route für eine Seite oder unterschiedliche Routen für ausgewählte Anfragen benötigt. Das Startargument von Puppeteer legt einen Proxy auf Browserebene fest, während die Bibliothek puppeteer-proxy seitenweites oder anfragespezifisches Routing konfigurieren kann. Die richtige Methode hängt davon ab, wie Sie Proxys in Ihrem Workflow mit Puppeteer integrieren.

  1. Einen Proxy auf Browserebene für einheitlichen Seiten-Traffic nutzen. Fügen Sie den Proxy-Endpunkt beim Start von Chrome zum Argument --proxy-server von Puppeteer hinzu. Das Argument kann zum Beispiel auf 127.0.0.1 an Port 9876 zeigen. Dieser Ansatz wendet die Proxy-Konfiguration des Browsers breit an und eignet sich daher für Scraping-Aufgaben, bei denen die Seite und ihre Ressourcen dieselbe Route nutzen sollen.
  2. Routing auf Anfrageebene für selektiven Traffic wählen. Nutzen Sie puppeteer-proxy, wenn nur bestimmte Anfragen einen Proxy benötigen oder verschiedene Anfragen unterschiedliche Proxys brauchen. Eine Seite könnte zum Beispiel ihr Hauptdokument über eine Route und ausgewählte Anfragen über eine andere senden. Das gibt Ihnen mehr Kontrolle als ein einzelnes Startargument, doch Sie müssen festlegen, welche Anfragen welche Route nutzen.
  3. Routing-Entscheidungen explizit machen. Um zu entscheiden, wie Sie Proxys mit Puppeteer integrieren, ermitteln Sie, welche Anfragen Proxy-Zugriff benötigen. Ein seitenweites Setup ist leichter zu verwalten, wenn der gesamte Traffic einer Route folgt. Routing auf Anfrageebene ist gezielter, doch jede ausgewählte Anfrage braucht eine klare Routing-Regel. Diese Unterscheidung verhindert unbeabsichtigte Unterschiede zwischen der Seite und ihren Ressourcen.
  4. Zugangsdaten für den gewählten Umfang konfigurieren. Ein Proxy kann Benutzername und Passwort verlangen, doch Chrome und Chromium unterstützen keine in Proxy-URLs eingebetteten Zugangsdaten. Behandeln Sie die Authentifizierung getrennt vom Argument proxy-server. Wenden Sie beim anfragespezifischen Routing die Zugangsdaten auf den Proxy an, der die jeweilige Anfrage verarbeitet, statt anzunehmen, dass Einstellungen auf Browserebene jede Route abdecken.
  5. Proxys aus einer Liste einheitlich auswählen. Ein JavaScript-Skript kann mit Math.random() eine zufällige Proxy-Adresse wählen oder eine Liste nacheinander durchlaufen. Zufällige Auswahl variiert die Route zwischen Durchläufen; sequenzielle Auswahl macht die Reihenfolge vorhersehbar. Halten Sie die Auswahllogik vom Routing-Umfang getrennt, damit Sie erkennen, ob sich ein Ergebnis wegen des Proxys oder wegen der Anfragekonfiguration geändert hat.
  6. Die gewählte Route am Ziel testen. Beginnen Sie mit einer Seite und bestätigen Sie, dass ihre Anfragen den vorgesehenen Proxy nutzen. Testen Sie dann alle separat gerouteten Anfragen. Verhält sich die Website anders, grenzen Sie den Test auf eine Route und einen Anfragetyp ein. So isolieren Sie Konfigurationsprobleme, ohne den gesamten Scraping-Workflow auf einmal zu ändern.

Proxys mit page.authenticate() authentifizieren

Rufen Sie page.authenticate() mit Benutzername und Passwort des Proxys auf, bevor Sie navigieren. So bleibt die Authentifizierung im Puppeteer-Skript, statt Zugangsdaten in das Proxy-Argument von Chrome einzubetten.

  1. Die Seite nach dem Start des Browsers erstellen. Konfigurieren Sie den Proxy-Server beim Start und öffnen Sie dann eine Puppeteer-Seite für die Aufgabe. Die Authentifizierung ist dieser Seite zugeordnet; wenden Sie sie daher auf jede Seite an, die dieselbe authentifizierte Route benötigt. Gehen Sie nicht davon aus, dass eine neue Seite die Authentifizierungseinstellungen einer anderen Seite übernimmt.
  2. Zugangsdaten vor der Anfrage an das Ziel setzen. Übergeben Sie Benutzername und Passwort des Proxys an page.authenticate(), bevor Sie page.goto() aufrufen. Zum Beispiel: await page.authenticate({ username: 'proxy-user', password: 'proxy-password' });. Ersetzen Sie beide Beispielwerte durch die Zugangsdaten Ihres Proxys. Legen Sie echte Zugangsdaten nicht in öffentlichen Code-Repositorys oder Diagnoseprotokollen ab.
  3. Vor der Navigation authentifizieren. Eine praktische Reihenfolge im Skript ist: Chrome starten, die Seite erstellen, sie authentifizieren und dann navigieren. Wird die Methode erst nach dem Start einer Anfrage aufgerufen, kann diese Anfrage unauthentifiziert bleiben. Warten Sie mit await auf den Authentifizierungsaufruf, bevor Sie die Zielwebsite öffnen, und prüfen Sie dann die Seitenantwort, um den Zugriff zu bestätigen.
  4. Einen wechselnden Proxy und seine Zugangsdaten gemeinsam aktualisieren. Bei dynamischer Proxy-Rotation kann der neue Endpunkt andere Zugangsdaten erfordern. Aktualisieren Sie Proxy-Konfiguration und passende Zugangsdaten in einem Schritt. Ändert die Rotation den Proxy auf Browserebene, starten Sie Chrome mit dem neuen Endpunkt neu, erstellen eine Seite, authentifizieren sie und setzen dann das Skript fort.
  5. Authentifizierungsfehler genau diagnostizieren. Eine HTTP-407-Antwort zeigt in der Regel an, dass der Proxy eine Authentifizierung verlangt. Bestätigen Sie, dass Endpunkt und Zugangsdaten zusammengehören, und versuchen Sie es dann mit einer neuen Seite oder Browsersitzung erneut. Gelingt die Authentifizierung, die Navigation aber weiterhin nicht, testen Sie die Proxy-Verbindung separat; ein gültiges Passwort behebt keinen unerreichbaren Server und kein falsches Protokoll.
  6. Ein Proxy-Setup wählen, das zu Ihrer Automatisierung passt. Eine Bibliothek kann beim Proxy-Routing helfen, während page.authenticate() eine direkte Puppeteer-Methode zum Übergeben von Zugangsdaten bietet. Halten Sie die Rotationslogik des Skripts übersichtlich und geben Sie beim Debuggen keine Passwörter aus. Für einen Workflow mit authentifizierten Proxys entdecken Sie Proxy-Optionen, die zu Ihrem Puppeteer-Setup passen.

Chrome und Chromium unterstützen keine Proxy-URLs mit Benutzernamen und Passwörtern; halten Sie die Proxy-Authentifizierung daher getrennt von der Proxy-Adresse des Browsers. Eine Chrome-Erweiterung zur Proxy-Authentifizierung ist ein weiterer Ansatz; ihr Beispiel gibt Manifest-Version 2 an. Wählen Sie die Route, die zum Browser-Setup passt, und halten Sie Endpunkt und Zugangsdaten bei der Konfiguration aufeinander abgestimmt.

Lädt eine Seite über einen Proxy nur schwer, kann ein höheres Timeout in den Puppeteer-Optionen helfen. Testen Sie zuerst Verbindung und Erreichbarkeit des Proxys mit Tools wie cURL oder telnet und unterscheiden Sie dann ein Routing-Problem von einem Authentifizierungsproblem. Prüfen Sie vor dem Scraping einer Website deren robots.txt auf Richtlinien. Diese Prüfungen zeigen, ob das Problem bei Erreichbarkeit, Ladezeit, Zugangsdaten oder Website-Richtlinien liegt, ohne bei der Diagnose Passwörter offenzulegen. Halten Sie Proxy-Details aus Protokollen heraus und stellen Sie sicher, dass Diagnoseanfragen dieselbe Route nutzen, die für die Seite vorgesehen ist.

Proxied

Proxied bietet Konnektivitätsoptionen für Teams, die Puppeteer-Workflows aufbauen und eine Proxy-Quelle oder Infrastrukturverwaltung benötigen. Dedizierte 4G- und 5G-Mobile-Proxys können Automatisierungsaufgaben unterstützen, die mobile Proxy-Verbindungen erfordern, während das Proxied Hoster Dashboard das Hosting und Skalieren eigener mobiler Proxy-Geräte unterstützt. Die passende Lösung hängt davon ab, wie Ihr Skript Traffic routet, die Authentifizierung behandelt und Proxys zwischen Browsersitzungen wechselt. Diese Angebote ergänzen die Einrichtungsschritte in diesem Leitfaden; sie ersetzen nicht die Konfiguration des Proxy-Arguments oder der Authentifizierungslogik in Puppeteer. Wenn Sie einen Puppeteer-Workflow planen und besprechen möchten, wie die Konnektivitätsoptionen von Proxied passen, kontaktieren Sie Proxied.

Bauen Sie Ihren nächsten Puppeteer-Workflow mit Zuversicht auf

Um zu entscheiden, wie Sie Proxys mit Puppeteer integrieren, stimmen Sie das Setup auf Ihre Arbeitslast ab. Überlegen Sie, ob Ihre Automatisierung mobile Konnektivität, eine gleichbleibende Browserroute oder eine Infrastruktur benötigt, die Sie neben Ihren Skripten verwalten können. Klare Anforderungen erleichtern die Wahl eines passenden Setups ohne unnötige Komplexität.

Proxied bietet dedizierte 4G-Mobile-Proxys und dedizierte 5G-Mobile-Proxys für Workflows, die mobile Proxy-Konnektivität erfordern. Außerdem stehen kostenlose virtuelle Rufnummern für den Empfang von SMS-Nachrichten zur Verfügung, die allerdings einem anderen Zweck dienen als dem Routing von Puppeteer-Traffic. Stellen Sie die Anforderungen Ihrer Browser-Automatisierung in den Mittelpunkt Ihrer Entscheidung.

Wenn Sie bereit sind, Proxy-Unterstützung für Ihren Workflow zu besprechen, kontaktieren Sie Proxied zur Proxy-Unterstützung. Bringen Sie Ihre Anforderungen an Routing und Authentifizierung in das Gespräch ein und gehen Sie dann den nächsten Schritt zu einem Setup, das für Ihr Projekt funktioniert.

Häufig gestellte Fragen

Wie startet man Puppeteer mit einem HTTP- oder SOCKS-Proxy?

Übergeben Sie den Proxy-Endpunkt an die Chrome-Startargumente von Puppeteer und verwenden Sie das Schema, das zum Proxy passt. Setzen Sie zum Beispiel --proxy-server=http://proxy-host:port für HTTP oder --proxy-server=socks5://proxy-host:port für SOCKS5. Eine praktische Antwort auf die Frage, wie Sie Proxys mit Puppeteer integrieren: Testen Sie einen Endpunkt, bevor Sie eine größere Aufgabe ausführen. Schlagen Seiten fehl, prüfen Sie Endpunkt, Port und Protokoll.

Wie konfiguriert man in Puppeteer einen Proxy pro Seite oder Browser-Kontext?

Nutzen Sie ein Startargument, wenn alle Seiten eines Browsers einen Proxy teilen sollen. Für unterschiedliche Routen kann die Bibliothek puppeteer-proxy das Routing für eine ganze Seite oder ausgewählte Anfragen konfigurieren. Um zu entscheiden, wie Sie Proxys mit Puppeteer für getrennte Aufgaben integrieren, legen Sie zuerst fest, welche Anfragen welche Route benötigen. Gehen Sie nicht davon aus, dass ein Standard-Browser-Kontext den Proxy auf Startebene unabhängig überschreiben kann.

Wie nutzt man Proxy-Rotation mit Puppeteer?

Speichern Sie Proxy-Endpunkte in einem JavaScript-Array und wählen Sie für jeden Browserdurchlauf einen aus, zufällig oder der Reihe nach. Erhält Chrome seinen Proxy über ein Startargument, schließen Sie den Browser und starten ihn mit dem nächsten Endpunkt neu, um die browserweite Route zu ändern. Für Rotation auf Anfrageebene nutzen Sie ein Routing, das einzelne Anfragen unterstützt. Protokollieren Sie eine Proxy-Kennung, keine Zugangsdaten, um Fehler zwischen Durchläufen nachzuverfolgen.

Wie behandelt man Proxy-Authentifizierung und Zertifikatsfehler in Puppeteer?

Übergeben Sie Benutzername und Passwort des Proxys vor der Navigation mit page.authenticate(). Eine HTTP-407-Antwort zeigt in der Regel an, dass eine Proxy-Authentifizierung erforderlich ist oder überprüft werden muss. Behandeln Sie TLS-Zertifikatsfehler separat, denn sie betreffen die Zertifikatsprüfung, nicht das Proxy-Passwort. Setzen Sie NODE_TLS_REJECT_UNAUTHORIZED nicht auf 0; das deaktiviert die Zertifikatsprüfung und ist unsicher.

Wie konfiguriert man Proxys mit Puppeteer und Chrome-Startargumenten?

Fügen Sie --proxy-server zum args-Array hinzu, das an puppeteer.launch() übergeben wird. Verwenden Sie einen vollständigen Endpunkt mit dem richtigen Protokoll, etwa HTTP oder SOCKS5. Die Einstellung gilt für den gestarteten Chrome-Browser; eine Änderung erfordert daher einen neuen Start. Lassen Sie Zugangsdaten aus dem Argument heraus und konfigurieren Sie die Authentifizierung separat, wenn der Proxy Benutzername und Passwort verlangt.

Welche Proxy-Fehler treten in Puppeteer häufig auf und wie behebt man sie?

Eine HTTP-407-Antwort deutet auf die Proxy-Authentifizierung hin; prüfen Sie die Zugangsdaten und ob die Authentifizierung vor der Navigation ausgeführt wird. Prüfen Sie bei Verbindungsfehlern Proxy-Host, Port, Protokoll und Erreichbarkeit mit cURL oder telnet. Um Routing-Probleme von Problemen der Zielwebsite zu trennen, testen Sie eine einfache Seite in derselben Browsersitzung und prüfen ihre öffentliche IP. Ändern Sie jeweils nur eine Einstellung, um die Ursache einzugrenzen.

Was unterscheidet Residential-, Rechenzentrums- und mobile Proxys für Puppeteer?

Residential Proxys nutzen private IP-Adressen aus verschiedenen geografischen Regionen. Rechenzentrums- und mobile Proxys sind Alternativen mit anderen Netzwerkquellen; wählen Sie nach Zielwebsite und Aufgabe.

proxy-authentifizierung
browser-proxy
puppeteer-proxy-einrichtung
anfrage-routing
headless-browsing
proxys mit puppeteer integrieren
proxy-rotation

Finden Sie den perfekten
Proxy für Ihre Anforderungen

Proxied beitreten