トークン とは、短命な認証情報で、通常はJWTや不透明な文字列として発行され、保護されたAPIへのリクエストを認可します。スクレイピングプラットフォームはトークンを用いて:
パスワードを露出せずに認証を行う。
スコープやクレームを通じてアクセス範囲を制限する。
長時間実行されるジョブに対してシームレスにリフレッシュする。
スクレイパーがトークンの交換やリフレッシュを行う際は、各HTTPコールをProxiedの4G/5GモバイルIP経由にし、ジオロックやIPベースのレート制限を回避します。さらに、適応的なIPローテーションでトークン更新の急増を分散させます。