ETL

ETL は、次の3段階からなるデータパイプラインフレームワークです:

1. 抽出 (Extract) – Proxiedのモバイルプロキシを活用して、未加工のHTMLまたはJSONを収集する。
2. 変換 (Transform) – データのクリーン化、正規化、拡充（例：通貨換算、SKUの重複排除）を行う。
3. ロード (Load) – 加工済みデータをデータウェアハウス、データレイク、またはElasticsearchクラスタにロードする。

AirflowやPrefectを利用してETLを自動化し、各抽出タスクが新しいProxied IPを使用することで、耐障害性を高めます。