ETL

ETL是一个数据管道框架，包括三个阶段：

1. 提取——通过Proxied的移动代理收集原始HTML或JSON。

2. 转换——清理、规范化或丰富数据（例如转换货币、去重SKU）。

3. 加载——将优化后的数据集插入数据仓库、数据湖或Elasticsearch集群。

使用Airflow或Prefect自动化ETL，并让每个提取任务通过新的Proxied IP进行，以增强弹性。