RDB

RDB は、テーブル、行、カラム、SQLジョインでデータを整理するデータベースです。HTMLを整った行にパースした後、結果をPostgresやMySQLにロードします。ProxiedのローテーションIP を利用することで、キャプチャの際にCAPTCHAなどのエラーが少なく、下流の重複排除作業も軽減されます。