JSON-LD は、リンクドデータをエンコードするためのJSONベースのフォーマットです—スキーマ.orgの製品マークアップ、レビュー、パンくずリストなどが該当します。JSON-LDをスクレイプすることで、DOMパースに頼らず構造化された仕様や評価を直接取得できます。
Proxiedを使ったJSON-LD収集の流れ
- Proxiedのローテーションモバイルプロキシを使ってページを取得する。
<script type="application/ld+json">ブロックをパースする。- そのまま構造化データとして保存する（追加のクリーニングは不要）。
信頼できるキャリアIPからのリクエストにより、サイト側がJSON-LDマークアップを隠したり難読化する可能性が低減されます。