Webスクレイピング API
非同期ジョブ
jobs エンドポイントはスクレイピングタスクをキューに入れ、ステータスと結果をポーリングできます — 高ボリュームや遅いページに最適です。
POST
Async jobs
はじめに
ベース URL
ジョブの作成
同期エンドポイントと同じScrapeRequest ペイロードで非同期スクレイピングジョブをキューに追加します。
リクエスト例
ジョブ作成パラメータ
同期スクレイピングエンドポイントと同じフィールド(
url、render、actions、cookies など)を持つ ScrapeRequest オブジェクト。ジョブ優先度。値が大きいほど先に処理されます。デフォルト: 0。
ジョブステータスの取得
ID でジョブをポーリングし、ステータスを確認し、完了後に結果を取得します。ベース URL
リクエスト例
ジョブステータス値
| ステータス | 説明 |
|---|---|
queued | ジョブがキューで待機中。 |
running | ブラウザセッションがアクティブ。 |
done | スクレイピング完了。result に出力が含まれる。 |
failed | スクレイピング失敗。error に説明が含まれる。 |
レスポンスパラメータ
非同期ジョブの一意の識別子。
現在のジョブステータス:
queued、running、done、failed。スクレイピング結果オブジェクト(同期エンドポイントレスポンスと同じ構造)。
status が done の場合に返されます。エラーメッセージ。
status が failed の場合に返されます。ジョブ実行に関する追加メタデータ。
Async jobs