Trabajos asíncronos

POST

jobs

Trabajos asíncronos

curl --request POST \
  --url https://scrape.cleariflow.com/v1/jobs \
  --header 'Content-Type: application/json' \
  --data '
{
  "request": {},
  "priority": 123
}
'

import requests

url = "https://scrape.cleariflow.com/v1/jobs"

payload = {
    "request": {},
    "priority": 123
}
headers = {"Content-Type": "application/json"}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {'Content-Type': 'application/json'},
  body: JSON.stringify({request: {}, priority: 123})
};

fetch('https://scrape.cleariflow.com/v1/jobs', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://scrape.cleariflow.com/v1/jobs",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'request' => [
        
    ],
    'priority' => 123
  ]),
  CURLOPT_HTTPHEADER => [
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://scrape.cleariflow.com/v1/jobs"

	payload := strings.NewReader("{\n  \"request\": {},\n  \"priority\": 123\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://scrape.cleariflow.com/v1/jobs")
  .header("Content-Type", "application/json")
  .body("{\n  \"request\": {},\n  \"priority\": 123\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://scrape.cleariflow.com/v1/jobs")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Content-Type"] = 'application/json'
request.body = "{\n  \"request\": {},\n  \"priority\": 123\n}"

response = http.request(request)
puts response.read_body

{
  "job_id": "550e8400-e29b-41d4-a716-446655440000"
}

Primeros pasos

URL base

https://scrape.cleariflow.com/v1/jobs

Crear un trabajo

Encole un trabajo de scraping asíncrono con la misma carga ScrapeRequest que usa el endpoint síncrono.

Solicitud de ejemplo

curl -X POST 'https://scrape.cleariflow.com/v1/jobs' \
  -H 'Content-Type: application/json' \
  -d '{
    "request": {
      "api_key": "YOUR_UNIQUE_API_KEY",
      "url": "https://example.com"
    },
    "priority": 10
  }'

Esta solicitud exitosa devuelve un identificador de trabajo:

{
  "job_id": "550e8400-e29b-41d4-a716-446655440000"
}

Parámetros para crear un trabajo

Object

requerido

Un objeto ScrapeRequest con los mismos campos que el endpoint de scraping síncrono (url, render, actions, cookies, etc.).

Integer

Prioridad del trabajo. Los valores más altos se procesan primero. Por defecto: 0.

Obtener estado del trabajo

Consulte un trabajo por ID para verificar su estado y recuperar resultados al completarse.

URL base

https://scrape.cleariflow.com/v1/jobs/{job_id}

Solicitud de ejemplo

curl 'https://scrape.cleariflow.com/v1/jobs/550e8400-e29b-41d4-a716-446655440000'

Mientras el trabajo está en ejecución:

{
  "job_id": "550e8400-e29b-41d4-a716-446655440000",
  "status": "running"
}

Cuando el trabajo se completa con éxito:

{
  "job_id": "550e8400-e29b-41d4-a716-446655440000",
  "status": "done",
  "result": {
    "ok": true,
    "html": "<!DOCTYPE html><html>...</html>",
    "meta": {
      "elapsed_ms": 8123
    }
  }
}

Valores de estado del trabajo

Status	Description
`queued`	El trabajo está en cola de espera.
`running`	La sesión del navegador está activa.
`done`	Scraping completado; `result` contiene la salida.
`failed`	Scraping fallido; `error` contiene una descripción.

Parámetros de respuesta

String

Identificador único del trabajo asíncrono.

String

Estado actual del trabajo: queued, running, done o failed.

Object

El objeto de resultado del scraping (misma estructura que la respuesta del endpoint síncrono). Presente cuando status es done.

String

Mensaje de error. Presente cuando status es failed.

Object

Metadatos adicionales sobre la ejecución del trabajo.

Trabajos asíncronos

curl --request POST \
  --url https://scrape.cleariflow.com/v1/jobs \
  --header 'Content-Type: application/json' \
  --data '
{
  "request": {},
  "priority": 123
}
'

import requests

url = "https://scrape.cleariflow.com/v1/jobs"

payload = {
    "request": {},
    "priority": 123
}
headers = {"Content-Type": "application/json"}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {'Content-Type': 'application/json'},
  body: JSON.stringify({request: {}, priority: 123})
};

fetch('https://scrape.cleariflow.com/v1/jobs', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

<?php

$curl = curl_init();

curl_setopt_array($curl, [
  CURLOPT_URL => "https://scrape.cleariflow.com/v1/jobs",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 30,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "POST",
  CURLOPT_POSTFIELDS => json_encode([
    'request' => [
        
    ],
    'priority' => 123
  ]),
  CURLOPT_HTTPHEADER => [
    "Content-Type: application/json"
  ],
]);

$response = curl_exec($curl);
$err = curl_error($curl);

curl_close($curl);

if ($err) {
  echo "cURL Error #:" . $err;
} else {
  echo $response;
}

package main

import (
	"fmt"
	"strings"
	"net/http"
	"io"
)

func main() {

	url := "https://scrape.cleariflow.com/v1/jobs"

	payload := strings.NewReader("{\n  \"request\": {},\n  \"priority\": 123\n}")

	req, _ := http.NewRequest("POST", url, payload)

	req.Header.Add("Content-Type", "application/json")

	res, _ := http.DefaultClient.Do(req)

	defer res.Body.Close()
	body, _ := io.ReadAll(res.Body)

	fmt.Println(string(body))

}

HttpResponse<String> response = Unirest.post("https://scrape.cleariflow.com/v1/jobs")
  .header("Content-Type", "application/json")
  .body("{\n  \"request\": {},\n  \"priority\": 123\n}")
  .asString();

require 'uri'
require 'net/http'

url = URI("https://scrape.cleariflow.com/v1/jobs")

http = Net::HTTP.new(url.host, url.port)
http.use_ssl = true

request = Net::HTTP::Post.new(url)
request["Content-Type"] = 'application/json'
request.body = "{\n  \"request\": {},\n  \"priority\": 123\n}"

response = http.request(request)
puts response.read_body

{
  "job_id": "550e8400-e29b-41d4-a716-446655440000"
}

Validación

Consulta

Creación

Primeros pasos

URL base

Crear un trabajo

Solicitud de ejemplo

Parámetros para crear un trabajo

Obtener estado del trabajo

URL base

Solicitud de ejemplo

Valores de estado del trabajo

Parámetros de respuesta

​Primeros pasos

​URL base

​Crear un trabajo

​Solicitud de ejemplo

​Parámetros para crear un trabajo

​Obtener estado del trabajo

​URL base

​Solicitud de ejemplo

​Valores de estado del trabajo

​Parámetros de respuesta

Primeros pasos

URL base

Crear un trabajo

Solicitud de ejemplo

Parámetros para crear un trabajo

Obtener estado del trabajo

URL base

Solicitud de ejemplo

Valores de estado del trabajo

Parámetros de respuesta