API实时集成

这种集成将整个作业请求放入我们自己形成的一个 URL 中。

– 100% 成功率加上准确的数据
– 数据来源:直接(客户端提供的完整 URL)
– 需要开放连接来发送获取的结果
– 单个查询 – 无批次
– 支持任何 SERP 关键字
– 解析:原始 HTML,在某些情况下 – 结构化 JSON

集成示例:

https://scraper-api.smartdaili-china.com/v2/scrape?target=google_search&query=world&domain=com&access_token=pass2021
curl -u username:password 'https://scraper-api.smartdaili-china.com/v2/scrape' -H "Content-Type: application/json" -d '{"target": "google_search", "domain": "com", "query": "world"}'
<?php 

$username = "SPusername";
$password = "SPpassword";

$search = [
    'target' => 'google_search',
    'domain' => 'com',
    'query' => 'world',
    'parse' => true
];

$ch = curl_init();

$headers[] = 'Content-Type: application/json';

$options = [
   CURLOPT_URL => 'https://scraper-api.smartdaili-china.com/v2/scrape',
   CURLOPT_USERPWD => sprintf('%s:%s', $username, $password),
   CURLOPT_POSTFIELDS => json_encode($search),
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_ENCODING => 'gzip, deflate',
   CURLOPT_HTTPHEADER => $headers,
   CURLOPT_SSL_VERIFYPEER => false,
   CURLOPT_SSL_VERIFYHOST => false
];
curl_setopt_array($ch, $options);

$result = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
curl_close($ch);

$result = json_decode($result);
var_dump($result);

 ?>
import requests

headers = {
    'Content-Type': 'application/json'
}

task_params = {
    'target': 'google_search',
    'domain': 'com',
    'query': 'world',
    'parse': True
}

username = 'SPuserame'
password = 'SPpassword'
  
response = requests.post(
    'https://scraper-api.smartdaili-china.com/v2/scrape',
    headers = headers,
    json = task_params,
    auth = (username, password)
)
print(response.text)

查看以下秘诀,了解 SERP 爬虫API 集成的分步概述:

📘

编码

请注意,如果你使用直接数据源(也称为“自己提供 URL”),则你在 URL 字符串中输入的所有内容都必须进行编码

如何使用

  1. 你向我们发送查询。如果需要指定,可以添加参数。你需要以与发布 JSON 参数相同的方式发布查询参数。不要忘记输入你的凭据(令牌)。

  2. 我们检索你需要的内容。

  3. 我们需要一个打开的连接才能返回请求的数据。数据应返回 HTTP 状态代码 200,并且应以 JSON 格式解析或包含原始 HTML。

❗️

保持开放的连接

如果在作业完成之前关闭连接,数据将丢失。

打开连接 的超时限制为 150 秒。在极少数负载较重的情况下,我们可能无法向你提供数据。

你的设置需要任何帮助吗? 通过聊天给我们留言。