API实时集成
这种集成将整个作业请求放入我们自己形成的一个 URL 中。
– 100% 成功率加上准确的数据
– 数据来源:直接(客户端提供的完整 URL)
– 需要开放连接来发送获取的结果
– 单个查询 – 无批次
– 支持任何 SERP 关键字
– 解析:原始 HTML,在某些情况下 – 结构化 JSON
集成示例:
https://scraper-api.smartdaili-china.com/v2/scrape?target=google_search&query=world&domain=com&access_token=pass2021
curl -u username:password 'https://scraper-api.smartdaili-china.com/v2/scrape' -H "Content-Type: application/json" -d '{"target": "google_search", "domain": "com", "query": "world"}'
<?php
$username = "SPusername";
$password = "SPpassword";
$search = [
'target' => 'google_search',
'domain' => 'com',
'query' => 'world',
'parse' => true
];
$ch = curl_init();
$headers[] = 'Content-Type: application/json';
$options = [
CURLOPT_URL => 'https://scraper-api.smartdaili-china.com/v2/scrape',
CURLOPT_USERPWD => sprintf('%s:%s', $username, $password),
CURLOPT_POSTFIELDS => json_encode($search),
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_ENCODING => 'gzip, deflate',
CURLOPT_HTTPHEADER => $headers,
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false
];
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
if (curl_errno($ch)) {
echo 'Error:' . curl_error($ch);
}
curl_close($ch);
$result = json_decode($result);
var_dump($result);
?>
import requests
headers = {
'Content-Type': 'application/json'
}
task_params = {
'target': 'google_search',
'domain': 'com',
'query': 'world',
'parse': True
}
username = 'SPuserame'
password = 'SPpassword'
response = requests.post(
'https://scraper-api.smartdaili-china.com/v2/scrape',
headers = headers,
json = task_params,
auth = (username, password)
)
print(response.text)
查看以下秘诀,了解 SERP 爬虫API 集成的分步概述:
🦉
SERP Scraping API basic code
Open Recipe
编码
请注意,如果你使用直接数据源(也称为“自己提供 URL”),则你在 URL 字符串中输入的所有内容都必须进行编码
如何使用
-
你向我们发送查询。如果需要指定,可以添加参数。你需要以与发布 JSON 参数相同的方式发布查询参数。不要忘记输入你的凭据(令牌)。
-
我们检索你需要的内容。
-
我们需要一个打开的连接才能返回请求的数据。数据应返回 HTTP 状态代码 200,并且应以 JSON 格式解析或包含原始 HTML。
保持开放的连接
如果在作业完成之前关闭连接,数据将丢失。
打开连接 的超时限制为 150 秒。在极少数负载较重的情况下,我们可能无法向你提供数据。
你的设置需要任何帮助吗? 通过聊天给我们留言。
Updated 12 months ago