API代理式集成
这是一个类似代理的集成。这些代理充当具有附加功能的标准代理。
– 100% 成功率加上准确的数据
– 数据来源:直接(客户端提供的完整 URL)
– 需要开放连接来发送获取的结果
– 单个查询 – 无批次
– 支持任何 SERP 关键字
– 解析:原始 HTML,在某些情况下 – 结构化 JSON
端点: scrape.visitxiangtan.com:60000
scrape.visitxiangtan.com:60000
集成示例:
curl -k -x scrape.visitxiangtan.com:60000 -U username:password -H "X-Smartproxy-Device-Type: desktop_firefox" -H "X-Smartproxy-Geo: California,United States" "https://www.google.com/search?q=world"
<?php
$ch = curl_init();
$username = 'username';
$password = 'password';
$options = [
CURLOPT_URL => 'https://www.google.com/search?q=world',
CURLOPT_PROXY => 'scrape.visitxiangtan.com:60000',
CURLOPT_PROXYUSERPWD => sprintf('%s:%s', $username, $password),
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false,
];
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
if (curl_errno($ch)) {
echo sprintf('Error %s', curl_error($ch));
} else {
echo $result;
}
curl_close ($ch);
?>
import requests
username = 'username'
password = 'password'
proxy = 'http://{}:{}@scrape.visitxiangtan.com:60000'.format(
username, password)
headers = {'X-Smartproxy-Device-Type': 'desktop_chrome',
'X-Smartproxy-Geo': 'New York,New York,United States',
'X-Smartproxy-Parse': '1',
}
response = requests.request(
'GET',
'https://www.google.com/search?q=world',
proxies={'http': proxy, 'https': proxy},
headers=headers,
verify=False
)
print(response.text)
仅直接数据源
直接来源是指完全提供 URL。
如果我们能够解析你的目标源,则支持 JSON(结构化数据)。
如何使用
- 向我们提供完整的目标 Google URL 并(如果需要)在标头中添加 参数。授权很简单,
user:pass
。
参数
此集成支持的参数应作为标头发送。为什么这样? 标头是 HTTP 通信的一部分。如果你想违背常规并提供额外的 JSON 参数,则只能通过标头来实现。你可以在参数找到有关此内容的更多信息。
- 忽略证书。
证书
我们的证书可帮助代理查看完整的 URL(目标)。
证书问题 – 代理获取我们的证书而不是 Google 的证书,因此在发出请求时必须忽略差异。在 cURL 中,它是 -k。
-
这些代理像标准代理一样抓取所有内容,只是抓取 API 的成功率是 100%。
-
我们需要一个打开的连接才能返回请求的数据。数据应返回 HTTP 状态代码 200,并且应以 JSON 格式解析或包含原始 HTML
保持开放的连接
如果在作业完成之前关闭连接,数据将丢失。
打开连接 的超时限制为 150 秒。在极少数负载较重的情况下,我们可能无法向你提供数据。
你的设置需要任何帮助吗? 通过聊天给我们留言。
Updated 12 months ago