以本地搜索者看到的样子获取搜索结果,规模不限
让你自己的 SERP 采集程序运行在指定城市的住宅 IP 上,或者把查询发给我们,拿回结构化 JSON。两种方式都一样:真实的本地结果,没有 CAPTCHA 卡住任务,没有月度最低消费。
MilanDesktop
MilanMobile
New YorkDesktop
New YorkMobile四个页面,四种排名。出口 IP 和设备决定了你的客户看到哪一个。
Datafuel 用两种方式支持 SERP 抓取:住宅和移动代理,让你自己的采集程序运行在你所选城市的本地 IP 上;或者 Search API,以结构化 JSON 返回自然结果、本地商家包和“其他人还问了”。两者都只对成功的查询收费。
为什么不存在唯一的搜索结果页
不存在唯一的搜索结果页。Google 会根据国家、城市、设备以及它对搜索者的了解返回不同的结果。在你办公室里查到的排名,只是你办公室里的排名。
自动化查询是搜索引擎防范最严的对象。任何看起来像工具的 IP,只需几次请求就会遇到限流和 CAPTCHA,而数据中心 IP 会被立即识别。
页面本身也变了。AI 概览如今出现在将近一半的搜索中,位于自然结果之上;被其中一个引用,比排在它下面的第三位更重要。只读取十条蓝色链接的跟踪工具,衡量的页面部分越来越少。
大多数 Google 搜索发生在手机上,而移动端页面并不等于桌面端页面:广告不同,本地商家包不同,顺序也常常不同。只跟踪桌面端的工具衡量的是少数情况。
best pizza delivery米兰 · 桌面端在第一个自然结果之上有三个区块。只读取自然结果的跟踪工具会错过页面的大部分内容。
从本地 IP 抓取搜索结果的两种方式
代理运行在住宅和移动网络上,Search API 运行在 Datafuel 自有出口池上,两者都返回本地结果。区别在于由谁来做解析。
保留你的采集程序并修好网络,或者把查询交给我们。同样的 IP,同样的本地结果,同样的计费规则。
| 住宅代理 | Search API | |
|---|---|---|
| 你提供 | 你自己的采集程序和解析器 | 一个查询和一个地点 |
| 你得到 | 来自本地 IP 的原始结果页 | 以 JSON 返回的自然结果、本地商家包和相关问题 |
| 定位 | 国家 · 地区 · 城市 · ASN · 操作系统 · 设备:桌面端或移动端 | 国家 · 语言 · 城市(location、uule 或 GPS) |
| CAPTCHA | 由你的采集程序处理 | 在请求内部处理 |
| 计费 | 按 GB 计费,流量永不过期 | 按成功查询计费,额度永不过期 |
| 适合场景 | 你已经有可用的跟踪工具 | 你想要结果,而不想维护解析器 |
很多团队两者都用:Search API 用于排名跟踪,住宅代理用于他们已有的采集程序。
适用于SERP 抓取的产品
所有应用场景价格相同。失败请求免费,已购流量永不过期。
- 按国家、地区、城市、ASN 和操作系统定位
- 轮换或粘性会话,最长 24 小时
- 流量永不过期,无月度最低消费
- HTTP(S) 和 SOCKS5
- 经同意获取、符合 GDPR 的 IP
工作原理
- 01把你的采集程序指向 Datafuel 网关,并在用户名中写明城市和设备。
- 02每个查询都从本地住宅 IP 发出;粘性会话在多步检查中保持同一个 IP。
- 03你的采集程序照常解析页面。
- 01发送查询,并带上
country、language和location。 - 02Datafuel 从自有出口池执行查询,并在请求内部处理 CAPTCHA。
- 03自然结果、本地商家包和相关问题以 JSON 返回。
注意事项
- 跟踪整个页面,而不只是自然排名。广告和本地结果才是页面内容转移的方向。
- 两条路径都要在查询之间轮换身份。来自同一 IP 的重复查询会改变结果,并招来 CAPTCHA。
- 搜索引擎的条款限制自动化查询。了解你面临的风险;我们的合规文档说明了我们的运营方式。在美国法院的 hiQ 案和 Meta 诉 Bright Data 案中,收集公开搜索结果的做法得到了支持;剩下的风险在于搜索引擎自身的服务条款。