Map API
一次调用即可返回网站的每个 URL,来源包括站点地图和页面链接,自动去重并可按关键词过滤。每次调用固定 1 个积分,无论返回多少链接:这是决定抓取范围最快的方式。
- 站点地图优先:先读取 robots.txt 中的站点地图和索引,再补充页面链接
- search、limit、sitemap_only 灵活塑造列表
- 去重、仅限同站的 URL,每条都标明来源
- 每个响应都包含 truncated 标记和 sitemaps 数组
- 同步返回:一次调用,一个响应,不抓取任何内容
- 每次调用固定 1 个积分,无论返回多少链接
支持 MCP一条命令即可连接你的智能体:




npx -y @datafuel/mcp initDatafuel / MapMapping ikea.comMap ready
POST/api/v1/mapone call · one credit
"url": "https://www.ikea.com/us/en/""search": "sofa"
1 Sitemaps2 Page links3 FilterResult
STEP 1 · SITEMAPSReads robots.txt, then every sitemap it lists
3 sitemaps
984 URLs
244 URLs
12 URLs
1,240URLs collected from sitemaps
STEP 2 · PAGE LINKSAdds the links found on the page itself
ikea.com/us/en/
/us/en/cat/sofas-fu003//us/en/rooms/living-room/sofas//us/en/ideas/small-space-sofas//us/en/cat/sofa-beds-45702//us/en/new/… 91 more links on the page
+96links not in any sitemap1,336 candidates so far
STEP 3 · DEDUPE & FILTERKeeps one copy of each URL, then only those matching “sofa”
1,336
1,187
482
482URLs kept · 854 dropped as duplicates or off-topic
482 URLs, ready to crawlsource
sitemap
sitemap
sitemap
page
sitemap
page
sitemap
sitemap
Nothing is scraped · URLs only1 credit
一次调用搞定一切
该接口的能力,一目了然。站点地图优先发现优先跟踪 robots.txt 中列出的站点地图和站点地图索引。
页面链接补全缺口站点地图遗漏的 URL,由页面本身的链接补充。
去重,仅限同站一份列表,没有重复,只包含你所请求站点的 URL。
search保留地址或标题包含指定词的 URL。
limit限制列表长度;truncated 会告诉你是否触及上限。
sitemap_only跳过页面抓取、只读取站点地图,获得最快的响应。
结构化响应带来源的 links、total、truncated、sitemaps 和 credits。
同步返回一次调用,一个响应。无需轮询任务。
衔接批量任务与抓取将列表交给 POST /job,或根据发现的结果限定抓取范围。
子站点地图通过 sitemaps 数组逐个映射子站点地图。
每次调用固定 1 个积分无论返回多少链接。
失败调用免费只有返回列表时你才付费。
Datafuel / MapMapping
412 URLs mapped0 pages fetched · 1 credit
01 · 网站结构
看清网站的完整结构
一次调用即可绘出整棵树:首页、各个栏目及其下的每个分支。在花费任何抓取或解锁积分之前,你就能看到全貌,让下一次请求成为决策,而不是猜测。
演示数据。所示深度仅作示意;真实的树结构取决于网站的站点地图和链接。
Datafuel / MapFiltering
URLs found5,0003,2401,120180
search: "sofa" · limit: 500180 URLs kept1 credit · nothing fetched yet
02 · 先过滤
下载之前先过滤
search、limit 和 sitemap_only 在抓取任何页面之前,就能把 5,000 个 URL 缩减到你真正需要的 180 个。你只为重要的页面付费:Map 固定 1 个积分,随后的抓取或解锁只覆盖你的候选清单。
演示数据。数量仅作示意。
价格
只为成功请求付费
选择月度套餐、一次性购买积分,或使用不限线程套餐。失败的请求永不计费。
每个套餐都包含所有端点和所有接口(API、MCP)。共用一个积分余额:你只为用量付费,而且只为成功的请求付费。
每月需要多少次请求?每月 1,000,000 Map 调用
≈ 1,000,000 积分 · Growth1K300K1M3.5M12M定制
Growth最适合
适合需要充裕容量的生产级爬虫和智能体。
原价 $79,现价 $55.30 $79/ 月,按月计费
1,000,000 积分 / 月1,000,000 Map 调用25 并发线程$0.055$0.079 每 1K 次 Map 调用
- 包含 Starter 的全部功能
- 自动充值
- 优先聊天支持
Business
适合按计划交付数据产品的团队。
原价 $199,现价 $139.30 $199/ 月,按月计费
3,500,000 积分 / 月3,500,000 Map 调用50 并发线程$0.040$0.057 每 1K 次 Map 调用
- 包含 Growth 的全部功能
- 按 API 密钥设置用量提醒
- 客户经理
Scale
大用量,最低单页价格。即时开通。
原价 $499,现价 $349.30 $499/ 月,按月计费
12,000,000 积分 / 月12,000,000 Map 调用150 并发线程$0.029$0.042 每 1K 次 Map 调用
- 包含 Business 的全部功能
- 专属 IP 池
- 99.9% SLA
对比
| Free | Starter | Growth | Business | Scale | Enterprise | |
|---|---|---|---|---|---|---|
| 每月积分 | 1K 一次性 | 300K | 1M | 3.5M | 12M | 定制 |
| 并发线程 | 2 | 10 | 25 | 50 | 150 | 250+ |
| API 密钥 | 1 | 3 | 10 | 25 | 无限制 | 无限制 |
| JS 渲染 | ||||||
| 住宅代理 | ||||||
| AI 实时提取(使用你的密钥) | ||||||
| 地理定位 · 195+ 个国家 | ||||||
| 批量多 URL | ||||||
| Unlocker · Crawl · Map · LLM Scraper | ||||||
| 自动充值 | — | — | ||||
| 支持 | 社区 | 邮件 | 优先聊天 | 客户经理 | Slack + 电话 | 专属支持 + SLA |
一次请求实际花费多少?1 积分 = 1 个基础页面 · 费用不叠加:JS + 住宅代理为 20 积分,而不是 5 + 10
1×基础 HTTP简单 HTML,数据中心代理
5×JS 渲染用于动态网站的无头浏览器
10×住宅代理真实住宅 IP
20×JS + 住宅代理全力应对受保护网站
免费AI In-Flight任意 Unlocker 请求均可使用 LLM 提取(使用你自己的 AI 密钥),不额外消耗积分
FAQ
常见问题
发现、输出与计费,直截了当地回答。
Map API发现、过滤与输出。
Map 如何查找 URL?
站点地图优先:先跟踪 robots.txt 中列出的站点地图及站点地图索引,再用页面本身的链接补全缺口。所有结果去重后合并为一份同站列表。
如何筛选或限制结果?
search 保留地址或标题包含指定词的 URL,limit 限制列表长度,sitemap_only 跳过页面抓取、只读取站点地图。truncated 会告诉你是否触及上限。
响应包含哪些内容?
包含来源的链接列表、总数、truncated 标记、sitemaps 数组(便于逐个映射子站点地图)以及消耗的积分。不会抓取任何页面内容。
什么时候应该改用 Crawl?
当你需要页面内容而不是页面地址时。Crawl 会跟踪起始 URL 下的链接,并以 Markdown 返回每个页面;Map 则是决定抓取范围的低成本第一步。
计费积分、失败与上限。
Map 调用如何计费?
使用 Basic 代理每次调用 1 积分,Premium 为 10 积分,无论返回多少链接。这是在花费 Crawl 或 Unlocker 积分之前评估网站规模最便宜的方式。
Map 调用失败会怎样?
与任何任务一样,失败的调用不收费。只有返回 URL 列表时你才付费。
积分会过期吗?
按量付费积分永不过期。月度套餐中未用完的积分可顺延一个月,试用积分有效期为 1 年。同一余额可用于所有抓取产品。
有并发上限吗?
有,按账户计算。GET /users/@me 会显示 current_concurrency 和 concurrency_limit;可在控制台中提高上限,或与我们联系。