可据以行动的信号，来自可审计的数据源

为什么另类数据源难以规模化

网页抓取数据如今是另类数据支出中最大的单一类别，也是最容易悄无声息地失效的一类。

失效的过程是这样的：某个来源开始限速或拦截，抓取程序仍在运行，返回的页面越来越少，数据源照常更新。没有任何报错。时间序列只是越来越稀疏，建立在其上的每个信号都在漂移。等到有人察觉，决策早已基于它做出。

第二个问题是时效性。价格和新闻信号在几小时内就会衰减；晚到一天的数据源只是历史，而不是数据。而对数据来源的尽职调查，如今已是基金运作所依据的投资授权中的标准要求。无法说明来源的数据集，就是无法使用的数据集。

Datafuel 如何处理另类数据源

Datafuel 通过自有网络从受保护的来源采集数据，因此当网站加强防护时，覆盖率不会下降。失败的请求免费，这意味着覆盖率下降会体现在账单和成功率仪表板中，而不是悄悄出现在数据里。

采集按你设定的频率运行，从每小时的价格采集到每周的招聘信息扫描。每个住宅 IP 都基于同意获取，并依据 GDPR 记录在案，因此当尽职调查询问数据来源时，答案早已写明。

许多团队两者并用：API 用于会拦截的页面，代理用于已在运行的采集器。

工作原理

1. 01定义你的来源、schema 和采集频率。
2. 02按你的计划运行采集，并为每个来源设置代理档位和渲染方式。
3. 03结构化数据进入你的数据仓库或存储桶，并同时报告每个来源的成功率。

注意事项

• 让采集频率匹配信号。每小时采集招聘职位是浪费预算；每周采集价格是浪费信号。
• 在边缘做标准化。不同来源的字段名、货币和格式各不相同；在数据进入模型之前先清洗。
• 只采集公开数据，并删除不需要的个人数据。需要解释的越少，数据来源文档就越容易准备。