概述
你要的那份数据,很少现成地待在同一个地方
一份好用的数据集,通常是拼接出来的。门店位置来自某个来源,商圈人口来自统计部门,路网几何来自开放地图项目,营业时间来自地图上的商户信息。单看每一块都不难,难的是让它们在标识符、地理口径和时间口径上对得上——项目往往就卡在这里。
我们从你要做的那个决策出发倒推,只做能支撑这个决策的最小数据集。这样范围不会失控,你也不必为一堆没人会用的字段买单。
交付物是一份带文档的数据集:字段结构、逐字段的来源说明、采集时间和校验报告。日后想刷新、想扩到另一个国家,或者想跟你自己的系统对接,结构都已经在那儿了。
输出示例
同一份数据,画在地图上
这里是静态预览,而不是内嵌地图 SDK,页面因此保持轻快。交互式地图可以作为可视化项目单独构建。
服务范围
一次交付包含什么
每一个定制数据集,都会附上同一套材料。
字段结构定义
字段名、类型、单位、坐标系与取值范围,在开始采集之前就先敲定。
来源登记表
每个字段从哪里来、什么时候采的,以及适用的访问条件。
主数据集
记录本体,按你指定的格式与目标位置交付。
地理编码坐标
所有带地址的记录都给出 WGS 84 经纬度,并记录匹配质量。
校验报告
各字段完整度、重复处理方式、检出的异常值,以及被剔除的记录。
覆盖范围说明
这份数据覆盖了什么、没覆盖什么,按地域、类别与时间分别说明。
变更日志
对于周期性项目,列出相比上次运行新增、消失与被修改的记录。
可复现的数据管道
整套采集可以随时重跑,而不是每次从头再搭一遍。
交付格式
按你的技术栈习惯的方式交付
- CSV
- 扁平交付,适合表格软件、BI 工具与快速统计分析。
- Excel
- 多工作表工作簿,含数据字典与覆盖范围说明。
- JSON
- 嵌套结构,适合含重复分组或可变字段的记录。
- GeoJSON
- 地理格式交付,适合任何带坐标或几何图形的数据。
- 数据库或数据仓库
- 直接写入 PostgreSQL/PostGIS、BigQuery、Snowflake 或对象存储。
样例数据
你实际拿到的是什么
示例项目数据。地理编码质量始终随数据返回,你可以按匹配置信度筛选,而不必对每一个坐标一视同仁。
| 点位编号 | 地址 | 纬度 | 经度 | 地理编码质量 | 15 分钟可达人口 | 1 公里内竞品数 |
|---|---|---|---|---|---|---|
| SITE-001 | 412 W Broadway, Vancouver BC | 49.26346 | -123.10389 | 门址级 | 184,200 | 12 |
| SITE-002 | 980 Granville St, Vancouver BC | 49.27906 | -123.12481 | 门址级 | 231,800 | 27 |
| SITE-003 | 3105 Main St, Vancouver BC | 49.25774 | -123.10088 | 插值级 | 148,600 | 9 |
| SITE-004 | 2288 Kingsway, Vancouver BC | 49.24463 | -123.06821 | 门址级 | 126,400 | 6 |
| SITE-005 | 1490 Lonsdale Ave, North Vancouver BC | 49.32819 | -123.07214 | 门址级 | 88,300 | 4 |
服务流程
五个步骤,每个项目都一样
- 步骤 01
说明你需要什么数据
先说清楚要做的决策,字段清单是从决策里推出来的。
- 步骤 02
我们确定数据范围
我们提出来源方案、字段结构与覆盖范围定义,再共同敲定验收标准。
- 步骤 03
我们采集并处理数据
采集各来源数据,做标准化,需要时做地理编码,并按约定的主键关联。
- 步骤 04
我们校验数据集
完整度、重复、取值范围与空间合理性检查,全部在交付之前跑完。
- 步骤 05
我们交付最终成果
数据集、文档与校验报告,按你指定的格式与目标位置交付。
项目按记录量、来源数量、属性增强深度与刷新频率报价。把你需要的数据集描述清楚,我们会给出一份对应书面工作范围的固定报价。
常见问题
客户经常问到的问题
你们会整合哪些来源?
可公开访问的网页、政府与统计部门的开放数据、OpenStreetMap 与各国测绘机构等开放地理空间数据集、地图上的商户信息,以及你提供或已获授权使用的数据。每个字段的来源都会写进交付文档。
可以基于我们已有的清单来做吗?
可以,而且这通常是成本最低的起点。我们先把你的清单清洗去重、做地理编码,再补上你缺的属性字段。你的标识符会原样保留,结果可以直接对接回你的系统。
数据质量怎么衡量?
按采集之前就约定好的标准来衡量:字段完整度阈值、重复率、地理编码匹配质量,以及在存在参考总量时的覆盖率。校验报告写的是实际达到的数字,而不是一句「完美无缺」。
数据集之后还能更新吗?
可以。项目按可重复的数据管道来搭,刷新就是重跑一次,而不是重做一遍。每次刷新都附带新增、消失与被修改记录的变更日志。
个人数据如何处理?
除非对你声明的用途确有必要且合法,否则我们不采集个人数据。商户自行公开的联系方式按商业数据处理。我们不做针对自然人的数据集。
如果某个字段最后拿不到怎么办?
如果在梳理范围阶段就能看出问题,我们那时就告诉你;如果只有放量之后才暴露,就在试采批次里告诉你。这个字段要么从范围中去掉并相应调整价格,要么换成最接近的可靠替代指标——两种处理都需要你确认。
下一步
有具体的数据需求?
告诉我们数据采集需要覆盖哪片地域、包含哪些字段、多久刷新一次。正式开工前,你会先拿到明确方案、样例数据与固定报价。