公开数据与免费 API 清单:四类入口与选型标准

资源合集11小时前发布 一方
0 00

找数据时遇到的卡点通常不是没有数据,而是不知道先去哪:翻了一堆清单,点进去发现条目早已失效;或者拿到了接口,却卡在授权条款上。这篇把公开数据与免费 API 的入口分成四类,说明每类适合什么场景,以及判断一个入口能不能长期使用的标准。

公开数据与免费 API 的四类入口

清单型文章容易写成站点罗列,读完还是不知道从哪一步开始。按“谁在维护、怎么取数”来分,入口可以归成四类,选型就会清楚很多。

  • 目录型:社区维护的清单仓库,把散落的服务收进一张表,靠人工校对保持可用。
  • 门户型:政府与国际组织的开放数据站点,按主题发布数据集与说明文档。
  • 接口型:以 API 为主,能把指标直接写进脚本、报表或看板。
  • 检索型:跨站点的数据集搜索引擎,适合还不确定要去哪找的时候。

四类入口省下的是不同环节的时间。目录型省掉筛选,门户型省掉来源核实,接口型省掉手工整理,检索型省掉盲猜。它们之间不是替代关系,混用往往更省事。

我判断一个入口值不值得长期用,看四点:授权是否写明、能否批量取数、元数据是否完整、维护方是否还在更新。四项里有一项说不清,就只适合临时查一次。

授权条款值得单独说一句。CC0 或公有领域标记的数据可以直接商用;CC BY 要求署名;ODbL 这类数据库许可还会要求衍生库同样开放。同一个站点里,不同数据集的授权并不一致,逐条看比看站点声明可靠。

目录型入口:别人替你筛过的清单仓库

public-apis 是一份社区维护的免费 API 清单,仓库采用 MIT 许可,2016 年 3 月建立,截至 2026 年 11 月 1 日仍有提交。清单按领域分节,每条记录除了一句说明,还标注是否需要密钥、是否支持 HTTPS 与跨域。

public-apis 仓库首页,按领域分节列出免费 API 条目
截图来源:github.com(2026-11-03)

它的价值在归类方式而不是条目完备。仓库 star 数接近 49.6 万,多数人把它当搜索入口用:先按领域缩小范围,再去服务自己的文档确认参数和限额。

读条目时先看三列:是否需要密钥决定能否直接跑通,HTTPS 决定能不能放进浏览器页面,跨域决定前端能不能直连。三列都过得去,再去看限额与商用条款,能少走不少弯路。

free-for-dev 收的是 SaaS、PaaS、IaaS 的免费额度,2015 年 3 月建立,star 数约 14.2 万。仓库关闭了 issue,条目改动只走 Pull Request,分类从云厂商、对象存储一路排到邮件与监控。

要留意两件事。仓库本身没有声明开源许可证,条目里的额度数字也会随服务商调整;把它当成待核实的线索,最终以定价页为准。同类清单的组织方式可以参考站内的电子书与漫画书库工具清单,那份是按部署方式分类的。

门户型入口:政府与国际组织的开放数据平台

美国联邦的 data.gov 是目录而不是仓库:站点基于开源 CKAN 构建,只保存元数据,文件仍放在各发布机构的服务器上。查询接口沿用 CKAN 的形式,package_search 用于检索,package_show 用于取单个数据集。

欧盟的 data.europa.eu 用 DCAT-AP 描述元数据,提供检索接口和 SPARQL 端点,数据集可以按多种格式导出。数据集页面还带元数据质量评分,能看出描述是否够用。

国内的入口可以先看国家统计局的数据发布库,按主题、地区、时间组合查询,结果能导出成表格文件。跨年比较前先读指标解释,口径调整过的那几年不能直接接上。

下载格式也要提前确认。统计类门户常同时给 CSV、JSON 与 Excel,地理数据则多是 GeoJSON 或 Shapefile。拿到文件后先看字段说明,否则合并两张表时很容易撞上单位不一致。

门户型入口的短板是更新节奏不一。同样标着“年度数据”,有的隔月更新,有的要等年鉴发布。看页面上的更新日期,比看站点规模更有用。素材类站点同样涉及授权边界,站内写过NASA 图库的检索与授权,思路可以互相参照。

接口型入口:能写进脚本的指标数据

世界银行的 Indicators API 把国家和指标放进路径,把年份与返回格式放进参数。官方文档给了两种拼法:一种直接写路径,一种把条件拆成查询参数,返回 JSON 或 XML。

好处是不用注册就能取数,适合当脚本里的默认数据源。代价是指标要自己查代码,NY.GDP.MKTP.CD 这样的缩写不会告诉你它统计的到底是什么。

取数的顺序建议是:先用手工请求确认返回结构,再写成脚本,并补上重试、超时和本地缓存。接口不承诺可用性,定时任务失败时要有兜底的文件版本。

Our World in Data 更适合做长期对比:图表、文章与数据放在 CC BY 下授权,工具代码用 MIT。每张图表页都能直接下载 CSV 与 metadata JSON,页面底部还附了代码示例。

要注意它的数据多是二次整理。页面会标出原始提供方,引用时应当同时标注原机构,第三方数据仍受原许可约束。做跨国对比时,先确认两边的统计口径是否同一套。

检索型入口:不确定要什么时先搜

Google Dataset Search 不做托管,只索引各站点的数据集描述,点进去仍回到发布方页面下载。适合只知道关键词、不知道去哪个站点的场景。

Hugging Face Datasets 页面按任务、语言、许可证筛选,适合机器学习用途。页面上能看到数据集规模与字段,下载前先确认许可证是否允许商用。

这两个入口的结果新旧不一。搜到条目后先看发布方是否还在维护,再看有没有写更新频率;两条都空着的,只当参考资料。

中文内容的覆盖不算充分。关键词换成英文往往能多出一批结果,把国内机构的英文名一起试一遍,命中率会高一些。

还有一种情况容易被忽略:同一份数据在不同站点有不同版本。遇到字段名对不上,先回到发布方页面看数据字典,再决定用哪一份。

对照表、上手顺序与三个常见问题

入口类型代表站点适合什么先核对什么
目录型public-apis、free-for-dev快速找某类服务条目是否标了额度与许可
门户型data.gov、data.europa.eu、国家统计局数据发布库政策、统计、地理数据元数据与更新日期
接口型世界银行 Indicators API、Our World in Data写脚本、做长期监测指标代码与授权范围
检索型Google Dataset Search、Hugging Face Datasets只知道关键词发布方与许可证

上手顺序可以按用途排。临时找一个接口做原型,从目录型开始;要做长期统计,接口型更稳;给团队做资料库,先定门户型,再把下载日期和版本固定下来。

判断某个站点值不值得收藏,可以走三步:用关键词搜一次看返回结构,下载一份小样本看字段,再翻到页面底部找授权与更新日期。三步走不通的,先记下链接,别急着写进流程。

四类入口可以混着用:用目录型找到候选,用门户型核对口径,用接口型定时拉数,用检索型补缺口。数据落地之后的事也别漏,批量下载的文件要能复现,文件名里带上获取日期,本地存放与备份可以照站内自建备份工具清单的思路来做。

清单里的条目失效了怎么办?

先看仓库的最近提交时间,再去服务页面确认一遍。长期要用的入口,本地存一份条目快照,换机器时能省下重复筛选。

免费 API 能直接用在生产环境吗?

不建议把免费额度放在关键路径上。先看限流、授权范围与是否允许商用,再准备付费或自建的替代方案,切换成本要提前算。

同一份数据,门户型与接口型怎么选?

要一次性拿全量文件,走门户型;要定时拉少数指标,走接口型。两边都提供时,用接口型对齐口径,用门户型核对字段说明。

© 版权声明

相关文章