Wayback Machine 是 Internet Archive 运营的网页存档服务,把抓取到的页面按时间戳存成快照,在 web.archive.org 上回放。它免费、免注册,常用于核查死链、找回被改掉的原文、确认某份文档在某个时间点的写法。说白一点,它给公开网页拍带日期的照片,并把照片集中成可检索的公共档案。
三种检索方式:直查、CDX 与关键词
直查是最短路径。在首页输入框粘贴完整 URL(含路径),点 Browse History,就能看到这个地址的时间轴与日历。它按 URL 逐条存档,首页和文章页是两个地址,粘贴时少一层路径,结果会完全不同。
要批量拿数据就换 CDX 接口。访问 CDX 端点会返回该 URL 的抓取索引,一行一次抓取。加上 output=json 时开头一行是字段名,之后才是数据,默认字段固定为 urlkey、timestamp、original、mimetype、statuscode、digest、length 七项。
| 方式 | 入口 | 适合什么 | 主要限制 |
|---|---|---|---|
| URL 直查 | 首页输入框 + Browse History | 看某一页在某天的样子 | 一次一页,靠肉眼翻日历 |
| CDX 接口 | /cdx/search/cdx | 统计抓取频次、筛状态码、批量核查 | 单次返回有行数上限,解析要自己写 |
| 关键词检索 | 首页关键词,可配 site: 语法 | 不知道网址时按主题找站点 | 只索引站点主页,搜不到正文 |
查询范围由 matchType 控制:exact 只匹配这一个地址,prefix 带上下级路径,host 覆盖同一主机,domain 连子域名一起算。想按目录整片拉取,用 prefix 比逐个地址查省事得多。
关键词检索最容易被误用。它索引的是站点主页的描述与指向主页的链接文本,官方帮助页面写明暂时不支持检索页面里的文字。想找「某篇旧文章里的某句话」基本无解,得先定位域名,再用 CDX 把候选 URL 缩到几条。
快照怎么挑:时间轴、日历与颜色
时间轴按年份显示抓取密度,日历里每天一个圆点,颜色对应抓取时服务器返回的状态码。蓝色是 2xx 正常,绿色是 3xx 跳转,橙色是 4xx 客户端错误,红色是 5xx 服务端错误。多数情况下应优先点蓝色。
同一天有多次抓取时,点击圆点会弹出时刻列表,选接近目标时间的那个。抓取完成后并不会立刻能搜到,官方帮助给出的滞后是 3 到 10 小时,刚提交完查不到属于正常现象。
回放页顶部的工具条可以前后翻快照,点页面里的链接会尽量跳到同一时期的存档版本。缺图、灰块通常意味着当时没抓到图片资源,而不是存档文件损坏。想直接跳到某天附近,可以在地址里写 /web/20240101/ 再接目标 URL,引擎会给出最接近的一次抓取。
Save Page Now:能存什么,排队与复用规则
入口是 web.archive.org/save,粘贴 URL 点保存即可,不登录也能用。官方说明它只保存提交的那一页,不会把 URL 加进后续抓取计划,也不会顺手存整个目录或整站。
- 重复提交会被复用:一般规则是同一 URL 30 分钟内不重复抓取,短时间再提交往往直接返回已有快照。
- 二级资源(站点图标、字体、CSS、JS)抓取频率更低,大致 4 小时一轮。
- 同一主机的并发抓取超过 50 个时会延迟后续请求,避免把对方服务器压垮。
- 单次抓取的外链上限从 80 提到 100,只有勾选抓取外链时才会连带保存。
- 登录账号可把快照归到自己的 My Web Archive,并申请 S3 形式的密钥提高配额,具体数字以官方 SPN2 文档为准。
存档的局限:它没存什么
机器人抓不到的东西不会被存。robots.txt 禁止、需要登录、表单提交后才生成的页面、纯前端渲染的内容,都可能只留下骨架。脚本生成的链接尤其容易丢,因为存档时脚本常常连不上原服务器。
覆盖是抽样而不是全量。热门站点一天被抓好几次,冷门站点可能几年只有一页。抓取记录里没有,不等于那段时间页面不存在,只能说明没被爬到。PDF 与图片能不能留下来,取决于当时服务器是否允许抓取;视频、评论区、表单提交后的结果基本留不下。
还有一层是网络可达性。2026 年 11 月 10 日在本机用 curl 直连 web.archive.org 与 archive.org,20 秒均无响应,同一时刻 example.com 正常返回 200。这说明能否打开取决于出口线路,换个网络环境再试,不要据此认为站点已下线。
死链核查与旧版文档取证怎么做
核查一条外链是否真的死了,顺序建议固定下来:先直连确认返回码,再查存档有没有正常版本,最后决定替换成存档地址还是直接删链。多节点探测可以先用 check-host.net 那套办法排除本地网络问题。
- 直连目标 URL,记下状态码与跳转终点;想看跳转链和页面截图,可以先用 urlscan.io 扫一遍。
- 用 CDX 查这个 URL,加 filter=statuscode:200 与 limit=5,有结果说明历史上存在过正常版本。
- 加 collapse=digest 按内容哈希去重,剩下的行数约等于真正变过的版本数,比按时间数更能说明改动频率。
- 取回 timestamp 后按「/web/ 加时间戳 加原始 URL」的顺序拼出回放地址;需要不带工具条的原始存档,在时间戳后加 id_。
- 引用时把抓取日期写进正文,别只贴一个链接。
查整片文档目录用 prefix 更省事。matchType=prefix 配 from=20230101&to=20231231,再用 fl=timestamp,original,statuscode 只取三列,输出干净,可以直接粘进表格。
两个容易踩的坑:CDX 返回的状态码是字符串 "200" 而不是数字,脚本里要显式转换;查询过密会收到 429,控制在每秒几次并缓存结果,比反复重试划算。负 limit 可以取末尾几条,但实现是从头读再跳过,数据量大时明显变慢,不适合日常查询。字段说明见 CDX 服务端文档。
删除请求与适用人群
站点所有者可以申请排除。按排除请求说明,需要发邮件到 info@archive.org,写清具体 URL、希望排除的时间范围、以及你对该站点或账号有控制权的时段;团队会复核,但不预先承诺结果。放 robots.txt 能阻止后续抓取,对已经存下的快照不起作用。
适合谁用:做外链维护的人、核对政策或条款原文改动的研究者、写技术文档要引用旧版手册的人。只是偶尔看看「这个站以前长什么样」,archive.today 更省事,它按需截图,能存渲染后的样子,但没有 CDX 这种可编程索引。
反过来,要做批量核查、频次统计、把存档接进自动化流程,CDX 是绕不开的那条路。免费、免登录、无需申请密钥,代价是自行处理限流与字段解析;零散的小工具需求,用 IT-Tools 这类免登录工具集更对口。
相关地址
以下为本篇提到的官方入口,配额、字段与接口变更以这些页面为准。
- Wayback Machine 主站:https://web.archive.org/
- Save Page Now 保存入口:https://web.archive.org/save/
- CDX 接口示例:https://web.archive.org/cdx/search/cdx?url=example.com&output=json
- 官方使用帮助(检索、颜色、延迟、局限):https://help.archive.org/help/using-the-wayback-machine/
- 官方删除与排除请求说明:https://help.archive.org/help/how-do-i-request-to-remove-something-from-archive-org/
- CDX 服务端参数文档:https://github.com/internetarchive/wayback/tree/master/wayback-cdx-server
- 关键词检索(Site Search)上线说明:https://blog.archive.org/2016/10/24/beta-wayback-machine-now-with-site-search/
© 版权声明
文章版权归作者所有,转载需注明出处。未声明原创的皆为网络收集,如有侵权请邮箱lishiwenhuagx@sina.com联系下架处理。




