Cloudflare 为 AI 时代重新思考 CDN 缓存设计：每周 100 亿 AI 机器人请求改变一切

当机器人数量超过你 CDN 上的人类

Cloudflare 报告 AI 机器人流量现在每周超过 100 亿次请求，占所有网络流量的 32%。这种爆发正在迫使 CDN 缓存工作方式发生根本性重新思考。

问题：AI 流量打破缓存假设

传统 CDN 缓存针对人类浏览模式优化。AI 爬虫颠覆了这一逻辑：高唯一 URL 比率、内容多样性、爬取低效（大量 404）、不使用客户端缓存。

缓存二分法

网站运营商面临不可能的选择：为 AI 爬虫还是人类流量调整缓存。当前缓存架构迫使运营商做出选择，因为 AI 和人类流量模式根本不兼容。

Cloudflare 数据洞察

80% 的 AI 机器人流量用于训练数据收集，搜索/检索排第二。Common Crawl 统计显示 90% 以上的抓取页面按内容是唯一的。

提议解决方案

为 AI 和人类流量设置独立缓存池、AI 感知驱逐策略、更好的爬虫合作、按爬取付费货币化。

为何重要

随着 RAG 成为 AI 主导架构，网络成为 AI 训练和推理基础设施。这不是增量变化——需要重新思考互联网基础设施最基本的部分之一。

研究合作

此工作由苏黎世联邦理工学院 Zhang 等人与 Cloudflare 合作，发表于 2025 年 ACM 云计算研讨会。