Turbolite：Rust实现的SQLite VFS，S3冷查询亚秒级响应

Turbolite：SQLite直接从S3读取，冷查询不到一秒

一位开发者构建了Turbolite——一个用Rust编写的实验性SQLite虚拟文件系统（VFS），可直接从Amazon S3为冷查询提供服务，延迟低于一秒，通常更快——无需本地数据库副本。

工作原理

Turbolite不是从原始SQLite文件逐页读取，而是：

1. 内省SQLite B树，理解数据结构
2. 将相关页面以压缩页面组形式存储在S3
3. 维护manifest作为页面位置的真实来源
4. 缓存未命中时使用可寻址zstd帧和S3范围GET
5. 基于查询计划策略性预取

设计哲学

灵感来自Turbopuffer的S3原生方法。核心洞察：S3鼓励更少请求、更大传输、不可变对象——与传统文件系统假设相反。Turbolite顺应S3特性而非对抗。

目标场景

针对拥有大量主要冷SQLite数据库的架构：

• 每租户数据库SaaS应用
• 基于会话的数据库
• 用户专属数据库

这些场景下为每个非活动数据库保持独立存储卷显得浪费。

性能优化

• 页面按类型分组，支持高效并行访问
• 可调预取：点查询保守，扫描激进
• 查询计划感知：将存储操作下推到VFS预判下载
• 压缩页面组减少传输量

项目状态

明确标注为实验性，作者警告"可能损坏数据"。但这是对对象存储是否已足够快以支持云存储嵌入式数据库的有意义探索。

意义

如果可靠，这种方法可能根本改变开发者在无服务器和边缘计算环境中思考数据库架构的方式。