Dropbox工程博客：如何在EB级不可变Blob存储系统中提升存储效率

Dropbox工程博客：如何在EB级不可变Blob存储系统中提升存储效率

Dropbox发布了详细的工程博客，介绍如何在Magic Pocket中提升存储效率——这是他们自建的EB级不可变Blob存储系统，保存所有用户内容。

挑战

Magic Pocket存储数万亿个Blob，每天处理数百万次删除。作为不可变Blob存储，数据一旦写入就永远不会被修改——更新和删除会写入新数据，旧数据直到被回收才会消失。去年，数据放置方式的更改虽然减少了写入放大，却带来了一个意外副作用：碎片化加剧导致存储开销上升。

关键技术概念

• 不可变架构：Blob一旦写入永远不被修改
• 垃圾回收：识别未被引用的Blob但不释放空间
• 压缩：从旧卷中收集活跃Blob，写入新卷，退役旧卷
• 纠删码：将数据分割为带奇偶校验的片段，存储开销远低于副本复制
• 碎片化问题：如果一个卷只有10%是活跃数据，存储效率仅为所需的1/10

为什么重要

这是对真正大规模存储基础设施运营挑战的难得详细剖析。不可变Blob存储架构被许多大规模系统采用，其独特的压缩和碎片化挑战在文献中鲜有讨论。

来源： dropbox.tech — via HN