The Architect’s Notebook · 2026-01-29

亚马逊S3如何通过纠删码节省数十亿存储成本

摘要

文章揭示了亚马逊S3实现11个9数据持久性的核心技术：纠删码。传统复制方案需要3倍存储空间，而纠删码仅需1.5倍即可提供同等保护，允许近半数硬盘故障而不丢失任何数据。这项技术源自深空通信和CD-ROM，通过将数据分片并添加校验分片分布存储，在大幅降低存储成本的同时保证了极致可靠性。

内容框架与概述

文章开篇提出了一个悖论：亚马逊S3承诺99.999999999%的数据持久性，这意味着存储一万个对象每一千万年才可能丢失一个。然而硬件故障时有发生，传统的三副本复制方案虽然简单可靠，但需要200%的存储开销，对于存储EB级数据的AWS来说是财务灾难。

解决方案是纠删码技术。文章对比了传统复制和纠删码两种方案：复制方式将完整数据克隆到多台服务器，简单快速但极其昂贵；纠删码则将数据拆分成数据分片，通过数学计算生成校验分片，分布存储在不同服务器上。即使损失33%的服务器，数据仍然可以完整恢复，而存储开销仅为50%。

文章还提到纠删码主要应用于S3 Standard-IA和S3 One Zone-IA等存储类别，这些场景更注重成本效益。尽管完整的Reed-Solomon算法实现细节、分片分布策略和数据重建过程等内容需要订阅才能阅读，但文章已经清晰地展示了这项技术如何帮助亚马逊在保证数据安全的前提下实现巨大的成本节约。