Here Comes The Flood

1994年，EMC的Symmetrix以其企业存储系统的最大容量1TB（TeraByte）创下了行业标杆。NetApp在2016年推出了FAS9000，该FAS9000在24节点群集配置中可容纳约172PB（PetaByte）原始数据。22年后增加了172,000倍，同时显着提高了性能并添加了许多出色的功能，这无疑给人留下了深刻的印象。但是不幸的是，这还远远不够。这种英勇的收获仅足以将公司的IT数据中心推向目标线，并进入了Peta-Scale时代……晚了十年。

同时，在AWS，Azure，Google，IBM Cloud，Apple，Facebook和The Cloud的其他地方，所有这些公司都诞生了，立即面临着令人难以置信的数据爆炸挑战。如今，全球网络缩放器以ExaBytes（EB）（数千PetaBytes ）为单位来测量数据 。在平行宇宙不断膨胀的泡沫中，一直是Exa-Scale时代。通过在遍布多个故障域和地理位置的众多数据中心之间分配无数个存储设备，The Cloud的存储架构师似乎正在应对。但是，即使即将来临的前所未有的指数级数据增长海啸也可能使他们的最佳策略不知所措。

请考虑以下预测（摘自Seagate赞助的IDC研究，该研究于2017年4月发布，“ Data Age 2025 ”），显示了预计每年创建的数据量。

请记住，单个ZB（ZettaByte）是MILLION PetaBytes。IDC的预测是，如果您长期专注于此，则将在2025年创建163 ZB（1.63亿PB）。但实际上，他们的推断可能很少。2025年进入Yotta-Scale时代将考验每个参与者的毅力。目前，在2018年，应对Zetta-Scale时代日益增长的需求已经超出了大多数参与者的承受能力。

从2020年的40ZB到2025年的163ZB在五年的时间里仅增长了4倍，在此期间，我们可以放心地期待数字摄影和视频分辨率的不断提高，物联网应用程序和设备的大量涌现，产生越来越丰富的数据，并且全球越来越多的人掌握了技术。所有这些都将在机器人，AI和其他非人类控制源不知疲倦地24x7生成数据的时候发生。如果2020年的40ZB处于正确的位置，那么2025年所需的实际存储总量很容易会远远超过163ZB的估计值。考虑到即使是163ZB都难以容纳，这是一个令人沮丧的前景。

虽然这些新的ZB年代了大块将在视频流备份到云端了智能手机和其它个人设备（加推文，Facebook的帖子，广告，信息和其他蜉蝣不计其数），多形式-可以说是最 -的商业活动将产生大量涌入世界的新数据。物联网通常是公司所拥有和运营的元凶。传感器和执行器越来越多地感染与工业物联网，互联汽车，智能交通和智能城市各个方面相关的所有设备，操作员，耗材和环境。

所有这些物联网设备产生的数据都具有巨大的商业价值，不仅需要被捕获，而且还必须可供分析使用，并且在许多情况下也将用于机器学习。仅将其全部存档是不够的。需要以惊人的数据速率摄取大量数据，并且还将在对性能有重要要求的多种情况下进行访问。

如此庞大的数据无法经济地存储在公共云存储库中。想象一下，AWS S3账单上的每月经常性费用与存储1个ZB（ 一百万PetaBytes）有关！另外，与随后下载该数据的任何重要部分进行分析或在The Cloud之外进行其他使用相关的网络费用也很高。企业客户仅需实施自己的基础架构来控制费用。总的来说，全球企业IT社区正在着手Zetta-Scale时代，以寻找自己的解决方案。

回顾Peta-Scale时代，花点时间考虑一下传统的企业级NAS和SAN存储基础架构系统，从1TB扩展到172-PB需要22年的时间。以同样的速度，可能还要花22年才能进入Zetta规模时代 ，即172,000x 172PB = 29.5 ZB。但是世界迫不及待要再等22年。显然，我们至少需要用其他方法来增强该进化过程。

The Cloud中存储的大多数数据都是对象存储的形式，与之关联的AWS S3-API是一种出色的协议，可用于跨WAN和LAN的分布式应用程序部署。在Exa-Scale时代，它的可扩展性非常好，甚至在企业IT领域中也得到了有效部署。但是如上所述，在Zetta-Scale时代，摄取和处理数百万个PetaBytes将需要更高的性能水平与我们以前在企业数据中心中通常看到的相比，更分散的部署方法相结合。由于与Web寡头关系不大的原因，与各种数据格式和旧版企业平台的集成对于企业客户也很重要。

好消息是，MinIO的对象服务器设计解决了所有这些问题：S3-API，完全分布式（包括擦除编码以及位腐烂检测和自动修复），多PetaByte规模而又不失优异性能，以及多种选择与传统企业平台的简单集成。

只是在时间的Zetta尺度的时代！