云选择了赢家;现在他们正在执行
云提供商(尤其是亚马逊)在很短的时间内就积累了超凡的规模。云提供商现在正在使用这种规模来重新设计企业如何与其数据进行交互。他们使用两个主要杠杆来重塑企业数据格局:价格和性能。
让我们依次看一下。
在定价方面,云提供商正在大力鼓励将数据存储在对象存储中,而不是文件或块中。他们的策略已经发布,有目共睹。这是从其网站上提取的Amazon S3的标准价格:

将其与亚马逊的EFS定价进行比较。在这里,他们的幸福算是文件系统的售价为13X售价什么S3 /对象存储。

对于EBS,可以找到相同的价格差异。

在这里,我们看到运行块存储与对象存储相比要高4.6倍。同样,这些都是巨大的成本,并且随着时间的推移会迅速增加。对于100 TB实例(在S3世界中较小,但在区块世界中较大),假设没有其他费用,则每年的差异为11.2万美元。即使您是大型企业,您也需要有充分的理由这样做。
亚马逊的目标是将客户迁移到他们的核心能力(S3),使其具有市场支配力,产品和技术领先地位(S3 API)和规模。巨大的规模。
此模式已在Google和Azure复制。
对于谷歌文件是8X比对象更贵,是座10X比目标更昂贵。
Azure重复了这种趋势,File 6X比Object贵(没有一个好用的Apple与Apple Block比较)。
但是,价格不足以激励企业迁移。性能也必须在那里-确实如此。
鉴于他们的领导作用,我们将再次使用Amazon。Amazon的S3服务在Presto基准测试中非常快,您可以在本文中看到该性能。最终的结果是,对于Spark,Presto和其他分析框架,Amazon的全球服务可以为该问题带来非凡的规模-从而实现卓越的性能。
尽管我们在Presto上的性能更高,但我们并不想摆脱S3,Blob和GCP Object都可以调整或配置为显着缩小甚至消除传统上与File and Block相关的性能差距这一事实。随着性能的下降,价格成为下一个考虑因素-正如我们所看到的,价格甚至还没有接近。
实际上,价格和性能之外还有第三个元素,那就是一系列现代功能。云原生对象存储(不要与设备供应商混淆)是新的,具有现代API,支持现代应用程序,微服务和Docker和Kubernetes等架构。云原生对象存储具有HTTP RESTful API支持,S3 Select和端到端数据完整性和加密。
文件和阻止是传统方法。他们采用了POSIX API,如果进行了现代化,实际上将失去大部分吸引力(兼容性)。实际上,任何POSIX现代化都最终看起来像S3,在添加上述缺少的功能之前,它减少了一组原子的,不变的POSIX文件API。
价格和性能这两个杠杆是云用于重塑数据存储格局的手段。现代化的API和集成元素完善了整个画面。这就是云提供商缓慢而可靠地淘汰传统文件和块提供商的生命的方式。
MapR的灭绝仅仅是个开始。Cloudera可能是下一个。随着文件和数据块的生命线-数据-最终出现在对象存储桶中,未来几年还会有其他问题。