大规模性能:MinIO借助256个NVMe驱动器,每秒可将速度超过1.4 TB

大规模性能:MinIO借助256个NVMe驱动器,每秒可将速度超过1.4 TB

MinIO快速的事实并非秘密。HDDNVMe编号外,我们会定期发布基准测试,并针对HDFS和AWS(Spark + Presto进行比较

我们最近发现了AWS上大型NVMe实例的可用性。比我们实际上见过的更大。我们采购了32个i3en.24xlarge实例,每个实例带有8个NVMe驱动器,总共256个。这比我们用于初始基准测试的8个节点设置大4倍。

MinIO再次选择了wasabi-techS3基准来执行我们的基准测试。该工具从单个客户端到单个端点进行基准测试。在我们的评估过程中,它在多次运行中产生了一致且可重复的结果。

建筑


minio-disaggregated-32node-nvme.png



测量JBOD性能

使用iozone测量O_DIRECT的JBOD性能Iozone是一个文件系统基准测试工具,可生成和测量文件系统的性能以进行读写操作。使用64个并行线程,4MB块大小和O_DIRECT选项的Iozone命令。


image-1 (5).png


在单个节点上,测得的最大JBOD性能为23.98 GB /秒的读取吞吐量和12.939 GB /秒的写入吞吐量。这表示合并所有驱动器的吞吐量。

网络性能

这些节点上的网络硬件最大允许100 Gbit / sec。100 Gbit / sec等于12.5 Gbyte / sec(1 Gbyte = 8 Gbit)。

因此,每个这些节点可以预期的最大吞吐量为12.5 GB /秒。

结果


image (10).png


MinIO仅有32个节点,在总可用带宽为3.2 Tbps的情况下,读取速度183.2 Gigabytes / sec(1.46 Tbps),写入速度为171.3 Gigabytes / sec(1.37 Tbps)。每个节点的读写平均贡献分别为45.8 Gbps和43 Gbps。

在这些测试中,网络几乎完全被阻塞。在此设置中,MinIO共享同一网络用于服务器-客户端和服务器-服务器通信。如果专用网络可用于节点间流量,则吞吐量几乎可以翻倍。

关于该基准(以及我们所有与此基准有关的基准)最好的部分是,只要拥有必要的利息和信用卡,任何人都可以复制该基准。就上下文而言,此基准运行成本约为1000美元。

我们将在“资源->基准”下不久发布完整的文章,但我们认为值得分享。


上一篇 下一篇