大规模性能:MinIO借助256个NVMe驱动器,每秒可将速度超过1.4 TB
MinIO快速的事实并非秘密。除HDD和NVMe编号外,我们会定期发布基准测试,并针对HDFS和AWS(Spark + Presto)进行比较。
我们最近发现了AWS上大型NVMe实例的可用性。比我们实际上见过的更大。我们采购了32个i3en.24xlarge实例,每个实例带有8个NVMe驱动器,总共256个。这比我们用于初始基准测试的8个节点设置大4倍。
MinIO再次选择了wasabi-tech的S3基准来执行我们的基准测试。该工具从单个客户端到单个端点进行基准测试。在我们的评估过程中,它在多次运行中产生了一致且可重复的结果。
建筑

测量JBOD性能
使用iozone测量O_DIRECT的JBOD性能。Iozone是一个文件系统基准测试工具,可生成和测量文件系统的性能以进行读写操作。使用64个并行线程,4MB块大小和O_DIRECT选项的Iozone命令。

在单个节点上,测得的最大JBOD性能为23.98 GB /秒的读取吞吐量和12.939 GB /秒的写入吞吐量。这表示合并所有驱动器的吞吐量。
网络性能
这些节点上的网络硬件最大允许100 Gbit / sec。100 Gbit / sec等于12.5 Gbyte / sec(1 Gbyte = 8 Gbit)。
因此,每个这些节点可以预期的最大吞吐量为12.5 GB /秒。
结果

MinIO仅有32个节点,在总可用带宽为3.2 Tbps的情况下,读取速度为183.2 Gigabytes / sec(1.46 Tbps),写入速度为171.3 Gigabytes / sec(1.37 Tbps)。每个节点的读写平均贡献分别为45.8 Gbps和43 Gbps。
在这些测试中,网络几乎完全被阻塞。在此设置中,MinIO共享同一网络用于服务器-客户端和服务器-服务器通信。如果专用网络可用于节点间流量,则吞吐量几乎可以翻倍。
关于该基准(以及我们所有与此基准有关的基准)最好的部分是,只要拥有必要的利息和信用卡,任何人都可以复制该基准。就上下文而言,此基准运行成本约为1000美元。
我们将在“资源->基准”下不久发布完整的文章,但我们认为值得分享。