用于密集机架优化存储的 Supermicro GrandTwin™ SuperServers 和 MinIO

我们最近有机会在以四服务器配置部署的新Supermicro GrandTwin™ SuperServer SYS-211GT-HNTR 2U 服务器机箱上对 MinIO 进行性能测试，这意味着每个机箱拥有四个服务器节点。每个服务器或节点可容纳一个第 4 代英特尔至强处理器、高达 4TB 的 RAM 和多达 6 个热插拔 NVMe/SATA 驱动器。我们使用 Intel Xeon CPU、512GB DDR5 RAM、2 个 100GbE NIC 和六个 Kioxia CD6-R 7.68TB NVMe 驱动器进行了测试。这些是我们评估过的第一批依赖英特尔 Sapphire Rapids芯片组的服务器。这个密集的机架优化服务器平台的整体性能给我们留下了深刻的印象，我们将继续发布该集群上 MinIO 性能的结果和分析。

今天，我们将深入研究该集群上的小文件性能。小文件性能很重要，因为数据库供应商越来越多地从 SAN 块存储转向对象存储。对象存储用例正在扩展，超出传统的大文件用例，例如归档和备份。对象存储能够处理 petascale 数据库表，这些表存储为较小的表段或范围，并且需要 ACID 属性。出于这个原因，今天的对象存储必须是通用的，以支持使用小于 1 MB 的文件的工作负载。小对象给存储系统带来了性能挑战，特别是在并发性和元数据管理领域。有关小文件的更多信息，请参阅小对象及其对存储系统的影响。

海量的小文件（几十PB）从何而来，有何用途？新的 AI 驱动的应用程序使用大量小数据文件进行训练，用于推理、再训练和模型开发的其他方面。分析是另一个建立在小文件数据湖之上的用例。IoT 应用程序利用来自各种设备和传感器的读数，这些读数通常以非常小的流消息形式出现。最后一个例子是日志文件分析，它已经从大文件的批处理和分析转变为实时分析单个事件。

MinIO 充分利用服务器硬件的能力。结果是，正如我们的测试一次又一次地验证的那样，MinIO 部署通常会受到网络的瓶颈。在此测试中，即使我们有单独的 100GbE 网络用于外部访问 MinIO 和节点间通信，我们仍然受到 100GbE 网络的瓶颈。出于这个原因，我们建议您依赖 100GbE 作为最低配置，如果不是 200GbE 甚至 400GbE 才能真正实现 MinIO 与众不同的性能和规模组合。我们目前正在计划对 400GbE 网络上的 MinIO 部署进行测试，并非常期待在未来的博文中与您分享结果。  

传统上，对象存储基准以吞吐量表示。吞吐量过去和现在都被认为是衡量对象存储性能的最佳指标，因为它衡量的是系统读取和写入大量非结构化数据的能力。然而，随着对象存储技术的发展，用例和报告的指标也在不断发展。MinIO 处理现代对象存储工作负载（许多高并发的小文件）与处理传统的高吞吐量用例（如备份和归档）一样轻松。

在小文件的世界中，每秒对象数是比吞吐量更适用的性能衡量标准。原因是它衡量系统同时读取和写入许多文件的能力——从而为大数据分析用例提供更好的性能近似值。

小文件基准

当我们运行小文件基准测试时，密集机架优化的 Supermicro GrandTwin™ SuperServer 确实有别于其他商品硬件。我们的测试集群提供了一流的性能，这就是为什么我们的客户喜欢在他们的数据中心、托管设施和边缘的 Supermicro 硬件上运行 MinIO 以支持分析、AI/ML 等资源密集型工作负载。

我们运行了WARP S3 基准测试来测量 MinIO 在 Supermicro Cloud DC 集群上的 READ/GET 和 WRITE/PUT 性能。WARP 是由 MinIO 开发和维护的开源对象存储性能基准工具。我们使用 4、16、64、128 和 1024KiB 对象大小运行 WARP，以测量 READ/GET 和 WRITE/PUT 性能，以吞吐量和对象/秒来衡量。

让我们深入研究这些结果。小对象不会像大对象那样使网络饱和。小对象用例的性能是关于执行大量并发操作的能力，而不是关于单位时间内推送的数据总量。许多对象存储解决方案无法实现这种程度的小对象性能，因为它们受到对元数据数据库的依赖的限制，而这正是 MinIO 将对象与元数据内联存储的能力真正使其与众不同的地方。请参阅大数据中的挑战是小文件，详细解释如何构建 MinIO 来处理小型和大型对象。

由于我们通常会展示吞吐量结果，因此我们运行了Performance Test，这是一个自动化测试套件，可免费提供给获得许可的 MinIO 客户，结果简直太棒了——集群的 105.39 GiB/s GET 和 80.84 GiB/s PUT。很难以这种密度击败这种性能，12 个节点的 6u 和 72 个驱动器几乎适合任何数据中心。

我们的小文件性能测试结果总结如下：      

密集而强大

性能是几乎每个对象存储实现的关键要求。多年来，我们多次证明MinIO 是地球上最快的对象存储。MinIO 充分利用了可用的底层硬件，擅长最大化大对象的吞吐量和最大化小对象的对象/秒数。  

MinIO 主导性能，成为流分析、AI/ML 和数据湖分析中要求最苛刻的用例的最佳选择。在小文件性能方面，无人能及。但我们并不止于此，除了更好的性能之外，MinIO 还为小文件提供了更好的开发人员体验，使他们能够处理 ZIP 文件中的单个文件。这也提高了性能，因为服务于单个大 ZIP 比服务于多个小文件更快，尤其是当它们单独传输时。

Supermicro GrandTwin™ SuperServer 是一款坚固、设计精良的 NVMe 级硬件，我们推荐用于 MinIO 工作负载。这是一个密集的机架优化平台，在本地数据中心、托管设施和边缘等机架密集环境中大放异彩。此类硬件非常适合构建您自己的小型私有云或多租户对象存储即服务。  

如果您想详细讨论这个小文件基准测试的结果或询问有关基准测试您的环境的问题，请加入我们的 slack