Exness： 利用 MinIO 管理 PB 级交易数据

在最近与 Exness DBA 团队负责人 Dmitry Alexandrov 的对话中，我们探讨了 MinIO 如何使 Exness 能够处理海量数据并提供闪电般的交易体验。Exness 是在线交易的全球领导者，以其透明度、技术创新和以客户为中心的方法而闻名。其交易平台生成和处理 PB 级数据，需要尖端的基础设施来确保无缝运营。Dmitry 分享了对 Exness 的数据挑战、其使用 MinIO 从云迁移到本地基础设施的决定，以及 MinIO 如何成为其 AI/ML 工作负载、灾难恢复等的核心的见解。

规模和成本节约：唯一的解决方案

当被问及 Exness 面临的存储挑战时，Dmitry 描述了一场数据量爆炸式增长的完美风暴，以及对高吞吐量的需求：

“我们大约在一年前开始创建我们的数据湖项目，从 200TB 开始。现在，我们在 MinIO 的数据湖中有近半 PB 的数据。

Exness 的存储之旅始于云，但随着其基础设施的扩展，其成本也在增加。Dmitry 解释了迁移到本地 MinIO 的基本原理：

“经过计算，我们认为在我们的本地基础设施中托管对象存储和与其连接的所有计算将是一种更具成本效益的解决方案。”

MinIO 的 S3 API 兼容性

Exness 对云的广泛使用意味着他们的工作流程与 S3 API 密切相关。如果不是 MinIO，迁移可能是一场噩梦。“当我们开始这个项目时，我们的主要要求是强大的 S3 兼容性，因为自从我们以前使用 AWS 以来，我们正在利用许多依赖于 S3 API 的现有工具和工作流。只有一个对象存储解决方案在性能和规模方面与 S3 API 具有非常高的兼容性：“MinIO 确实脱颖而出。它不仅满足了我们的要求，还提供了一个开源模型，使我们能够有效地进行定制和按需扩展。

AI 和 ML 工作负载：以 MinIO 为核心

Exness 对 AI 和机器学习的关注不断增长，Dmitry 分享了 MinIO 如何为其 AI/ML 工作流程提供支持：

“MinIO 实际上不仅在我们的数据湖中发挥着核心作用。在我们的几个应用程序中，我们运行了大量由 Airflow 编排的 Spark 作业。这些工作通常需要快速访问对象存储中的数据存储，而 MinIO 以高速和可靠性实现了这一点。

Exness 还使用 DVC 和 MLflow 构建了一个以 MinIO 为核心的机器学习模型注册表：

“我们计划使用基于 DVC 和 MLflow 构建的机器学习模型注册表进行扩展，即使它正在开发中，它也将使用 MinIO。该注册表将用作所有 ML 模型的集中中心，使我们的团队能够轻松无缝地管理和部署它们。

轻松处理极端工作负载

我们与 Dmitry 的对话中，一个突出的时刻是他对 MinIO 处理极端流量高峰的能力的描述：“就在上周，我们的集群流量峰值达到每秒 200 Gb，仅一个用户就每秒产生 170 Gb。尽管流量很大，但所有这些流量都得到了轻松处理。

灾难恢复和复制

数据可靠性在金融领域至关重要，Exness 非常重视灾难恢复。MinIO 的复制功能起着关键作用：“我们将所有数据复制到另一个数据中心。在灾难恢复的情况下，我们可以切换到另一个数据中心，并从那里处理工作负载。

数据湖之外的灵活性

除了为 Exness 的数据湖提供支持的 MinIO 之外，Dmitry 还强调了其在其他用例中的多功能性：“我们还使用 MinIO 作为我们的 GitLab 注册表。我们用它来存储文档。我们也将其用作备份存储。这种灵活性使其在广泛的需求中具有无价的价值。

展望未来：扩展 AI 和数据

Exness 对未来的计划雄心勃勃。Dmitry 分享了他们 MinIO 驱动的基础设施的下一步计划：“我们正在将数据湖容量翻倍，并在 AI/ML 方面进行大量投资。MinIO 仍将是核心，尤其是在我们推出模型注册表和训练更复杂的模型时。我们还通过高级加密和访问控制来增强安全性，以满足最高标准。

Exness 旅程的教训

Exness 的故事为管理大规模数据基础设施的组织提供了宝贵的见解：

1 . 扩展本地：在规模上，使用 MinIO 本地托管计算和存储可提供无与伦比的性能和成本节省。

2 . 优先考虑兼容性： MinIO 与 S3 API 的紧密兼容性确保了在数据堆栈中的无缝集成，从而减少了操作摩擦。

3 . 投资于多功能性：MinIO 能够支持数据湖、AI/ML 工作负载、高级分析以及结构化和非结构化数据的通用存储，这使其成为现代数据基础设施的重要工具。

结束语

Dmitry 在采访结束时回顾了 MinIO 对 Exness 的影响：

“这不仅仅是关于交易数据。它是用于分析和机器学习目的的数据。MinIO 提供了我们所需的性能和可靠性。Exness 的成功展示了 MinIO 如何使组织能够毫不妥协地扩展其基础设施，为 AI、分析等领域的创新铺平道路。