博客年度回顾: 2024 年 Top 10
2024 年对 MinIO 来说是重要的一年。我们不仅发布了 AIStor,这是迄今为止最强大的 MinIO 版本,而且还参加了 54 场活动,撰写了 159 篇博客,赢得了 10 多个奖项等等。如果没有我们出色的 MinIO 社区的支持,所有这些都是不可能的。因此,作为对大家的感谢,我们回顾了 2024 年阅读量最高的 10 篇文章。让我们从 #10 开始,一路上升到第一名。
#10 - 在 AI/ML 工作负载中使用小对象
在第 10 位,AJ 研究了存储和检索大量小对象所固有的一些困难,并深入探讨了 MinIO 如何优化这些操作以及我们在 MinIO 客户端和服务器上处理 .tar 和 .zip 文件的新功能。
#9 - 添加池并扩展容量
服务器池可帮助您快速轻松地扩展现有 MinIO 集群的容量。本文着眼于在扩展服务器池之前需要考虑的事项,如何创建初始池,然后如何通过添加新池来扩展它。
#8 - MinIO 的 S3 over RDMA 计划:为高速 AI 数据基础设施设定对象存储新标准
AIStor 的一个关键新功能是我们增加了对 S3 over RDMA 的支持。随着 400GbE 甚至 800GbE NIC 的激增,TCP/IP 等传统协议难以保持效率,由于 CPU 开销和延迟高而造成瓶颈。通过利用 RDMA 的低延迟、高吞吐量功能,MinIO 使客户能够充分利用其超高速以太网投资。
#7 - 有史以来最强大的 MinIO 版本 - AIStor 简介
很高兴看到另一篇 AIStor 帖子出现在我们的列表中。AIStor 代表了我们专注于为 AI/ML 工作负载构建世界上最好的对象存储。它还反映了从 EiB+ 部署中学习的实际内容。在这种规模下,会出现大多数存储供应商永远不会看到的问题,因为他们无法以这种规模运行,因此我们创建了业界功能最齐全的对象存储。
#6 - 前缀与文件夹
为了达到 MinIO 众所周知的性能、可扩展性和功能丰富性水平,对象以独特的方式存储。在本文中,AJ 将带您了解什么是前缀、文件夹和其他几个重要的基础知识,以了解我们如何运行的底层架构。
#5 - 使用标记和策略管理 AI 工作负载
标签是分类和处理存储桶和对象的宝贵工具。按标签筛选比按存储桶或路径筛选更灵活、更具描述性和具体性。创建标签并使用它们进行筛选而不会产生额外的延迟,这证明了 MinIO 集成元数据架构的价值。MinIO 将元数据与数据一起保存,无需查询其他数据库即可使用标签。
#4 - 将 MinIO 与 Keycloak OIDC 集成
Keycloak 是一种单点登录 (SSO) 解决方案,可简化用户身份验证。用户不是直接使用 MinIO 进行身份验证,而是通过 Keycloak 登录。如果没有它,您将需要为每个用户创建和管理单独的身份,随着时间的推移,这可能会变得乏味且难以维护。本文介绍如何设置 MinIO 以使用 Keycloak,并解释如何使用 MinIO 配置 OIDC,以便您可以在 Keycloak 之外使用它。
#3 - 大数据的挑战是小文件
小文件再次出击。它们可能会给存储平台及其支持的应用程序带来大问题。当今的许多工作负载(尤其是流式和日志分析)都对应用程序和存储系统提出了很高的要求,迫使它们处理大量小文件。我们更深入地研究了小文件问题,深入研究其根源并得出解决方案。
#2 - 使用 Kubernetes 部署 MinIO 和 Trino
本教程部署了一个内聚的系统,该系统允许跨存储在 MinIO 中的大型数据集进行分布式 SQL 查询,Trino 利用 Hive Metastore 中的元数据和 Redis 中的表架构。
#1 - 使用 WARP 和 Perf 测试对 AIStor 进行基准测试
最后......您是第一名!WARP 是一款开源、功能齐全的 S3 性能评估软件,用于在 WARP 客户端和 #objectstorage 主机之间进行测试。性能测试是一种易于使用的自动化性能测试,可提供简化的体验和简洁的结果。本文将向您介绍如何使用不同的参数运行这两个操作,以充分利用集群的基准测试。