纠删码计算器
参考硬件
MinIO-无旋钮可旋转，无按钮可按
“我需要的越少，感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大，您将记住一个名为qmail的项目。由于其极简的设计（qmail安全保证），没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义
阅读更多...
将MinIO云存储部署到Mesosphere DC / OS
容器编排正逐渐成为部署应用程序的默认方法。开发人员正在从头开始构建其现代应用程序，以在容器中运行，从而实现更快的部署和更高的弹性。甚至传统的应用程序也以各种方式采用容器，以获取这些优势。在准备好应用程序容器的众多特性中，它的方式
阅读更多...Golang内部构件第1部分：自动生成的函数（以及如何摆脱它们）
也许如果您像MinIO的我们一样，现在时不时地遇到Golang调用堆栈中的“自动生成”函数，并想知道它们的全部含义是什么？前一天我们遇到了一个案例，其中调用堆栈显示如下内容
阅读更多...MinIO，云存储的ZFS
ZFS以将物理存储设备的边界汇集在一起来抽象化物理存储设备的边界而闻名。ZFS完全消除了手动处理物理存储的需要，也无需担心它们的单个容量。ZFS也是检测数据损坏并在有数据冗余的情况下进行恢复的能力的先驱。但是，正如我们已经讨论的那样，传统文件系统无法
阅读更多...为什么要为免费软件付费？
通过引入在线订阅我们的软件的能力，我们显然提出了一个问题：“我为什么要为免费软件付费？” 有两个条件和三个原因：购买免费软件的条件：MinIO是组织（例如生产）的主要存储系统MinIO中存储的数据是关键部分
阅读更多...MinIO的定价方法之美
MinIO的定价非常简单。您无需复杂的电子表格即可估算每月帐单。我们提供三个计划。您无需支付任何费用的开放源代码/社区计划。标准计划（$ 10 TB /月，最小容量为25 TB）和企业计划（$ 20 TB /月，最小容量为100 TB）
阅读更多...MinIO订阅网络中有什么？
一旦我们说服了您为什么应该为免费软件付费，下一个问题就会变成：“我从订阅中获得的价值是什么？” MinIO订阅网络不是一回事-而是技术，人才和许可的集合，这些创造了独特的价值主张-不会
阅读更多...为什么我们的客户购买
MinIO订阅网络是唯一的。它结合了商业许可证和直接对工程的支持，还提供了访问紧急按钮，体系结构和安全性审查以及许多其他功能和技术的功能，以确保我们的客户永远不会丢失数据或遭受安全破坏。我们最近要求我们的客户群参加快速调查，
阅读更多...子网健康介绍
SUBNET是MinIO的商业引擎。从初创公司到全球最有价值的技术公司，MinIO的生产实例都是如何被消耗的。SUBNET将商业许可证（对于AGPLv3义务很重要）与独特的支持模型结合在一起，该模型通过MinIO内置的门户提供24/7/365直接对工程师的支持，该门户融合了Slack
阅读更多...作为 MinIO SUBNET 软件的可支持性
MinIO 利用工程重点和极简主义思维来添加可支持性功能，这意味着在问题成为您的安装问题之前发现并修复它们。
阅读更多...应急按钮之美
紧急按钮是 SUBNET 的一个非常有用的组件。了解它是如何工作的，会发生什么，以及为什么人们如此喜欢它（即使他们不喜欢按下它之前的内容）。
阅读更多...了解 MinIO 订阅网络 - 直接与工程师互动
MinIO 订阅网络（简称 SUBNET）附带商业订阅，让您高枕无忧 - 从双重许可模式（AGPL 和商业）到直接面向工程的支持模式
阅读更多...子网健康检查和性能
这篇文章重点介绍了与这种独特模型相关的一些特性，并且是详细介绍商业关系所带来的特性和功能的系列文章中的第二篇。
阅读更多...子网回拨诊断
如果您有一个个人健康监测器可以随时监控您的健康状况，而无需您付出任何努力，会怎样？想象一个每天跟踪您的健康状况的系统，即使是最轻微的问题也会突出显示，这样您就可以在小问题变成大问题之前寻求帮助。
阅读更多...子网安全特性和服务
MinIO 被许可人可以访问 SUBNET 安全功能，例如长期支持和政策审查。
阅读更多...Erasure Coding(纠删码)对 MinIO 中 CPU 利用率的影响和性能评估
纠删码是 MinIO 的核心功能。它是为分布式设置提供高可用性的基石之一。简而言之，写入MinIO的对象被分割成多个数据分片（M）。
阅读更多...使用 Kafka Schema Registry 和 MinIO 充分利用流媒体
admin
on
Kubernetes
on
Kubernetes
由流数据提供的现代数据湖/湖屋是许多寻求控制数据并将其应用于解决业务问题的企业关注的焦点。数据驱动的业务需要对自己的昨天和今天有敏锐的了解，才能在明天蓬勃发展。云原生事件流的最先进技术是带有对象存储端点（例如 MinIO）的 Apache Kafka。
阅读更多...使用 Kafka 和 MinIO 进行 Spark 结构化流处理
Apache Kafka 是领先的开源分布式事件流平台，用于构建数据管道、流分析、数据集成和应用程序。企业喜爱Kafka是因为它的高可用性、高吞吐量和可扩展性。他们还喜欢使用 Apache Spark 来处理数据和构建分析，因为它快速、分布式且具有容错能力
阅读更多...使用 MinIO 和 Kubeflow v2.0 构建 ML 训练管道
admin
on
Kubernetes
on
Kubernetes
Kubeflow Pipelines (KFP) 是 Kubeflow 最受欢迎的功能。 Python 工程师可以使用 KFP 装饰器将用普通旧 Python 编写的函数转换为在 Kubernetes 中运行的组件。
阅读更多...以对象存储为中心的世界的数据库
长期以来，数据库一直是基于 SAN 的块存储和基于 NAS 的文件存储的主要工作负载。
阅读更多...数据湖屋的颠覆性本质
1997 年，克莱顿·克里斯滕森 (Clayton Christensen) 在他的《创新者的困境》一书中确定了一种创新模式，该模式可跟踪现有企业和新进入者之间按细分市场划分的能力、成本和采用情况。
阅读更多...在 cnvrg.io 上利用 RAG 和 MinIO 增强大型语言模型
这篇文章是与 cnvrg.io 的 Harinder Mashiana 合作撰写的。
阅读更多...使用 MinIO 和 Kubeflow v2.0 构建 ML 训练管道2
我创建的数据管道将美国人口普查数据下载到 MinIO 的专用实例。
阅读更多...使用 MLFlow 和 MinIO 设置开发机器
MLflow 是一个开源平台，旨在管理整个机器学习生命周期。
阅读更多...使用 Kubeflow Pipelines 2.0 和 MinIO 设置开发机器
工程师喜欢在本地玩耍和学习。
阅读更多...MinIO是干什么的？
网上搜索“minio是干嘛的”这个问题搜索的太多了，我们感觉是我们的工作没有做好才给大家造成了这么大的信息差。在这里，我们有义务将信息差补齐。
阅读更多...如何使用Restic和MinIO进行备份
每个系统都需要备份，因为有无数种方法可以丢失本地文件系统数据和配置。这种损失可能是毁灭性的——可能导致收入损失、客户不满意，甚至代价高昂的诉讼。统计数据相当惨淡——遭受数据丢失事件的企业中有 60% 在六个月内关闭，而失去数据中心超过 10 天的公司中有 93% 在一年内申请破产。
阅读更多...MinIO不适用小文件，是真的吗？
网上一些评论和提问经常会遇到三个问题，我们将这三个问题展开: MinIO不适用于小文件？ MinIO小文件性能？ MinIO是否是合小文件的读取场景？ 首先，我们正面回答问题。 第一种观点是错误的，MinIO不仅非常适合小文件，还适合中型文件和大文件。
阅读更多...MinIO文件数量限制 是多少？
很多中国地区的“攻城狮”们和运维专家们有各种担心向我们提问。 MinIO有没有文件数量限制呀？ 还有这么问我们的？ 为了赚钱，MinIO会不会进行文件数量的限制呀？
阅读更多...minio和阿里云oss哪个好？
在回答这个问题前，我们首先要明白一个关于监管上的要求和产品上的区别。因此，如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3，都是全球非常优秀的对象存储产品。
阅读更多...从 Docker 到本地主机的顺畅之旅
想象一下，您正在笔记本电脑上进行开发，使用 Docker 将应用程序容器化，以实现一致性和易于部署。您当前的项目涉及使用 MinIO 进行对象存储，并且您在 Docker 中设置得很漂亮。
阅读更多...上云和下云可以同时提升企业收入：两件事可以同时为真？
麦肯锡（McKinsey）发布了一份有趣的报告，内容涉及人工智能对企业云投资的迫在眉睫的影响。 麦肯锡在文章的开头引用了一句话：“虽然可能的影响因行业而异，但采用云计算代表了普通公司将盈利能力提高 20% 到 30% 的机会。
阅读更多...HAproxy1.8 版本配置MinIO SSL出错解决方案
由于某客户在MinIO上使用的是HAproxy 1.8 版本，操作系统使用的是RHCL8.6 版本。在操作系统内核、SSL证书位数和HAproxy 1024位证书上产生问题。
阅读更多...使用 Ray Train 和 MinIO 进行分布式训练
单线程管道中的数据处理（或机器学习领域中通常称为数据预处理）通常是通过将整个数据集加载到内存中并在将数据交给模型进行训练之前对其进行转换来完成的
阅读更多...如何降低企业存储成本？
使用MinIO作为分布式对象存储系统，可以极大的帮助用户保护数据安全，在高IO和高吞吐情况下实现比传统老牌硬件存储厂商更低的成本、更高的性能和更符合自身业务情况的组合。
阅读更多...最近推出的 Amazon S3 Express 单区验证了对象存储是 AI 的主存储
在现代数据堆栈中，对象存储是主存储。在人工智能时代更是如此，企业几乎完全专注于对象存储。现代数据堆栈依赖于分解的计算和存储，以及在 Kubernetes 上的容器中运行的云原生微服务。
阅读更多...如何复制数据从S3到MinIO
很多时候，我们需要将数据从S3的站点（如华为云、阿里云、腾讯云），复制迁移回到本地的MinIO站点。 而云迁移回本地存储则是我们经常被问到的问题。
阅读更多...为什么不应该在 SAN/NAS 设备上运行 MinIO（还有一个例外）
在中国很多人还不太了解分布式，在底层使用SAN和NAS构建分布式存储遇到了很多问题。 现在我们通过这篇文章，告诉大家为什么不要使用NAS作为MinIO的底层存储。
阅读更多...LanceDB：在对抗数据复杂性战役中，您可信赖的坐骑
LanceDB 建立在 Lance（一种开源列式数据格式）之上，具有一些有趣的功能，使其对 AI/ML 具有吸引力。例如，LanceDB 支持显式和隐式矢量化，能够处理各种数据类型。
阅读更多...离线部署的MinIO
网络有不同的部分，例如 DMZ、公共、私有、堡垒等。这实际上取决于您的组织和网络要求。在部署应用程序时，任何应用程序，我们都需要考虑类型以及它是否需要位于网络的特定部分。
阅读更多...MinIO 批处理框架添加了对过期时间的支持
您现在可以使用 MinIO 批处理框架执行 S3 删除操作，以通过单个 API 请求删除大量对象。借助 MinIO 批处理框架，可以快速轻松地在 MinIO 部署中执行重复或批量操作，例如批量复制和批量密钥轮换。MinIO 批处理框架处理所有手动工作，包括管理重试和报告进度。
阅读更多...超大规模企业的经验教训：对象存储如何推动下一波托管服务的成功
在过去的几个月里，我们看到基于对象存储的超快速分析数据库的托管服务有所增加。随着企业意识到将闪电般快速的数据准备与对象存储相结合的战略优势
阅读更多...在MinIO中添加Pools(池)并扩展容量
服务器池可帮助您快速轻松地扩展现有 MinIO 集群的容量。这篇博文重点介绍如何增加一个集群的容量，这与添加另一个集群并在多个集群之间复制相同数据不同。
阅读更多...我如何知道我的MinIO集群复制是最新的？
客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制，以确保每个应用程序都使用最新的数据，无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中，我们详细介绍了各种可用的复制选项及其最佳实践。
阅读更多...AI 的未来是开源的
想象一下，在未来，人工智能不会被锁在公司的金库里，而是由全球创新者社区一砖一瓦地在开放中构建的。协作，而不是竞争，推动进步，道德考虑与原始绩效同等重要。这不是科幻小说，而是人工智能发展核心正在酝酿的开源革命。
阅读更多...使用 MinIO 和 PostgreSQL 简化数据事件
您可能已经在利用 MinIO 事件与外部服务进行通信，现在您将通过使用 PostgreSQL 自动化和简化数据事件管理来增强数据处理能力。本文是为那些对 MinIO、PostgreSQL 和 Docker 有基本了解的人量身定制的
阅读更多...将 SQL Server 2022 数据库备份到 MinIO
Microsoft 在将 S3 连接器和 Polybase 添加到 SQL Server 2022 时取得了重大飞跃。因此，企业可以利用他们保存到对象存储中的大量数据，并使用它来丰富 SQL Server 表。
阅读更多...如何实现KES续签证书？
MiniO KES（密钥加密服务）是 MinIO 开发的一项服务，旨在弥合在 Kubernetes 中运行的应用程序与集中式密钥管理服务 （KMS） 之间的差距。中央 KMS 服务器包含所有状态信息
阅读更多...使用 MinIO 构建兼容 S3 的股票市场数据湖
本文讲述如何通过MinIO的S3构建分布式数量的股票数据湖，用于高性能计算、AI选股和量化交易、高频交易等。
阅读更多...理解分布式存储的真实成本 - 10PB的硬件和软件
放弃专用硬件，让软件和硬件解耦，才能让您了争真实的硬件成本。
阅读更多...使用 CDC MinIO 汇入端为 CockroachDB 保持持久数据
CockroachDB 数据库迅速崭露头角，作为一个坚韧且可扩展的分布式 SQL 数据库。它从其昆虫名字的坚持不懈中汲取灵感
阅读更多...调试 MinIO 安装
MinIO 部署形式多样。我们支持在任意版本的 Linux 上进行裸金属安装，支持在任何版本的 Kubernetes（包括 Red Hat OpenShift）上进行容器化安装，还支持在大大小小的环境中部署单个轻量级二进制文件。
阅读更多...从公有云对象存储迁移到回私有化 MinIO需要了解的所有信息
我们已将这些回复汇总到这篇新文章中，其中我们更深入地研究了与遣返相关的成本和节省，以便您更轻松地进行自己的分析。对许多人来说，数据迁移是一项艰巨的任务。
阅读更多...锁定 MinIO 操作员权限
MinIO Operator 简化了 Kubernetes 集群上的 MinIO 管理，不仅在初始部署期间（第 0 天和第 1 天），而且在正在进行的第 2 天操作期间。
阅读更多...为什么贪婪的 GPU需要快速的对象存储？
一个链条的力量取决于其最薄弱的环节 - 同样，您的AI/ML基础设施的速度也只有您的最慢组件那么快。如果您使用GPU训练机器学习模型
阅读更多...我们阅读了谷歌的新出口政策，这样你就不用读了……真是让人惊讶
谷歌最近宣布，它将取消那些离开平台的人的数据出口费用。鉴于我们在云运营模式和云生命周期方面的立场，这似乎是一个重大公告。事实并非如此。
阅读更多...大型语言模型（LLM）的优势、劣势和风险
最近关于大型语言模型的奇迹已经说了很多LLMs。这些荣誉大多是当之无愧的。让 ChatGPT 描述广义相对论，你会得到一个非常好（且准确）的答案。
阅读更多...数据优先于模型：默默无闻的英雄们，他们解锁了真正的AI成果
机器学习和人工智能的魅力是不可否认的。想象一下，算法从您的数据中提取见解、预测客户行为并优化运营——纯金，对吧？但是，在你为一个训练有素的科学家的职位发布之
阅读更多...使用 MinIO 超级充电 TileDB 引擎
MinIO 是一个强大的主要 TileDB 后端，因为两者都是为性能和规模而构建的。MinIO 是一个单一的 Go 二进制文件，可以在许多不同类型的云和本地环境中启动。
阅读更多...创新S3存储桶检索：Langchain社区S3加载器搭载OpenAI API
在瞬息万变的数据存储和处理领域，将高效的云存储解决方案与先进的 AI 功能相结合，为处理大量数据提供了一种变革性的方法。
阅读更多...为什么您的企业 AI 战略可能会在 2024 年失败：模型下降与数据上升
其他人会说，这并不是真正的范围——大多数人在最初的人工智能尝试中都会失败，但这并不重要，学习是值得的。在某种程度上，两者都是对的——但我认为为什么企业会失败是值得探索的
阅读更多...MinIO 和 Apache Tika：文本提取模式
在这篇文章中，我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取，这是大型语言模型训练和检索增强生成 LLM和RAG 等关键下游任务的核心。
阅读更多...使用MinIO S3存储桶备份Weaviate
Weaviate 是一个开创性的开源向量数据库，旨在通过利用机器学习模型来增强语义搜索。与依赖关键字匹配的传统搜索引擎不同，Weaviate 采用语义相似性原则。
阅读更多...复制策略深入探讨
在之前的博客中，我们讨论了复制最佳实践和不同类型的复制，例如批量、站点和存储桶。但是，随着所有这些不同类型的复制类型的出现，人们不得不想知道在哪里使用哪种复制策略？
阅读更多...使用MinIO的SDK进行自动化数据准备以支持机器学习
机器学习中高效、自动化的数据准备的重要性怎么强调都不为过，并且通常概括为熟悉的公理“垃圾输入，垃圾输出”。这强调了数据质量在决定机器学习模型成功方面所发挥的关键作用。
阅读更多...使用GitOps自动化推动AI/ML工作流程
作为一名深耕自动化和人工智能领域的开发人员，我们逐渐认识到尖端工具和方法之间的显着协同作用，这些协同作用突破了可能性的界限。在这次探索中，我们想分享一个概念，它不仅彻底改变了我们的软件开发和基础设施管理方法，而且还打开了无尽创新的大门：GitOps。
阅读更多...prefix（前缀） 与文件夹的对比
在传统的 POSIX 系统中，您可能熟悉可以读取和访问传统意义上的文件夹的数据访问函数。 POSIX 的问题在于它从来没有真正设计用于通过网络处理非常大的文件。
阅读更多...DirectPV的故事
2020 年，MinIO 为基于 Kubernetes 的 MinIO 存储部署实施了直接持久卷 （DirectPV）。DirectPV 类似于 LocalPV，但动态预配。
阅读更多...使用 MinIO SDK 开发 Langchain 代理以供 LLM 工具使用
在我之前关于 Langchain 的文章中，我探讨了“社区 S3 加载器”的使用，虽然有用，但功能有限。在这里，我们深入探讨了定制工具的开发（本演示重点介绍MinIO对象上传）以及它们通过Langchain代理和执行器与大型语言模型（LLMs）的集成。
阅读更多...使用 Iceberg、Tabular 和 MinIO 构建现代数据架构
现代数据环境需要一种新型的基础架构，即无缝集成结构化和非结构化数据、轻松扩展并支持高效的 AI/ML 工作负载的基础架构。这就是现代数据湖的用武之地
阅读更多...动态 ETL 管道：使用非结构化 IO 将 AI 与 MinIO 和 Weaviate 的 Web
在现代数据驱动的环境中，网络是一个无穷无尽的信息来源，为洞察力和创新提供了巨大的潜力。然而，挑战在于提取、构建和分析这片浩瀚的数据海洋，使其具有可操作性。
阅读更多...在自托管基础设施上使用 GitOps 部署 MinIO
基于MinIO Weaviate Python GitOps探索的见解，本文探讨了如何增强软件部署流程的自动化。
阅读更多...专为数据设计的防火墙：MinIO 企业对象存储防火墙
虽然市面上有许多防火墙，但它们通常分为两类：基于 IP 的防火墙和应用程序防火墙。基于IP的防火墙，在第3层和第4层运行，简单，轻量级，相当原始。
阅读更多...解决安全规模问题：MinIO 企业对象存储密钥管理服务器
在强大可靠的存储解决方案领域，MinIO 作为持久层脱颖而出，为组织提供安全、持久和可扩展的存储选项。
阅读更多...使用 MinIO Enterprise 对象存储目录搜索命名空间和元数据并为其建立索引
我们最大的客户（那些拥有 EB 级数据和数千亿个对象的客户）所面临的挑战之一是无法有效地搜索和查询命名空间，从而为组织创建可用的清单。
阅读更多...强大的视角：介绍 MinIO 企业对象存储可观察性
可观测性革命推动了计算、安全、基础设施和可审计性方面的巨大进步。企业可观测性提供对云原生系统的全面和精细的可见性，以更快地识别和解决问题。
阅读更多...MinIO Enterprise Cache：实现超性能的分布式 DRAM 缓存
随着计算世界的发展和DRAM价格的暴跌，我们发现服务器配置通常配备 500GB 或更多的 DRAM。当您处理大型部署时，即使是那些具有超高密度 NVMe 驱动器的部署，这些服务器上的服务器数量乘以 DRAM 也会迅速增加
阅读更多...单一管理平台 - Enterprise Global Console
大约三年前，当我们向客户和社区推出控制台时，MinIO 的世界发生了变化。这是可访问性的巨大飞跃。
阅读更多...企业对象存储功能集
今天有这么多的产品优点同时出现，我们认为制作一个快速总结文章是有意义的，其中包含我们所做的所有更改和我们引入的所有功能。让我们从顶部开始。
阅读更多...具有 Hudi、MinIO 和 HMS 的现代数据湖
[Apache Hudi](https://hudi.apache.org/) 已成为管理现代数据湖的领先开放表格式之一，直接在现代数据湖中提供核心仓库和数据库功能。
阅读更多...分解数据堆栈：存储和计算 2.0 的分解
在LinkedIn上，有一篇优秀的帖子在数据和数据库人群中流行。它由 Theory VC 合伙人 Tomasz Tunguz 撰写，讲述了我们自 2019 年以来讨论的趋势。
阅读更多...使用 GitOps 进行防灾 MinIO
想象一下，您已经花费了无数小时来完善 Docker Swarm 设置，精心设计每项服务，并调整 CI/CD 管道以实现无缝自动化。
阅读更多...AI/ML 数据湖参考架构架构师指南
这篇文章的缩写版本于 2024 年 3 月 19 日出现在 The New Stack 上。 在企业人工智能中，主要有两种类型的模型：判别模型和生成模型。
阅读更多...来自 Kubecon Paris 的快讯
一年一度的 KubeconEU 审查时间到了——它未经过滤，偶尔不受 CNCF 的欢迎——但剧透警告，巴黎取得了巨大的成功。
阅读更多...MinIO 网络与覆盖网络
云计算和容器化技术的发展改变了应用程序的开发、部署和管理方式。这种转变给网络环境带来了重大变化，为DevOps和SRE工程师带来了新的挑战和机遇。
阅读更多...全栈人工智能工程师：现代博学者
任何在团队环境中工作过的人都知道，每个成功的团队都有一个得力助手——无论你的问题性质如何，他都能帮助你。
阅读更多...迈向百亿亿次人工智能数据基础设施
对我来说，在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是，产品的简单性既是其显着特征，也是其最具决定性的价值驱动因素之一。
阅读更多...架构师指南：现代 Datalake 参考架构
这篇文章的缩写版本于 2024 年 3 月 26 日出现在 The New Stack 上。 旨在最大化其数据资产的企业正在采用可扩展、灵活和统一的数据存储和分析方法。
阅读更多...使用 LangServe 构建和部署 MinIO 支持的 LangChain Agent API
我们在LangChain的创新世界中的旅程揭示了其在转变数据管理和应用程序功能方面的强大能力。
阅读更多...构建下一代数据解决方案：SingleStore、MinIO 和现代 Datalake 堆栈
SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统，支持 ANSI SQL，并因其在数据引入、事务处理和查询处理方面的速度而受到认可。
阅读更多...北方银行 - HDFS 现代化快速案例研究
故事很重要，客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。
阅读更多...在 Equinix 上使用 MinIO 控制云数据成本
公有云改变了公司构建、部署和管理应用程序的方式，主要是向好的方向发展。在您刚开始使用时，公有云会提供基础架构、服务、支持和维护，以便快速启动和运行。
阅读更多...航行在水域：使用数据湖构建生产级 RAG 应用程序
在 2024 年年中，创建一个令人印象深刻和兴奋的 AI 演示可能很容易。需要一个强大的开发人员，一些聪明的提示实验，以及一些对强大基础模型的API调用，你通常可以在一个下午建立一个定制的AI机器人。
阅读更多...通过开放解析智能分块提高 RAG 性能
如果要使用大型语言模型 （）LLMs 实现生成式 AI 解决方案，则应考虑使用检索增强生成 （RAG） 的策略来生成上下文感知提示LLM
阅读更多...Apache Arrow 和数据的未来：开放标准推动人工智能发展
Apache Arrow 是一种开源列式内存格式，适用于平面数据和分层数据
阅读更多...针对 AI 优化数据湖仓一体：使用 MinIO 仔细了解 RisingWave
RisingWave 是现代数据湖仓一体处理层中的开源流数据库，专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。
阅读更多...在检索增强生成 (RAG) 管道中使用 MinIO Weaviate 和 Langchain 优化
作为 MinIO 专注于 AI 集成的开发人员，我一直在探索如何将我们的工具无缝集成到现代 AI 架构中，以提高效率和可扩展性。
阅读更多...从 Hadoop 迁移，无需淘汰和替换
我们仍然惊讶于有如此多的客户来找我们，希望从HDFS迁移到现代对象存储，如MinIO
阅读更多...世界是软件定义的 - 正如硬件公司所证明的那样
很难相信，马克·安德森（Marc Andressen）在13年前写下了他著名的博客，题为“软件正在吞噬世界”。
阅读更多...Make it Rain：遣返公有云工作负载如何节省数百万美元
公有云的现象很难让你动手。自从AWS在本世纪初启动以来，它已经发展壮大并演变成一个现代计算平台，创造了我们所知道的云运营模式。
阅读更多...适用于 AI/ML 工作负载的有状态 KES
在此概念验证 （POC） 中，我们将探讨在 Kubernetes （k8s） 生态系统中安装和管理有状态密钥加密服务 （KES）。
阅读更多...手动重新平衡您的 MinIO Modern Datalake
当通过添加新的服务器池来扩展 MinIO Modern Datalake 部署时，默认情况下它不会重新平衡对象。
阅读更多...探索 Kubernetes v1.30：与 MinIO 部署相关的增强功能
Kubernetes v1.30 的发布带来了一系列更新，其中一些更新对于高性能 Kubernetes 原生对象存储 MinIO 的用户来说可能意义重大。
阅读更多...使用 Kubernetes 部署 MinIO 和 Trino
Trino（以前称为 Presto）是一个 SQL 查询引擎，而不是 SQL 数据库。Trino 避开了 SQL 数据库的存储组件，只专注于一件事 - 超快的 SQL 查询
阅读更多...使用 MLRun 和 MinIO 设置开发机器
MLOps 之于机器学习，就像 DevOps 之于传统软件开发一样。两者都是一组旨在改善工程团队（开发或 ML）和 IT 运营 （Ops） 团队之间协作的实践和原则
阅读更多...使用 MinIO S3 和 Tailscale VPN 部署应用程序基础设施
在现代 IT 运营中，面向 IT 运营的人工智能 （AI-Ops） 正在通过使用高级算法自动执行任务来改变数据管理。MinIO 和 Tailscale 共同为应用层开发提供了安全、可扩展和有效的基础设施
阅读更多...AI 基础设施要点——AB Periasamy 和 Matthew DeMello 主持的 AI
MinIO 的联合创始人兼首席执行官 AB Periasamy 最近在 AI in Business 播客中亮相，他与 Emerj 的高级编辑 Matthew DeMello 就企业的 AI 基础设施和对象存储进行了丰富的对话
阅读更多...使用 MLRun 和 MinIO 进行模型训练和 MLOps
在我之前关于 MLRun 的文章中，我们设置了一台开发机器，其中包含试验 MLRun 所需的所有工具。具体来说，我们使用 docker-compose 文件为 MLRun UI、MLRun API 服务、Nuclio、MinIO 和 Jupyter 服务创建容器
阅读更多...MinIO 推出技术认证
我们很高兴地宣布我们的第一个技术认证，即 MinIO 认证管理员 - 从业者。MinIO 认证专业计划旨在验证个人管理 MinIO 的实践技能
阅读更多...Snowflake 外部表的最新增强功能：您需要了解的内容
自从我们上一篇关于如何使用 MinIO 扩展 Snowflake 实现的博客文章以来，Snowflake 对外部表的支持已经发生了重大更新
阅读更多...Kubernetes 中 ElasticSearch 中的 MinIO 审核日志
无论您是在本地还是在云中，您都希望确保以同构的方式设置工具和流程。无论在何处访问基础结构，您都希望确保用于与各种基础结构进行交互的工具与其他区域相似。
阅读更多...混合云管道的未来：集成 MinIO、Tailscale 和 GitHub Actions
数据处理是现代软件开发的基本实践。它使团队能够自动收集、处理和存储数据，确保高质量的数据和高效的处理。
阅读更多...公共云遣返的经济性
在过去的几年里，显而易见的是，尽管公有云具有所有优势，但它并不能大规模地节省成本
阅读更多...使用外部表增强 Snowflake
作为 Snowflake 用户，您可能熟悉它在协作环境中管理数据方面的优势。Snowflake 的用户体验经常因其直观的界面和无缝集成功能而受到称赞
阅读更多...将 MinIO 与 Keycloak OIDC 集成
Keycloak是一种单点登录解决方案。使用Keycloak，用户使用Keycloak而不是MinIO进行身份验证。如果没有Keycloak，您将不得不为每个用户创建一个单独的身份 - 从长远来看，这将很麻烦
阅读更多...Dell ECS 数据移动到 MinIO
Dell ECS 集群允许您将数据迁移到任何 S3 兼容存储。Dell ECS 将此功能称为“数据移动”，也称为复制到云
阅读更多...WARP 加速您的 AI 数据存储基础设施
你知道一些最好的人工智能模型的秘诀吗？这是他们可以访问的数据量，他们可以接受培训。对于 AI/ML 模型：快速访问数据为王
阅读更多...GenAI 技术堆栈架构师指南 - 十种工具
我之前写过关于现代数据湖参考架构的文章，解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具（特别是HDFS）以及对RESTful API（S3）和性能的更大需求——但我想填补一些空白
阅读更多...人工智能建立在对象存储上的真正原因
在当前的机器学习范式中，性能和能力与计算成比例，计算实际上是数据集大小和模型大小的代理
阅读更多...使用 MinIO 赢得 RAG 权利
人们常说，在人工智能时代，数据是你的护城河。为此，构建生产级 RAG 应用程序需要合适的数据基础架构来存储、版本控制、处理、评估和查询构成专有语料库的数据块
阅读更多...迁移至 AI-Ready 基础架构：日立内容平台至 MinIO
借助我们的 HCP-to-MinIO 工具，从 Hitachi Content Platform （HCP） 过渡到 MinIO 从未如此简单。该工具旨在支持客户不断变化的存储需求，可在 GitHub 上免费获得，大大简化了迁移过程。
阅读更多...架构师机器学习操作 (MLOps) 指南
MLOps 是机器学习操作的缩写，是一组实践和工具，旨在满足工程师构建模型并将其投入生产的特定需求
阅读更多...Databricks 收购 Tabular 的意义：数据开放框架的胜利
Databricks 宣布收购 Tabular，这是一个由 Apache Iceberg 的原始创建者开发的数据平台，在数据分析行业引发了涟漪。
阅读更多...MinIO 突破了Boundary
随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据，有时他们需要以“老派”的方式做一些事情，因为根本没有其他方法。其中之一是堡垒主机。
阅读更多...使用 Snorkel 和 MinIO 的以数据为中心的 AI
如今，业界都在谈论大型语言模型及其编码器、解码器、多头注意力层和数十亿（即将数万亿）的参数，人们很容易相信好的人工智能只是模型设计的结果
阅读更多...OpenShift 的 App Store：OperatorHub 中的 MinIO
在云中运行 AI 数据存储基础设施非常昂贵。不仅存储数据的成本很高，而且每次应用程序使用来自 AI 数据存储基础设施的数据时，您都会被收取入口和出口费用。
阅读更多...通过强大的语义层增强现代数据湖
在现代数据湖架构中，语义层通过向数据添加有意义的上下文来发挥至关重要的作用，否则这些上下文会丢失
阅读更多...新私有云架构师指南
在那里的几年里，“私有云”一词具有负面含义。但正如我们所知，技术更像是一个轮子而不是一个箭头，而且就在提示下，私有云正在受到大量关注，而且这一切都是积极的
阅读更多...在 MinIO 使用 SVE 将 ARM 带入人工智能数据基础设施领域
MinIO 性能如此之高的原因之一是，我们做了其他人不会或不能做的细粒度工作。从 SIMD 加速到 AVX-512 优化，我们已经完成了艰巨的任务
阅读更多...深入了解：MinIO 企业对象存储的可观察性
可观测性是指收集信息（跟踪、日志、指标），以提高性能、可靠性和可用性为目标。很少有人能确定其中一个事件的根本原因
阅读更多...使用 MinIO、Langchain 和 Ray Data 构建分布式嵌入式子系统
嵌入子系统是实现检索增强生成所需的四个子系统之一。它将您的自定义语料库转换为可以搜索语义含义的向量数据库
阅读更多...冰山的崛起：数据架构的转变
像 Apache Iceberg、Apache Hudi 和 Delta Lake 这样的开放表格式已成为查询处理器的事实标准。然而，最近有消息称 Snowflake 和 Databricks 等查询引擎采用了 Iceberg 的 REST 目录 API，这改变了竞争环境，有利于 Iceberg
阅读更多...基于 Kafka 的经验：AutoMQ 和 MinIO 如何解决成本和弹性挑战
Apache Kafka 因其出色的设计和强大的功能而成为流式处理的事实标准。它不仅定义了现代流式处理的架构，而且其独特的分布式日志抽象还为实时数据流处理和分析提供了前所未有的功能
阅读更多...细分 Insight 合作伙伴 2024 年企业技术状况报告
Insight Partners 的团队刚刚发布了 2024 年企业技术状况报告。在 60+ 幻灯片中有很多东西可以消耗，但我们挑选了应该让我们的观众感兴趣的东西 - 坦率地说，有很多有趣的东西
阅读更多...MinIO DataPod：百亿亿次级计算的参考架构
现代企业通过其数据来定义自己。这需要用于 AI/ML 的数据基础设施，以及作为现代数据湖基础的数据基础设施，该数据基础设施能够支持商业智能、数据分析和数据科学
阅读更多...利用 Splunk 对人工智能数据基础设施进行 Spelunk 分析
在企业数据方面，MinIO Enterprise Object Store 和 Splunk 有着共生关系。Splunk在其数字流处理器中使用MinIO
阅读更多...DORA 法规及其对企业数据存储影响的架构师指南
监管环境正在迅速发展，欧洲即将出台的《数字运营弹性法案》（DORA）就是这种动态变化的证明。我们有多个欧洲银行客户，每个客户都从略有不同的角度来解决这个问题
阅读更多...现代数据湖的基础： 对象存储如何锚定一切
在人工智能和其他新技术的兴奋中，有一个组件悄悄而关键地将所有东西联系在一起——无论是字面上还是比喻上。这就是现代对象存储
阅读更多...PostgreSQL 与对象存储的结合： 在 MinIO 中访问外部数据
数据领域最激动人心的发展之一是湖仓一体功能在所有主要数据库供应商中的兴起。Snowflake 和 SQL Server 长期以来一直采用这一点，现在 PostgreSQL 正在通过 pg_lakehouse 拥抱这种范式转变，使得利用现代数据湖进行分析、AI 等比以往任何时候都更容易
阅读更多...东方银行--用 MinIO 和 Dremio 替代 Hadoop
我们的客户是一家总部位于日本的全球金融机构，最近与MinIO和Dremio一起完成了一个雄心勃勃的Hadoop替换项目。
阅读更多...使用 WARP 和 Perf 测试对 MinIO 企业对象存储进行基准测试
AI/ML、高级分析和数据库等现代应用程序需要高性能对象存储。MinIO Enterprise Object Store 将可扩展性和高性能相结合，使每个工作负载（无论要求多么苛刻）触手可及
阅读更多...开源还是封闭？人工智能的两难选择
这篇文章于 2024 年 7 月 29 日首次出现在 The New Stack 上。人工智能正处于软件行业的完美风暴中，现在马克·扎克伯格 （Mark Zuckerberg） 正在呼吁开源 AI
阅读更多...MinIO Packet Pushers 播客： 汤姆-里昂，《NFS 必死》。
我们真的很喜欢 Packet Pushers 的团队。他们的播客是业内最好的播客之一，涵盖了从堆栈顶部到底部的技术。
阅读更多...微链接： 利用 MinIO 实现计算和存储的还原
Microblink 是一家专门从事图像检测的 AI 公司。他们从 BlinkID、BlinkID Verify 和 BlinkCard 等产品开始进入身份空间
阅读更多...对象存储上的数据库--新常态
当您考虑对象存储工作负载和存储类型时，数据库正日益成为核心工作负载。这些变化是由两股力量驱动的：高性能对象存储的可用性以及数据（特别是其相关元数据）的爆炸式增长
阅读更多...停止向供应商提供您的数据
组织管理其数据基础设施的方式正在发生重大转变。越来越多的公司认识到存储和计算分离的优势，从而获得更好的性能、成本节约和可扩展性。这一趋势是由 AI 和 ML 工作负载日益复杂所推动的，这些工作负载需要灵活、高性能的系统
阅读更多...引领潮流： MinIO 针对现代数据工作负载的条件写入功能
当 AWS S3 说话时，人们会倾听。上周，他们宣布了条件写入功能。但这对我们 MinIO 来说并不是突发新闻——我们最初在 2023 年 2 月合并了对条件写入的支持，从那时起，我们的许多客户一直在使用它
阅读更多...从 HDFS 迁移到 MinIO 企业对象存储
云原生、面向 Kubernetes 、基于微服务的架构推动了对 MinIO 等网络存储的需求。在云原生环境中，对象存储的优势很多 - 它允许独立于存储硬件对计算硬件进行弹性扩展。它使应用程序无状态，因为状态是通过网络存储的，并且通过降低操作复杂性，使应用程序能够实现比以往更高的规模
阅读更多...为什么说 Confluent 收购 WarpStream 强化了对象存储作为数据流未来的地位？
Confluent 最近收购了 WarpStream，这对数据流和对象存储集成的未来具有重大影响。WarpStream 旨在直接在对象存储上运行。
阅读更多...大数据的挑战是小文件。
小文件可能会给存储平台及其支持的应用程序带来大问题。在 Google 上搜索 “small files performance” 会产生 2M+ 的结果
阅读更多...从 Kafka 到 WarpStream： 用 MinIO 简化数据流
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章
阅读更多...现代数据堆栈中灵活性的力量：数据湖仓一体的优势
最近，我与我们一位出色的数据科学家 Archana Vaidyanathan 进行了交谈，她面临着一个非常普遍的挑战 — 计算成本飙升。在更大的数据集上运行大型查询后，费用远高于预期
阅读更多...从存储到人工智能洞察： 利用 MinIO 和 Polars 简化数据管道
将 MinIO 的高性能、可扩展企业对象存储的强大功能与 Polars（闪电般快速的 DataFrame 库）的快速内存数据处理功能相结合，可以显著提高数据管道的性能
阅读更多...我们试用了戴尔ObjectScale社区版，它并不完美
Dell 通常专注于文件管理器游戏，但他们涉足对象存储，并且有一个非常古老的产品 ECS。这是有道理的，它是磁带的升级版，不适合 HDFS 现代化或数据库工作负载等动态工作负载
阅读更多...为您的人工智能数据提供类似 Git 的版本管理功能
您过去肯定有过版本控制代码。但是，您是否对数据进行了版本控制？您是否曾经想过与不同的团队协作处理大量数据，而无需提交大量数据？想象一下，使用类似 git 的命令来运行类似存储库的生态系统
阅读更多...MinIO 学习订阅服务
MinIO 的入门非常简单 — 只需几个简单的命令和一个 100 MB 的小二进制文件，您就可以立即启动并运行一个功能性开发环境。但是，为了在生产规模上利用 MinIO 的全部功能，我们鼓励专业人士更多地了解 MinIO 的广泛功能
阅读更多...开源催生开源：Tesla 如何加速 AI 发展
特斯拉最近宣布开源其特斯拉以太网传输协议 （TTPoE），这是一种尖端网络结构，专为 AI/ML 数据中心环境中的高速、低延迟数据传输而设计，从而掀起了波澜
阅读更多...为人工智能的成功而招聘： 为什么你的第一位员工应该是数据工程师？
AI 计划通常是许多希望从数据中提取价值的组织的首要任务。但是，在聘请高技能的 AI/ML 工程师之前，需要建立管理和优化数据的关键基础
阅读更多...云作为一种运营模式--而非物理位置
我们以前已经说过，但值得重复一遍。云是一种运营模式，而不是物理位置。这就是为什么您会在公共云、私有云和边缘到处都能找到 MinIO 的原因
阅读更多...通过监控和警报驯服人工智能野兽
AI 是一头野兽。它需要不断地被喂养。它需要喂什么？当然是数据，而且是大量的。请记住，数据和 AI 是同一枚硬币的两面。人们经常忘记，最初构建 AI 模型的原因是因为它们被馈送到数百 PB 到 EB 的数据
阅读更多...从 Hadoop 迁移到数据 Lakehouse 的架构师指南
从 Hadoop 到数据湖仓一体架构的演变代表了数据基础架构的重大飞跃。虽然 Hadoop 曾经以其强大的批处理能力统治着大数据领域，但如今的组织正在寻求更敏捷、更具成本效益和现代化的解决方案。
阅读更多...软件定义存储与设备的比较
如今，每个人都声称自己是一家软件公司。从 Marc Andressen 近十年前的声明“软件正在吞噬世界”到华尔街推动产生经常性软件收入;压力在于声称 - 至少 - 你是一家软件公司
阅读更多...使用 Kafka 和 MinIO 实现人工智能数据工作流
MinIO Enterprise Object Store 是用于创建和执行复杂数据工作流的基础组件。此事件驱动功能的核心是使用 Kafka 的 MinIO 存储桶通知。
阅读更多...复制、数据整合和数据迁移
Parsec Labs 是一家工程师公司。大多数人都设计了存储系统，负责备份和复制，或者从事网络构建交换机的工作。其 Unified Data Mobility and Protection Appliance 成立于 2013 年，为大规模迁移、复制和备份数据提供了最直接的工具。
阅读更多...实现可扩展人工智能的便捷之路：英特尔 Tiber 开发者云 + MinIO 对象存储
当今组织在 AI 和数据管理方面面临的最大挑战之一是获得可靠的基础设施和计算资源。英特尔 Tiber 开发人员云专为需要概念验证、实验、模型训练和服务部署环境的工程师而构建
阅读更多...使用亚马逊 S3 连接器为 PyTorch 和 MinIO 创建地图式数据集
在深入研究 Amazon 的 PyTorch S3 连接器之前，有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外，许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。
阅读更多...先睹为快： MinIO 对象存储与人工智能调查
MinIO 最近对 656 名 IT 领导者进行了调查，这是 User Evidence 主要研究计划的一部分。结果非常有趣，突显了我们在企业中看到的巨大变化，无论是围绕向对象存储的转变，还是将对象存储用作组织 AI 计划的主要构建块的兴趣。
阅读更多...人工智能数据栈互操作性架构师指南
最初发布于 New Stack。 AI 的未来是开放的，无论您的堆栈中采用何种技术，互操作性都是您保持领先地位的门票。
阅读更多...遣返人工智能工作负载： 云计算成本飙升的内部解决方案
云曾经承诺无限的可扩展性、灵活性和效率。但随着生成式 AI 的兴起，许多组织正在以前所未有的云账单形式经历粗暴的觉醒。根据 Tangoe 最近的报告
阅读更多...为以人工智能为中心的工作负载重新设计的全局控制台
MinIO 控制台多年来一直是一个不断发展的产品。每次学习时，我们都会思考如何改进交互框架中这个非常重要的部分。首先是控制台，它在推出后的一年内就被广泛采用。
阅读更多...AIHub： 模型和数据集的私有云存储库
AIStor 的最新功能之一是广受欢迎的开源项目 Hugging Face 的私有云版本。这篇文章详细介绍了 AIStor 的 AIHub 如何有效地创建一个完全由企业控制的 API 兼容的私有云版本的 Hugging Face。
阅读更多...MinIO 的 S3 over RDMA 计划： 为高速人工智能数据基础设施设定对象存储新标准
随着 AI 和机器学习的需求不断加速，数据中心网络正在迅速发展以跟上步伐。对于许多企业来说，400GbE 甚至 800GbE 正在成为标准选择，因为数据密集型和时间敏感型 AI 工作负载需要高速、低延迟的数据传输
阅读更多...史上最强大的 S3 API？介绍 Prompt API。
迄今为止，对象存储世界已由 PUT 和 GET 的 S3 API 概念定义。然而，我们现在生活的世界需要更多。鉴于 MinIO 的 S3 部署甚至比 Amazon 还多，因此我们不得不提出下一个出色的 S3 API
阅读更多...使用 Prompt API 与您的对象聊天
tl;dr：GET、PUT、PROMPT。现在，可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中，我们将探讨这个新 API 的一些用例以及代码示例
阅读更多...教育服务机构如何利用 MinIO 实现基础设施现代化
一家领先的教育服务组织开始着手改造其 IT 基础设施，集成 AI 并对其系统进行现代化改造，以更好地支持全国规模的解决方案。
阅读更多...利用大数据和人工智能彻底改变移动测试
移动应用程序是按需提供的公司品牌。它是了解组织提供的任何服务或产品的窗口。在 Kobiton，他们明白这一点 — 他们的使命是通过测试改进移动应用程序。
阅读更多...GPU 趋势及其对人工智能基础设施的意义
大约一年前（实际上是 11 个月前），我写了一篇关于“GPU 匮乏问题”的文章，以及 Nvidia 图形处理单元 （GPU） 的马力如何如此强大，以至于您的网络和存储解决方案可能无法跟上 - 阻止您昂贵的 GPU 得到充分利用。
阅读更多...AI/ML 的Sous-Chef：为什么你的第二位员工应该是 DevOps 工程师？
以正确的顺序雇用正确的专业知识。这就是我们结束这篇博客的上一版本的方式 招聘人工智能成功：为什么你的第一位员工应该是数据工程师，顺便说一句，这是一篇很好的读物，你应该在这篇文章之前先读一读
阅读更多...Exness： 利用 MinIO 管理 PB 级交易数据
在最近与 Exness DBA 团队负责人 Dmitry Alexandrov 的对话中，我们探讨了 MinIO 如何使 Exness 能够处理海量数据并提供闪电般的交易体验。
阅读更多...与您的数据对话： 用人工智能驱动的对象存储变革医疗保健
MinIO 的提示 API 现在是 AIStor 的一部分。MinIO 的创建是为了支持海量数据集，包括超过 EB 级的工作负载，解决内存、网络、复制和负载均衡方面的挑战，而 AIStor 的创建是为了建立在这些功能之上并解决我们客户的 AI 使用案例。
阅读更多...使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器实现可迭代式数据集
2023 年 11 月，Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元（数据集和数据加载器）的实现。
阅读更多...博客年度回顾： 2024 年 Top 10
2024 年对 MinIO 来说是重要的一年。我们不仅发布了 AIStor，这是迄今为止最强大的 MinIO 版本，而且还参加了 54 场活动，撰写了 159 篇博客，赢得了 10 多个奖项等等
阅读更多...AWS re:Invent 的创新技术
本月早些时候，Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re：Invent 大会。如果您从未参加过 re：Invent 会议，那么最能描述它的词是“巨大”——不仅从与会者人数（60,000 人）来看，还从涵盖的主题的广度来看
阅读更多...使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器进行模型检查点处理
2023 年 11 月，Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元（数据集和数据加载器）的实现。
阅读更多...我们现在都是数据运维工程师了吗？如果是，我们如何才能成为优秀的数据工程师？
当我刚开始从事数据工作时，每个人都是数据科学家。随着时间的推移，我们开始与众不同 - 您是构建数据管道，还是专注于构建和训练模型？您是在停电期间值班的寻呼机，还是仅在向执行董事会汇报时随叫随到
阅读更多...为什么开放式湖仓一体方法很重要：dbt 收购 SDF Labs 的经验教训
dbt （Data Build Tool） 是一个开源 SQL 转换框架，已成为许多现代数据团队的基石，提供灵活性和可访问性。最近，dbt 通过收购 SDF Labs 增强了其产品组合。
阅读更多...通过主权私有云缓解地缘政治问题
2025 年继承了多年前开始的一系列地缘政治担忧。美国外交政策、美中关系、中国的地缘政治策略、中东冲突、俄乌战争和网络安全威胁。此外，美国的新领导层增加了这些担忧带来的不确定性
阅读更多...了解 Agentic AI 的架构师指南
这篇文章于 2025 年 1 月 16 日首次出现在 The New Stack 上。通常，在了解一项受到大量炒作的新技术的合法性时，研究现有的核心能力和历史是有帮助的。
阅读更多...开放表格式和对象存储架构指南
比较 Apache Iceberg、Delta Lake 和 Apache Hudi，并了解如何为您的数据湖仓一体选择合适的开放表格式。开放表格式和对象存储正在重新定义组织构建其数据系统的方式，为可扩展、高效且面向未来的数据湖仓一体奠定了基础
阅读更多...Apache XTable：在数据湖仓一体中推进数据互作性
Apache XTable 通过以多种开放表格式提供对数据的访问，在增强互作性方面迈出了一大步。移动数据很困难，在过去，这意味着在为数据湖仓一体选择开放表格式时，您被锁定在该选择中
阅读更多...MLflow 模型注册表和 MinIO
MLflow 模型注册表允许您管理发往生产环境的模型。这篇文章从我上一篇文章关于 MLflow 跟踪的地方开始。在我的 Tracking 帖子中，我展示了如何记录参数、指标、工件和模型
阅读更多...介绍 MinLZ 压缩算法
存在不同类型的压缩算法和非常好的实现。在 MinIO，我们已经使用了 Snappy 的增强版本，它一直为我们服务良好。但随着时间的推移，我们发现了一些可能的改进，可以更好地对压缩数据进行编码
阅读更多...软件定义对象存储购买指南
数据是驱动现代企业的货币。能够代表组织多元化的利益相关者利用这些数据，是现代化、云原生、高性能且经济高效的系统的功能所在。这些现代化努力的核心是一个永恒的主题——使企业能够更好地服务客户。
阅读更多...Iceberg 的 Catalog API：Iceberg 表背后的原子指针管理器
Apache Iceberg极大地重塑了组织管理和与对象存储中的海量结构化分析数据集交互的方式。它带来了类似数据库的可靠性以及 ACID 事务、模式演化和时间旅行等强大功能。虽然这些功能通常被强调，但Iceberg Catalog API才是使这些表易于访问的关键。
阅读更多...