纠删码计算器
参考硬件
MinIO-无旋钮可旋转，无按钮可按
“我需要的越少，感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大，您将记住一个名为qmail的项目。由于其极简的设计（qmail安全保证），没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义
阅读更多...
基于Go的Amazon S3 CLI
MinIO Client“ mc”是用于Amazon S3兼容云存储和POSIX兼容文件系统的工具。它实现了基本的Unix命令，例如ls，cp，cat和diff。mc完全用Golang编写，并根据Apache License 2.0版发布。
阅读更多...2015年11月发布MinIO Client
下载最新的MinIO客户端'mc'http://minio.io/#mcMinIO客户端经过多次重写才能达到目的。我们修复了许多错误，并引入了新的错误。从此版本开始，我们将推送较小但频繁的更新。这是此版本中的一些增强功能。Google云存储，OpenStack Swift，Red Hat Ceph和
阅读更多...将您的Node.js应用程序日志存储到Minio
日志记录仍然是开发人员关注的主要问题之一。通常，各种组件（如Web服务器，数据库）会将日志存储在不同的位置。当出现问题时，开发人员需要四处寻找相关的日志。将您的应用程序日志自动存储在预定义的位置不是很好。您可以使用Fluentd和
阅读更多...在ARM上的Golang中将SHA256加速100倍
作为加密扩展的一部分，64位ARMv8内核引入了有关SHA1和SHA2加速的新指令。Minio我们对这些说明可能产生的差异感到好奇，这有时是您有时会得到的惊喜之一。我们一直在以下位置运行ARMv8服务器：
阅读更多...s3verify —验证AWS S3 API兼容性的简单工具
s3verify针对对象存储服务器执行一系列API调用，并检查响应是否与AWS S3签名版本4兼容。s3verify已获得Apache V2.0许可。为什么我们构建s3verify亚马逊网络服务（AWS）的简单存储服务（S3）已经成为goto云存储，因此任何新的竞争服务都有强烈的动机去
阅读更多...minio / dsync：Go的分布式锁定和同步包
minio / dsync是用于在nnodes网络上进行分布式锁定的软件包。它在设计时考虑了简单性，并且提供了有限的可伸缩性（n <= 16）。每个节点都连接到所有其他节点，并且来自任何节点的锁定请求将广播到所有连接的节点。如果n / 2，则节点将成功获得锁
阅读更多...通过Elasticsearch发布Minio事件
简介Minio服务器支持针对以下目标AMQP，Elasticsearch，Redis，nats.io，PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第2部分介绍了使用Elasticsearch服务器发送存储桶通知。配置Elasticsearch的步
阅读更多...通过Redis发布MinIO事件
简介Minio服务器支持针对以下目标AMQP，Elasticsearch，Redis，nats.io，PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第3部分介绍了使用Redis发送存储桶通知。配置Redis的步骤我在笔记本电脑上使用Ubuntu L
阅读更多...使用Minio和Kubernetes在GCP上构建与AWS S3兼容的云存储
admin
on
Kubernetes
on
Kubernetes
当今的应用程序产生的数据比以往任何时候都多，并且这种上升趋势有望在可预见的将来保持下去。您如何处理不断增长的应用程序存储需求？可以在您的应用程序运行的地方运行并可以自动扩展的存储解决方案是必经之路。添加多租户功能
阅读更多...为MinIO引入Webhooks
MinIO提供了与一系列后端系统的集成，使您能够为您的项目构建完整的解决方案。该团队最近整合了来自社区的请求请求，以添加Webhook支持，并希望向您介绍一下。首先，我们将看一下Webhooks是什么，它们可以与之联系的一些示例
阅读更多...利用MinIO和Pachyderm进行大规模的容器化数据分析
在诸如Kubernetes，Docker Swarm，DC / OS等编排平台上运行的容器。提供了功能强大的通用方法来部署应用程序。容器使您可以部署隔离的应用程序实例，并且可以启动多个此类实例以扩大负载服务容量。借助编排工具，您甚至不必担心单个服务器的容量和调度
阅读更多...Golang内部构件第2部分：命名返回值的好处
您可能知道Golang提供了命名返回值的功能。到目前为止，在MinIO上，我们并未使用太多此功能，但是由于有一些不错的隐藏好处，这种情况将有所改变，我们将在此博客文章中进行解释。如果您像我们一样，则可能有大量的代码，如下所示
阅读更多...Go实施静态数据加密
简介加密网络流量已成为默认设置。有诸如SSH和TLS之类的标准化协议，以及诸如“让我们加密”之类的项目可以保护通过网络发送的数据。例如，TLS接收数据流，将该流分块为消息，并在通过网络发送消息之前对每个消息进行加密。TLS确保每封邮件都经过加密
阅读更多...在MinIO Cloud Storage上使用Presto进行交互式SQL查询
在本文中，我们将了解为什么从MinIO等平台查询大型数据集时，Presto为什么以及如何成为首选工具。然后，我们学习在私有基础架构上设置和部署Presto的步骤。
阅读更多...Pivotal Container Service上的MinIO私有云
在本文中，我们将了解Pivotal Container Service的部署以及如何使用pks命令行工具来创建和管理Kubernetes集群。一旦您的PKS Kubernetes集群建立并运行，我们还将看到如何部署Minio。
阅读更多...具有MinIO的Modern Data Lake：第1部分
在这两个系列文章的第一部分中，我们将研究对象存储与其他存储方法的不同之处，以及为什么在数据湖中利用像Minio这样的对象存储是有意义的。
阅读更多...具有MinIO的Modern Data Lake：第2部分
在这篇文章中，我们将学习有关对象存储的更多信息，特别是Minio，然后了解如何将Minio与Apache Spark和Presto之类的工具连接以进行分析工作负载。
阅读更多...使用Apache Flink和MinIO进行流处理
如何使用Apache Flink为各种用例构建私有云数据管道。
阅读更多...为MinIO Data Lakes引入Spark-Select
开发早期的对象存储API时，它们专注于对象的有效存储和检索。亚马逊在S3上的成功及其强大的S3 API的实现迅速成为了云中对象存储的事实上的标准。MinIO意识到了这一点，因此投入巨资创建了Amazon外部最兼容的S3 API实现。
阅读更多...使用由Presto，R和S3 Select功能提供支持的MinIO构建本地ML生态系统
任何数字化旅程中的主要挑战之一是采用机器学习技术。鉴于工具和框架的爆炸式增长，可能很难
阅读更多...Hadoop HDFS的逻辑继承者
Hadoop的消亡可能是过分的。它不会突然从企业环境中消失-仅仅是有太多的客户，太多的沉没投资使其无法消失在夜里。毫不夸张的是，Hadoop与之前的无数技术一样，正在世俗地，不可逆转地衰落。有很多原因，但是
阅读更多...五个分层要点
在后视镜中放有另一个Strata后，该反思一下本周我们所见所闻。在这一点上，Strata显然是数据科学的展示，但是数据科学是广泛的话题。作为高性能对象存储的提供者，我们的观点得到了相应的构架，并且我们比起我们更关注数据栈
阅读更多...无摩擦加密
如果处理任何类型的数据，您都必须担心数据安全性。跨国银行是这样。对于中小型企业也是如此。加密永远都不应该是抵御恶意行为者的唯一防线，但它是每个组织都应考虑的最基本的安全最佳实践之一。但是，不是
阅读更多...大规模性能：MinIO借助256个NVMe驱动器，每秒可将速度超过1.4 TB
MinIO快速的事实并非秘密。除HDD和NVMe编号外，我们会定期发布基准测试，并针对HDFS和AWS（Spark + Presto）进行比较。我们最近发现了AWS上大型NVMe实例的可用性。比我们实际上见过的更大。我们采购了32个i3en。
阅读更多...扩展MinIO：将性能从TB升级到PB
正如我们在先前的基准测试中反复展示的那样，MinIO提供了同类最佳的性能。在这些基准测试中，我们选择了最高端的硬件，并测量了MinIO是否可以挤出其提供的所有资源。这证明了两个关键点：确保MinIO利用可用的最大CPU，网络和存储。确保MinIO不是IO瓶颈。
阅读更多...为什么医疗保健行业采用高性能对象存储
医疗保健行业在许多方面都是独一无二的。首先，它缺少要优化的通用目标函数。这是因为付款人和提供者这两个不同的医疗机构对不同事物的重视程度。盈利能力不是普遍目标-有教学医院，信仰医院和非营利性保险计划。还请考虑
阅读更多...simdjson-go：在Go中每秒解析千兆字节的JSON
简介JSON已将自己确立为Web的“通用语言”。因此，对于许多应用程序而言，JSON的解析性能非常重要。尽管JSON具有简单且人性化的特性，但从技术上讲，它并不是一种高速解析的琐碎格式。最近提出了一些新设计
阅读更多...用于Veeam备份和恢复的高性能对象存储
Veeam的V10版本大大增加了对象存储支持。了解这两个软件堆栈如何一起发挥作用，以提供面向性能的备份和还原。
阅读更多...使用AVX512可以将MD5的总哈希加速到800％
简介虽然在考虑哈希函数时，MD5哈希不再是一个不错的选择，但它仍在各种应用程序中使用。因此，可以考虑对MD5哈希速度进行的任何性能改进。由于SIMD处理（AVX2，尤其是AVX512）的最新改进，我们提供了Go md5-simd软件包
阅读更多...启动分解之旅的三个应用程序
聚合/分解轮取决于技术。但是，由于涉及计算和存储，我们正处于严重的分解浪潮中。使用当前可用的技术，经济非常简单–大小公司只需将计算/分析层与存储层分开，就可以在TCO基础上节省60％以上的费用。
阅读更多...MinIO 引入了持续可用性和主动-主动存储桶复制
推动企业走向云原生对象存储平台的关键要求之一是能够在多数据中心设置中使用存储。多个数据中心提供了可恢复的，高可用性的存储集群，能够承受其中一个或多个数据中心的完全故障。多数据中心支持使私有和混合云基础架构更接近公众
阅读更多...为什么小物件如此重要
在过去的十年左右的时间里，对象存储用例已经取代了传统的文件和块用例而发生了长足的发展。特别地，使用小型数据对象的需求变得司空见惯。是的，仍然有很多大对象，但对于特定的工作负载和应用程序环境，小对象变得比大对象更为普遍。
阅读更多...使用MinIO了解大型银行的客户数据
简介文件管理是金融，电信，医疗保健，政府等各种受监管机构的核心要求。这些机构需要管理和保留数量不断增长的文档，而监管准则通常要求将这些文档存储很长的时间（7-10年）。以KYC（了解您的客户）文档为例。
阅读更多...Cassandra 的问题：为什么它是对象存储的元数据数据库的糟糕选择
Cassandra是一个流行的，经过验证的NoSQL数据库，它支持键值宽列表。像任何强大的工具一样，Cassandra具有理想的用例-特别是，Cassandra擅长支持繁重的写工作负载，同时在支持繁重的读工作负载方面有局限性。Cassandra最终的一致性模型和缺少事务，连接，子查询等多表支持也会限
阅读更多...对象存储数据库——新常态
当您考虑对象存储工作负载和存储类型时，您首先想到的并不是数据库。然而，这种情况正在迅速改变，仅由两种力量驱动：真实、高性能对象存储的可用性和数据的爆炸性增长，或许更具影响力的是与其相关的元数据。
阅读更多...对象存储擦除编码与块存储 RAID
保护块与保护对象不同。了解与分布式对象存储中的擦除编码相比，块级 RAID 的不足之处。
阅读更多...弃用 MinIO 网关
MinIO 正在弃用网关，并将在六个月内完全删除。这不足为奇，我们从 2020 年开始通知社区，并稳步移除不受欢迎的网关。在过去的十个月里，MinIO 只进行了错误修复。社区可以在该日期之后继续使用旧版本的 MinIO。
阅读更多...将 MinIO 用于 AWS 本地区域
随着 AWS 本地扩展区的扩展 - 需要对象存储。AWS 建议使用 MinIO。
阅读更多...HDD 数据持久性：块级 RAID 与对象存储纠删码
在数据持久性、容错性和恢复时间方面，我们已经广泛发表了关于使用纠删码的对象存储如何比块存储 RAID 更好的方法的博客。存储技术领域的其他人开始意识到我们是对的，RAID，本质上是 1980 年代的技术，已经过时了，无法提供始终在线的数据驱动的云原生数据中心所需的数据保护。
阅读更多...Erasure Coding(纠删码)对 MinIO 中 CPU 利用率的影响和性能评估
纠删码是 MinIO 的核心功能。它是为分布式设置提供高可用性的基石之一。简而言之，写入MinIO的对象被分割成多个数据分片（M）。
阅读更多...使用 Kafka Schema Registry 和 MinIO 充分利用流媒体
admin
on
Kubernetes
on
Kubernetes
由流数据提供的现代数据湖/湖屋是许多寻求控制数据并将其应用于解决业务问题的企业关注的焦点。数据驱动的业务需要对自己的昨天和今天有敏锐的了解，才能在明天蓬勃发展。云原生事件流的最先进技术是带有对象存储端点（例如 MinIO）的 Apache Kafka。
阅读更多...使用 Kafka 和 MinIO 进行 Spark 结构化流处理
Apache Kafka 是领先的开源分布式事件流平台，用于构建数据管道、流分析、数据集成和应用程序。企业喜爱Kafka是因为它的高可用性、高吞吐量和可扩展性。他们还喜欢使用 Apache Spark 来处理数据和构建分析，因为它快速、分布式且具有容错能力
阅读更多...使用 MinIO 和 Kubeflow v2.0 构建 ML 训练管道
admin
on
Kubernetes
on
Kubernetes
Kubeflow Pipelines (KFP) 是 Kubeflow 最受欢迎的功能。 Python 工程师可以使用 KFP 装饰器将用普通旧 Python 编写的函数转换为在 Kubernetes 中运行的组件。
阅读更多...以对象存储为中心的世界的数据库
长期以来，数据库一直是基于 SAN 的块存储和基于 NAS 的文件存储的主要工作负载。
阅读更多...数据湖屋的颠覆性本质
1997 年，克莱顿·克里斯滕森 (Clayton Christensen) 在他的《创新者的困境》一书中确定了一种创新模式，该模式可跟踪现有企业和新进入者之间按细分市场划分的能力、成本和采用情况。
阅读更多...在 cnvrg.io 上利用 RAG 和 MinIO 增强大型语言模型
这篇文章是与 cnvrg.io 的 Harinder Mashiana 合作撰写的。
阅读更多...使用 MinIO 和 Kubeflow v2.0 构建 ML 训练管道2
我创建的数据管道将美国人口普查数据下载到 MinIO 的专用实例。
阅读更多...使用 MLFlow 和 MinIO 设置开发机器
MLflow 是一个开源平台，旨在管理整个机器学习生命周期。
阅读更多...使用 Kubeflow Pipelines 2.0 和 MinIO 设置开发机器
工程师喜欢在本地玩耍和学习。
阅读更多...MinIO是干什么的？
网上搜索“minio是干嘛的”这个问题搜索的太多了，我们感觉是我们的工作没有做好才给大家造成了这么大的信息差。在这里，我们有义务将信息差补齐。
阅读更多...如何使用Restic和MinIO进行备份
每个系统都需要备份，因为有无数种方法可以丢失本地文件系统数据和配置。这种损失可能是毁灭性的——可能导致收入损失、客户不满意，甚至代价高昂的诉讼。统计数据相当惨淡——遭受数据丢失事件的企业中有 60% 在六个月内关闭，而失去数据中心超过 10 天的公司中有 93% 在一年内申请破产。
阅读更多...MinIO不适用小文件，是真的吗？
网上一些评论和提问经常会遇到三个问题，我们将这三个问题展开: MinIO不适用于小文件？ MinIO小文件性能？ MinIO是否是合小文件的读取场景？ 首先，我们正面回答问题。 第一种观点是错误的，MinIO不仅非常适合小文件，还适合中型文件和大文件。
阅读更多...MinIO文件数量限制 是多少？
很多中国地区的“攻城狮”们和运维专家们有各种担心向我们提问。 MinIO有没有文件数量限制呀？ 还有这么问我们的？ 为了赚钱，MinIO会不会进行文件数量的限制呀？
阅读更多...minio和阿里云oss哪个好？
在回答这个问题前，我们首先要明白一个关于监管上的要求和产品上的区别。因此，如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3，都是全球非常优秀的对象存储产品。
阅读更多...从 Docker 到本地主机的顺畅之旅
想象一下，您正在笔记本电脑上进行开发，使用 Docker 将应用程序容器化，以实现一致性和易于部署。您当前的项目涉及使用 MinIO 进行对象存储，并且您在 Docker 中设置得很漂亮。
阅读更多...上云和下云可以同时提升企业收入：两件事可以同时为真？
麦肯锡（McKinsey）发布了一份有趣的报告，内容涉及人工智能对企业云投资的迫在眉睫的影响。 麦肯锡在文章的开头引用了一句话：“虽然可能的影响因行业而异，但采用云计算代表了普通公司将盈利能力提高 20% 到 30% 的机会。
阅读更多...HAproxy1.8 版本配置MinIO SSL出错解决方案
由于某客户在MinIO上使用的是HAproxy 1.8 版本，操作系统使用的是RHCL8.6 版本。在操作系统内核、SSL证书位数和HAproxy 1024位证书上产生问题。
阅读更多...使用 Ray Train 和 MinIO 进行分布式训练
单线程管道中的数据处理（或机器学习领域中通常称为数据预处理）通常是通过将整个数据集加载到内存中并在将数据交给模型进行训练之前对其进行转换来完成的
阅读更多...如何降低企业存储成本？
使用MinIO作为分布式对象存储系统，可以极大的帮助用户保护数据安全，在高IO和高吞吐情况下实现比传统老牌硬件存储厂商更低的成本、更高的性能和更符合自身业务情况的组合。
阅读更多...最近推出的 Amazon S3 Express 单区验证了对象存储是 AI 的主存储
在现代数据堆栈中，对象存储是主存储。在人工智能时代更是如此，企业几乎完全专注于对象存储。现代数据堆栈依赖于分解的计算和存储，以及在 Kubernetes 上的容器中运行的云原生微服务。
阅读更多...如何复制数据从S3到MinIO
很多时候，我们需要将数据从S3的站点（如华为云、阿里云、腾讯云），复制迁移回到本地的MinIO站点。 而云迁移回本地存储则是我们经常被问到的问题。
阅读更多...为什么不应该在 SAN/NAS 设备上运行 MinIO（还有一个例外）
在中国很多人还不太了解分布式，在底层使用SAN和NAS构建分布式存储遇到了很多问题。 现在我们通过这篇文章，告诉大家为什么不要使用NAS作为MinIO的底层存储。
阅读更多...LanceDB：在对抗数据复杂性战役中，您可信赖的坐骑
LanceDB 建立在 Lance（一种开源列式数据格式）之上，具有一些有趣的功能，使其对 AI/ML 具有吸引力。例如，LanceDB 支持显式和隐式矢量化，能够处理各种数据类型。
阅读更多...离线部署的MinIO
网络有不同的部分，例如 DMZ、公共、私有、堡垒等。这实际上取决于您的组织和网络要求。在部署应用程序时，任何应用程序，我们都需要考虑类型以及它是否需要位于网络的特定部分。
阅读更多...MinIO 批处理框架添加了对过期时间的支持
您现在可以使用 MinIO 批处理框架执行 S3 删除操作，以通过单个 API 请求删除大量对象。借助 MinIO 批处理框架，可以快速轻松地在 MinIO 部署中执行重复或批量操作，例如批量复制和批量密钥轮换。MinIO 批处理框架处理所有手动工作，包括管理重试和报告进度。
阅读更多...超大规模企业的经验教训：对象存储如何推动下一波托管服务的成功
在过去的几个月里，我们看到基于对象存储的超快速分析数据库的托管服务有所增加。随着企业意识到将闪电般快速的数据准备与对象存储相结合的战略优势
阅读更多...在MinIO中添加Pools(池)并扩展容量
服务器池可帮助您快速轻松地扩展现有 MinIO 集群的容量。这篇博文重点介绍如何增加一个集群的容量，这与添加另一个集群并在多个集群之间复制相同数据不同。
阅读更多...我如何知道我的MinIO集群复制是最新的？
客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制，以确保每个应用程序都使用最新的数据，无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中，我们详细介绍了各种可用的复制选项及其最佳实践。
阅读更多...AI 的未来是开源的
想象一下，在未来，人工智能不会被锁在公司的金库里，而是由全球创新者社区一砖一瓦地在开放中构建的。协作，而不是竞争，推动进步，道德考虑与原始绩效同等重要。这不是科幻小说，而是人工智能发展核心正在酝酿的开源革命。
阅读更多...使用 MinIO 和 PostgreSQL 简化数据事件
您可能已经在利用 MinIO 事件与外部服务进行通信，现在您将通过使用 PostgreSQL 自动化和简化数据事件管理来增强数据处理能力。本文是为那些对 MinIO、PostgreSQL 和 Docker 有基本了解的人量身定制的
阅读更多...将 SQL Server 2022 数据库备份到 MinIO
Microsoft 在将 S3 连接器和 Polybase 添加到 SQL Server 2022 时取得了重大飞跃。因此，企业可以利用他们保存到对象存储中的大量数据，并使用它来丰富 SQL Server 表。
阅读更多...如何实现KES续签证书？
MiniO KES（密钥加密服务）是 MinIO 开发的一项服务，旨在弥合在 Kubernetes 中运行的应用程序与集中式密钥管理服务 （KMS） 之间的差距。中央 KMS 服务器包含所有状态信息
阅读更多...使用 MinIO 构建兼容 S3 的股票市场数据湖
本文讲述如何通过MinIO的S3构建分布式数量的股票数据湖，用于高性能计算、AI选股和量化交易、高频交易等。
阅读更多...理解分布式存储的真实成本 - 10PB的硬件和软件
放弃专用硬件，让软件和硬件解耦，才能让您了争真实的硬件成本。
阅读更多...使用 CDC MinIO 汇入端为 CockroachDB 保持持久数据
CockroachDB 数据库迅速崭露头角，作为一个坚韧且可扩展的分布式 SQL 数据库。它从其昆虫名字的坚持不懈中汲取灵感
阅读更多...调试 MinIO 安装
MinIO 部署形式多样。我们支持在任意版本的 Linux 上进行裸金属安装，支持在任何版本的 Kubernetes（包括 Red Hat OpenShift）上进行容器化安装，还支持在大大小小的环境中部署单个轻量级二进制文件。
阅读更多...从公有云对象存储迁移到回私有化 MinIO需要了解的所有信息
我们已将这些回复汇总到这篇新文章中，其中我们更深入地研究了与遣返相关的成本和节省，以便您更轻松地进行自己的分析。对许多人来说，数据迁移是一项艰巨的任务。
阅读更多...锁定 MinIO 操作员权限
MinIO Operator 简化了 Kubernetes 集群上的 MinIO 管理，不仅在初始部署期间（第 0 天和第 1 天），而且在正在进行的第 2 天操作期间。
阅读更多...为什么贪婪的 GPU需要快速的对象存储？
一个链条的力量取决于其最薄弱的环节 - 同样，您的AI/ML基础设施的速度也只有您的最慢组件那么快。如果您使用GPU训练机器学习模型
阅读更多...我们阅读了谷歌的新出口政策，这样你就不用读了……真是让人惊讶
谷歌最近宣布，它将取消那些离开平台的人的数据出口费用。鉴于我们在云运营模式和云生命周期方面的立场，这似乎是一个重大公告。事实并非如此。
阅读更多...大型语言模型（LLM）的优势、劣势和风险
最近关于大型语言模型的奇迹已经说了很多LLMs。这些荣誉大多是当之无愧的。让 ChatGPT 描述广义相对论，你会得到一个非常好（且准确）的答案。
阅读更多...数据优先于模型：默默无闻的英雄们，他们解锁了真正的AI成果
机器学习和人工智能的魅力是不可否认的。想象一下，算法从您的数据中提取见解、预测客户行为并优化运营——纯金，对吧？但是，在你为一个训练有素的科学家的职位发布之
阅读更多...使用 MinIO 超级充电 TileDB 引擎
MinIO 是一个强大的主要 TileDB 后端，因为两者都是为性能和规模而构建的。MinIO 是一个单一的 Go 二进制文件，可以在许多不同类型的云和本地环境中启动。
阅读更多...创新S3存储桶检索：Langchain社区S3加载器搭载OpenAI API
在瞬息万变的数据存储和处理领域，将高效的云存储解决方案与先进的 AI 功能相结合，为处理大量数据提供了一种变革性的方法。
阅读更多...为什么您的企业 AI 战略可能会在 2024 年失败：模型下降与数据上升
其他人会说，这并不是真正的范围——大多数人在最初的人工智能尝试中都会失败，但这并不重要，学习是值得的。在某种程度上，两者都是对的——但我认为为什么企业会失败是值得探索的
阅读更多...MinIO 和 Apache Tika：文本提取模式
在这篇文章中，我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取，这是大型语言模型训练和检索增强生成 LLM和RAG 等关键下游任务的核心。
阅读更多...使用MinIO S3存储桶备份Weaviate
Weaviate 是一个开创性的开源向量数据库，旨在通过利用机器学习模型来增强语义搜索。与依赖关键字匹配的传统搜索引擎不同，Weaviate 采用语义相似性原则。
阅读更多...复制策略深入探讨
在之前的博客中，我们讨论了复制最佳实践和不同类型的复制，例如批量、站点和存储桶。但是，随着所有这些不同类型的复制类型的出现，人们不得不想知道在哪里使用哪种复制策略？
阅读更多...使用MinIO的SDK进行自动化数据准备以支持机器学习
机器学习中高效、自动化的数据准备的重要性怎么强调都不为过，并且通常概括为熟悉的公理“垃圾输入，垃圾输出”。这强调了数据质量在决定机器学习模型成功方面所发挥的关键作用。
阅读更多...使用GitOps自动化推动AI/ML工作流程
作为一名深耕自动化和人工智能领域的开发人员，我们逐渐认识到尖端工具和方法之间的显着协同作用，这些协同作用突破了可能性的界限。在这次探索中，我们想分享一个概念，它不仅彻底改变了我们的软件开发和基础设施管理方法，而且还打开了无尽创新的大门：GitOps。
阅读更多...prefix（前缀） 与文件夹的对比
在传统的 POSIX 系统中，您可能熟悉可以读取和访问传统意义上的文件夹的数据访问函数。 POSIX 的问题在于它从来没有真正设计用于通过网络处理非常大的文件。
阅读更多...DirectPV的故事
2020 年，MinIO 为基于 Kubernetes 的 MinIO 存储部署实施了直接持久卷 （DirectPV）。DirectPV 类似于 LocalPV，但动态预配。
阅读更多...使用 MinIO SDK 开发 Langchain 代理以供 LLM 工具使用
在我之前关于 Langchain 的文章中，我探讨了“社区 S3 加载器”的使用，虽然有用，但功能有限。在这里，我们深入探讨了定制工具的开发（本演示重点介绍MinIO对象上传）以及它们通过Langchain代理和执行器与大型语言模型（LLMs）的集成。
阅读更多...使用 Iceberg、Tabular 和 MinIO 构建现代数据架构
现代数据环境需要一种新型的基础架构，即无缝集成结构化和非结构化数据、轻松扩展并支持高效的 AI/ML 工作负载的基础架构。这就是现代数据湖的用武之地
阅读更多...动态 ETL 管道：使用非结构化 IO 将 AI 与 MinIO 和 Weaviate 的 Web
在现代数据驱动的环境中，网络是一个无穷无尽的信息来源，为洞察力和创新提供了巨大的潜力。然而，挑战在于提取、构建和分析这片浩瀚的数据海洋，使其具有可操作性。
阅读更多...在自托管基础设施上使用 GitOps 部署 MinIO
基于MinIO Weaviate Python GitOps探索的见解，本文探讨了如何增强软件部署流程的自动化。
阅读更多...专为数据设计的防火墙：MinIO 企业对象存储防火墙
虽然市面上有许多防火墙，但它们通常分为两类：基于 IP 的防火墙和应用程序防火墙。基于IP的防火墙，在第3层和第4层运行，简单，轻量级，相当原始。
阅读更多...解决安全规模问题：MinIO 企业对象存储密钥管理服务器
在强大可靠的存储解决方案领域，MinIO 作为持久层脱颖而出，为组织提供安全、持久和可扩展的存储选项。
阅读更多...使用 MinIO Enterprise 对象存储目录搜索命名空间和元数据并为其建立索引
我们最大的客户（那些拥有 EB 级数据和数千亿个对象的客户）所面临的挑战之一是无法有效地搜索和查询命名空间，从而为组织创建可用的清单。
阅读更多...强大的视角：介绍 MinIO 企业对象存储可观察性
可观测性革命推动了计算、安全、基础设施和可审计性方面的巨大进步。企业可观测性提供对云原生系统的全面和精细的可见性，以更快地识别和解决问题。
阅读更多...MinIO Enterprise Cache：实现超性能的分布式 DRAM 缓存
随着计算世界的发展和DRAM价格的暴跌，我们发现服务器配置通常配备 500GB 或更多的 DRAM。当您处理大型部署时，即使是那些具有超高密度 NVMe 驱动器的部署，这些服务器上的服务器数量乘以 DRAM 也会迅速增加
阅读更多...单一管理平台 - Enterprise Global Console
大约三年前，当我们向客户和社区推出控制台时，MinIO 的世界发生了变化。这是可访问性的巨大飞跃。
阅读更多...企业对象存储功能集
今天有这么多的产品优点同时出现，我们认为制作一个快速总结文章是有意义的，其中包含我们所做的所有更改和我们引入的所有功能。让我们从顶部开始。
阅读更多...推动 AI/ML 创新：使用 MinIO 的高性能对象存储构建特征存储
MinIO 为全球 S3 和对象存储设定了标准，并已成为实现 AI 代理和功能存储集成的关键参与者。
阅读更多...具有 Hudi、MinIO 和 HMS 的现代数据湖
[Apache Hudi](https://hudi.apache.org/) 已成为管理现代数据湖的领先开放表格式之一，直接在现代数据湖中提供核心仓库和数据库功能。
阅读更多...分解数据堆栈：存储和计算 2.0 的分解
在LinkedIn上，有一篇优秀的帖子在数据和数据库人群中流行。它由 Theory VC 合伙人 Tomasz Tunguz 撰写，讲述了我们自 2019 年以来讨论的趋势。
阅读更多...使用 GitOps 进行防灾 MinIO
想象一下，您已经花费了无数小时来完善 Docker Swarm 设置，精心设计每项服务，并调整 CI/CD 管道以实现无缝自动化。
阅读更多...AI/ML 数据湖参考架构架构师指南
这篇文章的缩写版本于 2024 年 3 月 19 日出现在 The New Stack 上。 在企业人工智能中，主要有两种类型的模型：判别模型和生成模型。
阅读更多...来自 Kubecon Paris 的快讯
一年一度的 KubeconEU 审查时间到了——它未经过滤，偶尔不受 CNCF 的欢迎——但剧透警告，巴黎取得了巨大的成功。
阅读更多...MinIO 网络与覆盖网络
云计算和容器化技术的发展改变了应用程序的开发、部署和管理方式。这种转变给网络环境带来了重大变化，为DevOps和SRE工程师带来了新的挑战和机遇。
阅读更多...全栈人工智能工程师：现代博学者
任何在团队环境中工作过的人都知道，每个成功的团队都有一个得力助手——无论你的问题性质如何，他都能帮助你。
阅读更多...迈向百亿亿次人工智能数据基础设施
对我来说，在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是，产品的简单性既是其显着特征，也是其最具决定性的价值驱动因素之一。
阅读更多...架构师指南：现代 Datalake 参考架构
这篇文章的缩写版本于 2024 年 3 月 26 日出现在 The New Stack 上。 旨在最大化其数据资产的企业正在采用可扩展、灵活和统一的数据存储和分析方法。
阅读更多...使用 LangServe 构建和部署 MinIO 支持的 LangChain Agent API
我们在LangChain的创新世界中的旅程揭示了其在转变数据管理和应用程序功能方面的强大能力。
阅读更多...构建下一代数据解决方案：SingleStore、MinIO 和现代 Datalake 堆栈
SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统，支持 ANSI SQL，并因其在数据引入、事务处理和查询处理方面的速度而受到认可。
阅读更多...北方银行 - HDFS 现代化快速案例研究
故事很重要，客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。
阅读更多...在 Equinix 上使用 MinIO 控制云数据成本
公有云改变了公司构建、部署和管理应用程序的方式，主要是向好的方向发展。在您刚开始使用时，公有云会提供基础架构、服务、支持和维护，以便快速启动和运行。
阅读更多...航行在水域：使用数据湖构建生产级 RAG 应用程序
在 2024 年年中，创建一个令人印象深刻和兴奋的 AI 演示可能很容易。需要一个强大的开发人员，一些聪明的提示实验，以及一些对强大基础模型的API调用，你通常可以在一个下午建立一个定制的AI机器人。
阅读更多...通过开放解析智能分块提高 RAG 性能
如果要使用大型语言模型 （）LLMs 实现生成式 AI 解决方案，则应考虑使用检索增强生成 （RAG） 的策略来生成上下文感知提示LLM
阅读更多...Apache Arrow 和数据的未来：开放标准推动人工智能发展
Apache Arrow 是一种开源列式内存格式，适用于平面数据和分层数据
阅读更多...针对 AI 优化数据湖仓一体：使用 MinIO 仔细了解 RisingWave
RisingWave 是现代数据湖仓一体处理层中的开源流数据库，专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。
阅读更多...在检索增强生成 (RAG) 管道中使用 MinIO Weaviate 和 Langchain 优化
作为 MinIO 专注于 AI 集成的开发人员，我一直在探索如何将我们的工具无缝集成到现代 AI 架构中，以提高效率和可扩展性。
阅读更多...从 Hadoop 迁移，无需淘汰和替换
我们仍然惊讶于有如此多的客户来找我们，希望从HDFS迁移到现代对象存储，如MinIO
阅读更多...世界是软件定义的 - 正如硬件公司所证明的那样
很难相信，马克·安德森（Marc Andressen）在13年前写下了他著名的博客，题为“软件正在吞噬世界”。
阅读更多...Make it Rain：遣返公有云工作负载如何节省数百万美元
公有云的现象很难让你动手。自从AWS在本世纪初启动以来，它已经发展壮大并演变成一个现代计算平台，创造了我们所知道的云运营模式。
阅读更多...适用于 AI/ML 工作负载的有状态 KES
在此概念验证 （POC） 中，我们将探讨在 Kubernetes （k8s） 生态系统中安装和管理有状态密钥加密服务 （KES）。
阅读更多...手动重新平衡您的 MinIO Modern Datalake
当通过添加新的服务器池来扩展 MinIO Modern Datalake 部署时，默认情况下它不会重新平衡对象。
阅读更多...探索 Kubernetes v1.30：与 MinIO 部署相关的增强功能
Kubernetes v1.30 的发布带来了一系列更新，其中一些更新对于高性能 Kubernetes 原生对象存储 MinIO 的用户来说可能意义重大。
阅读更多...使用 Kubernetes 部署 MinIO 和 Trino
Trino（以前称为 Presto）是一个 SQL 查询引擎，而不是 SQL 数据库。Trino 避开了 SQL 数据库的存储组件，只专注于一件事 - 超快的 SQL 查询
阅读更多...使用 MLRun 和 MinIO 设置开发机器
MLOps 之于机器学习，就像 DevOps 之于传统软件开发一样。两者都是一组旨在改善工程团队（开发或 ML）和 IT 运营 （Ops） 团队之间协作的实践和原则
阅读更多...使用 MinIO S3 和 Tailscale VPN 部署应用程序基础设施
在现代 IT 运营中，面向 IT 运营的人工智能 （AI-Ops） 正在通过使用高级算法自动执行任务来改变数据管理。MinIO 和 Tailscale 共同为应用层开发提供了安全、可扩展和有效的基础设施
阅读更多...AI 基础设施要点——AB Periasamy 和 Matthew DeMello 主持的 AI
MinIO 的联合创始人兼首席执行官 AB Periasamy 最近在 AI in Business 播客中亮相，他与 Emerj 的高级编辑 Matthew DeMello 就企业的 AI 基础设施和对象存储进行了丰富的对话
阅读更多...使用 MLRun 和 MinIO 进行模型训练和 MLOps
在我之前关于 MLRun 的文章中，我们设置了一台开发机器，其中包含试验 MLRun 所需的所有工具。具体来说，我们使用 docker-compose 文件为 MLRun UI、MLRun API 服务、Nuclio、MinIO 和 Jupyter 服务创建容器
阅读更多...MinIO 推出技术认证
我们很高兴地宣布我们的第一个技术认证，即 MinIO 认证管理员 - 从业者。MinIO 认证专业计划旨在验证个人管理 MinIO 的实践技能
阅读更多...Snowflake 外部表的最新增强功能：您需要了解的内容
自从我们上一篇关于如何使用 MinIO 扩展 Snowflake 实现的博客文章以来，Snowflake 对外部表的支持已经发生了重大更新
阅读更多...Kubernetes 中 ElasticSearch 中的 MinIO 审核日志
无论您是在本地还是在云中，您都希望确保以同构的方式设置工具和流程。无论在何处访问基础结构，您都希望确保用于与各种基础结构进行交互的工具与其他区域相似。
阅读更多...混合云管道的未来：集成 MinIO、Tailscale 和 GitHub Actions
数据处理是现代软件开发的基本实践。它使团队能够自动收集、处理和存储数据，确保高质量的数据和高效的处理。
阅读更多...公共云遣返的经济性
在过去的几年里，显而易见的是，尽管公有云具有所有优势，但它并不能大规模地节省成本
阅读更多...使用外部表增强 Snowflake
作为 Snowflake 用户，您可能熟悉它在协作环境中管理数据方面的优势。Snowflake 的用户体验经常因其直观的界面和无缝集成功能而受到称赞
阅读更多...将 MinIO 与 Keycloak OIDC 集成
Keycloak是一种单点登录解决方案。使用Keycloak，用户使用Keycloak而不是MinIO进行身份验证。如果没有Keycloak，您将不得不为每个用户创建一个单独的身份 - 从长远来看，这将很麻烦
阅读更多...Dell ECS 数据移动到 MinIO
Dell ECS 集群允许您将数据迁移到任何 S3 兼容存储。Dell ECS 将此功能称为“数据移动”，也称为复制到云
阅读更多...WARP 加速您的 AI 数据存储基础设施
你知道一些最好的人工智能模型的秘诀吗？这是他们可以访问的数据量，他们可以接受培训。对于 AI/ML 模型：快速访问数据为王
阅读更多...GenAI 技术堆栈架构师指南 - 十种工具
我之前写过关于现代数据湖参考架构的文章，解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具（特别是HDFS）以及对RESTful API（S3）和性能的更大需求——但我想填补一些空白
阅读更多...人工智能建立在对象存储上的真正原因
在当前的机器学习范式中，性能和能力与计算成比例，计算实际上是数据集大小和模型大小的代理
阅读更多...使用 MinIO 赢得 RAG 权利
人们常说，在人工智能时代，数据是你的护城河。为此，构建生产级 RAG 应用程序需要合适的数据基础架构来存储、版本控制、处理、评估和查询构成专有语料库的数据块
阅读更多...迁移至 AI-Ready 基础架构：日立内容平台至 MinIO
借助我们的 HCP-to-MinIO 工具，从 Hitachi Content Platform （HCP） 过渡到 MinIO 从未如此简单。该工具旨在支持客户不断变化的存储需求，可在 GitHub 上免费获得，大大简化了迁移过程。
阅读更多...架构师机器学习操作 (MLOps) 指南
MLOps 是机器学习操作的缩写，是一组实践和工具，旨在满足工程师构建模型并将其投入生产的特定需求
阅读更多...Databricks 收购 Tabular 的意义：数据开放框架的胜利
Databricks 宣布收购 Tabular，这是一个由 Apache Iceberg 的原始创建者开发的数据平台，在数据分析行业引发了涟漪。
阅读更多...MinIO 突破了Boundary
随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据，有时他们需要以“老派”的方式做一些事情，因为根本没有其他方法。其中之一是堡垒主机。
阅读更多...使用 Snorkel 和 MinIO 的以数据为中心的 AI
如今，业界都在谈论大型语言模型及其编码器、解码器、多头注意力层和数十亿（即将数万亿）的参数，人们很容易相信好的人工智能只是模型设计的结果
阅读更多...OpenShift 的 App Store：OperatorHub 中的 MinIO
在云中运行 AI 数据存储基础设施非常昂贵。不仅存储数据的成本很高，而且每次应用程序使用来自 AI 数据存储基础设施的数据时，您都会被收取入口和出口费用。
阅读更多...通过强大的语义层增强现代数据湖
在现代数据湖架构中，语义层通过向数据添加有意义的上下文来发挥至关重要的作用，否则这些上下文会丢失
阅读更多...新私有云架构师指南
在那里的几年里，“私有云”一词具有负面含义。但正如我们所知，技术更像是一个轮子而不是一个箭头，而且就在提示下，私有云正在受到大量关注，而且这一切都是积极的
阅读更多...在 MinIO 使用 SVE 将 ARM 带入人工智能数据基础设施领域
MinIO 性能如此之高的原因之一是，我们做了其他人不会或不能做的细粒度工作。从 SIMD 加速到 AVX-512 优化，我们已经完成了艰巨的任务
阅读更多...深入了解：MinIO 企业对象存储的可观察性
可观测性是指收集信息（跟踪、日志、指标），以提高性能、可靠性和可用性为目标。很少有人能确定其中一个事件的根本原因
阅读更多...目录的 “IT ”时刻及其对 MinIO、对象存储和人工智能的意义
在现代数据湖中，目录是高效组织和查询数据的支柱。最近的新闻报道，包括 Databricks 收购 Tabular 和 Snowflake 开源 Polaris，都给目录带来了“它”的时刻
阅读更多...使用 MinIO、Langchain 和 Ray Data 构建分布式嵌入式子系统
嵌入子系统是实现检索增强生成所需的四个子系统之一。它将您的自定义语料库转换为可以搜索语义含义的向量数据库
阅读更多...冰山的崛起：数据架构的转变
像 Apache Iceberg、Apache Hudi 和 Delta Lake 这样的开放表格式已成为查询处理器的事实标准。然而，最近有消息称 Snowflake 和 Databricks 等查询引擎采用了 Iceberg 的 REST 目录 API，这改变了竞争环境，有利于 Iceberg
阅读更多...基于 Kafka 的经验：AutoMQ 和 MinIO 如何解决成本和弹性挑战
Apache Kafka 因其出色的设计和强大的功能而成为流式处理的事实标准。它不仅定义了现代流式处理的架构，而且其独特的分布式日志抽象还为实时数据流处理和分析提供了前所未有的功能
阅读更多...细分 Insight 合作伙伴 2024 年企业技术状况报告
Insight Partners 的团队刚刚发布了 2024 年企业技术状况报告。在 60+ 幻灯片中有很多东西可以消耗，但我们挑选了应该让我们的观众感兴趣的东西 - 坦率地说，有很多有趣的东西
阅读更多...MinIO DataPod：百亿亿次级计算的参考架构
现代企业通过其数据来定义自己。这需要用于 AI/ML 的数据基础设施，以及作为现代数据湖基础的数据基础设施，该数据基础设施能够支持商业智能、数据分析和数据科学
阅读更多...利用 Splunk 对人工智能数据基础设施进行 Spelunk 分析
在企业数据方面，MinIO Enterprise Object Store 和 Splunk 有着共生关系。Splunk在其数字流处理器中使用MinIO
阅读更多...DORA 法规及其对企业数据存储影响的架构师指南
监管环境正在迅速发展，欧洲即将出台的《数字运营弹性法案》（DORA）就是这种动态变化的证明。我们有多个欧洲银行客户，每个客户都从略有不同的角度来解决这个问题
阅读更多...现代数据湖的基础： 对象存储如何锚定一切
在人工智能和其他新技术的兴奋中，有一个组件悄悄而关键地将所有东西联系在一起——无论是字面上还是比喻上。这就是现代对象存储
阅读更多...PostgreSQL 与对象存储的结合： 在 MinIO 中访问外部数据
数据领域最激动人心的发展之一是湖仓一体功能在所有主要数据库供应商中的兴起。Snowflake 和 SQL Server 长期以来一直采用这一点，现在 PostgreSQL 正在通过 pg_lakehouse 拥抱这种范式转变，使得利用现代数据湖进行分析、AI 等比以往任何时候都更容易
阅读更多...东方银行--用 MinIO 和 Dremio 替代 Hadoop
我们的客户是一家总部位于日本的全球金融机构，最近与MinIO和Dremio一起完成了一个雄心勃勃的Hadoop替换项目。
阅读更多...使用 WARP 和 Perf 测试对 MinIO 企业对象存储进行基准测试
AI/ML、高级分析和数据库等现代应用程序需要高性能对象存储。MinIO Enterprise Object Store 将可扩展性和高性能相结合，使每个工作负载（无论要求多么苛刻）触手可及
阅读更多...开源还是封闭？人工智能的两难选择
这篇文章于 2024 年 7 月 29 日首次出现在 The New Stack 上。人工智能正处于软件行业的完美风暴中，现在马克·扎克伯格 （Mark Zuckerberg） 正在呼吁开源 AI
阅读更多...MinIO Packet Pushers 播客： 汤姆-里昂，《NFS 必死》。
我们真的很喜欢 Packet Pushers 的团队。他们的播客是业内最好的播客之一，涵盖了从堆栈顶部到底部的技术。
阅读更多...微链接： 利用 MinIO 实现计算和存储的还原
Microblink 是一家专门从事图像检测的 AI 公司。他们从 BlinkID、BlinkID Verify 和 BlinkCard 等产品开始进入身份空间
阅读更多...对象存储上的数据库--新常态
当您考虑对象存储工作负载和存储类型时，数据库正日益成为核心工作负载。这些变化是由两股力量驱动的：高性能对象存储的可用性以及数据（特别是其相关元数据）的爆炸式增长
阅读更多...停止向供应商提供您的数据
组织管理其数据基础设施的方式正在发生重大转变。越来越多的公司认识到存储和计算分离的优势，从而获得更好的性能、成本节约和可扩展性。这一趋势是由 AI 和 ML 工作负载日益复杂所推动的，这些工作负载需要灵活、高性能的系统
阅读更多...引领潮流： MinIO 针对现代数据工作负载的条件写入功能
当 AWS S3 说话时，人们会倾听。上周，他们宣布了条件写入功能。但这对我们 MinIO 来说并不是突发新闻——我们最初在 2023 年 2 月合并了对条件写入的支持，从那时起，我们的许多客户一直在使用它
阅读更多...从 HDFS 迁移到 MinIO 企业对象存储
云原生、面向 Kubernetes 、基于微服务的架构推动了对 MinIO 等网络存储的需求。在云原生环境中，对象存储的优势很多 - 它允许独立于存储硬件对计算硬件进行弹性扩展。它使应用程序无状态，因为状态是通过网络存储的，并且通过降低操作复杂性，使应用程序能够实现比以往更高的规模
阅读更多...为什么说 Confluent 收购 WarpStream 强化了对象存储作为数据流未来的地位？
Confluent 最近收购了 WarpStream，这对数据流和对象存储集成的未来具有重大影响。WarpStream 旨在直接在对象存储上运行。
阅读更多...大数据的挑战是小文件。
小文件可能会给存储平台及其支持的应用程序带来大问题。在 Google 上搜索 “small files performance” 会产生 2M+ 的结果
阅读更多...从 Kafka 到 WarpStream： 用 MinIO 简化数据流
虽然 Apache Kafka 长期以来一直是流数据的行业标准，但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream，它最近在 Confluent 的所有权下进入了新的篇章
阅读更多...现代数据堆栈中灵活性的力量：数据湖仓一体的优势
最近，我与我们一位出色的数据科学家 Archana Vaidyanathan 进行了交谈，她面临着一个非常普遍的挑战 — 计算成本飙升。在更大的数据集上运行大型查询后，费用远高于预期
阅读更多...从存储到人工智能洞察： 利用 MinIO 和 Polars 简化数据管道
将 MinIO 的高性能、可扩展企业对象存储的强大功能与 Polars（闪电般快速的 DataFrame 库）的快速内存数据处理功能相结合，可以显著提高数据管道的性能
阅读更多...我们试用了戴尔ObjectScale社区版，它并不完美
Dell 通常专注于文件管理器游戏，但他们涉足对象存储，并且有一个非常古老的产品 ECS。这是有道理的，它是磁带的升级版，不适合 HDFS 现代化或数据库工作负载等动态工作负载
阅读更多...为您的人工智能数据提供类似 Git 的版本管理功能
您过去肯定有过版本控制代码。但是，您是否对数据进行了版本控制？您是否曾经想过与不同的团队协作处理大量数据，而无需提交大量数据？想象一下，使用类似 git 的命令来运行类似存储库的生态系统
阅读更多...MinIO 学习订阅服务
MinIO 的入门非常简单 — 只需几个简单的命令和一个 100 MB 的小二进制文件，您就可以立即启动并运行一个功能性开发环境。但是，为了在生产规模上利用 MinIO 的全部功能，我们鼓励专业人士更多地了解 MinIO 的广泛功能
阅读更多...开源催生开源：Tesla 如何加速 AI 发展
特斯拉最近宣布开源其特斯拉以太网传输协议 （TTPoE），这是一种尖端网络结构，专为 AI/ML 数据中心环境中的高速、低延迟数据传输而设计，从而掀起了波澜
阅读更多...为人工智能的成功而招聘： 为什么你的第一位员工应该是数据工程师？
AI 计划通常是许多希望从数据中提取价值的组织的首要任务。但是，在聘请高技能的 AI/ML 工程师之前，需要建立管理和优化数据的关键基础
阅读更多...云作为一种运营模式--而非物理位置
我们以前已经说过，但值得重复一遍。云是一种运营模式，而不是物理位置。这就是为什么您会在公共云、私有云和边缘到处都能找到 MinIO 的原因
阅读更多...通过监控和警报驯服人工智能野兽
AI 是一头野兽。它需要不断地被喂养。它需要喂什么？当然是数据，而且是大量的。请记住，数据和 AI 是同一枚硬币的两面。人们经常忘记，最初构建 AI 模型的原因是因为它们被馈送到数百 PB 到 EB 的数据
阅读更多...从 Hadoop 迁移到数据 Lakehouse 的架构师指南
从 Hadoop 到数据湖仓一体架构的演变代表了数据基础架构的重大飞跃。虽然 Hadoop 曾经以其强大的批处理能力统治着大数据领域，但如今的组织正在寻求更敏捷、更具成本效益和现代化的解决方案。
阅读更多...软件定义存储与设备的比较
如今，每个人都声称自己是一家软件公司。从 Marc Andressen 近十年前的声明“软件正在吞噬世界”到华尔街推动产生经常性软件收入;压力在于声称 - 至少 - 你是一家软件公司
阅读更多...使用 Kafka 和 MinIO 实现人工智能数据工作流
MinIO Enterprise Object Store 是用于创建和执行复杂数据工作流的基础组件。此事件驱动功能的核心是使用 Kafka 的 MinIO 存储桶通知。
阅读更多...复制、数据整合和数据迁移
Parsec Labs 是一家工程师公司。大多数人都设计了存储系统，负责备份和复制，或者从事网络构建交换机的工作。其 Unified Data Mobility and Protection Appliance 成立于 2013 年，为大规模迁移、复制和备份数据提供了最直接的工具。
阅读更多...实现可扩展人工智能的便捷之路：英特尔 Tiber 开发者云 + MinIO 对象存储
当今组织在 AI 和数据管理方面面临的最大挑战之一是获得可靠的基础设施和计算资源。英特尔 Tiber 开发人员云专为需要概念验证、实验、模型训练和服务部署环境的工程师而构建
阅读更多...使用亚马逊 S3 连接器为 PyTorch 和 MinIO 创建地图式数据集
在深入研究 Amazon 的 PyTorch S3 连接器之前，有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外，许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。
阅读更多...先睹为快： MinIO 对象存储与人工智能调查
MinIO 最近对 656 名 IT 领导者进行了调查，这是 User Evidence 主要研究计划的一部分。结果非常有趣，突显了我们在企业中看到的巨大变化，无论是围绕向对象存储的转变，还是将对象存储用作组织 AI 计划的主要构建块的兴趣。
阅读更多...人工智能数据栈互操作性架构师指南
最初发布于 New Stack。 AI 的未来是开放的，无论您的堆栈中采用何种技术，互操作性都是您保持领先地位的门票。
阅读更多...遣返人工智能工作负载： 云计算成本飙升的内部解决方案
云曾经承诺无限的可扩展性、灵活性和效率。但随着生成式 AI 的兴起，许多组织正在以前所未有的云账单形式经历粗暴的觉醒。根据 Tangoe 最近的报告
阅读更多...为以人工智能为中心的工作负载重新设计的全局控制台
MinIO 控制台多年来一直是一个不断发展的产品。每次学习时，我们都会思考如何改进交互框架中这个非常重要的部分。首先是控制台，它在推出后的一年内就被广泛采用。
阅读更多...AIHub： 模型和数据集的私有云存储库
AIStor 的最新功能之一是广受欢迎的开源项目 Hugging Face 的私有云版本。这篇文章详细介绍了 AIStor 的 AIHub 如何有效地创建一个完全由企业控制的 API 兼容的私有云版本的 Hugging Face。
阅读更多...MinIO 的 S3 over RDMA 计划： 为高速人工智能数据基础设施设定对象存储新标准
随着 AI 和机器学习的需求不断加速，数据中心网络正在迅速发展以跟上步伐。对于许多企业来说，400GbE 甚至 800GbE 正在成为标准选择，因为数据密集型和时间敏感型 AI 工作负载需要高速、低延迟的数据传输
阅读更多...史上最强大的 S3 API？介绍 Prompt API。
迄今为止，对象存储世界已由 PUT 和 GET 的 S3 API 概念定义。然而，我们现在生活的世界需要更多。鉴于 MinIO 的 S3 部署甚至比 Amazon 还多，因此我们不得不提出下一个出色的 S3 API
阅读更多...有史以来功能最强大的 MinIO 版本--AIStor 介绍
今天，我们宣布推出 AIStor，这是一个新版本，它代表了我们专注于为 AI/ML 工作负载构建世界上最好的对象存储。AIStor 代表了我们最大客户一年的加速学习
阅读更多...使用 Prompt API 与您的对象聊天
tl;dr：GET、PUT、PROMPT。现在，可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中，我们将探讨这个新 API 的一些用例以及代码示例
阅读更多...教育服务机构如何利用 MinIO 实现基础设施现代化
一家领先的教育服务组织开始着手改造其 IT 基础设施，集成 AI 并对其系统进行现代化改造，以更好地支持全国规模的解决方案。
阅读更多...利用大数据和人工智能彻底改变移动测试
移动应用程序是按需提供的公司品牌。它是了解组织提供的任何服务或产品的窗口。在 Kobiton，他们明白这一点 — 他们的使命是通过测试改进移动应用程序。
阅读更多...GPU 趋势及其对人工智能基础设施的意义
大约一年前（实际上是 11 个月前），我写了一篇关于“GPU 匮乏问题”的文章，以及 Nvidia 图形处理单元 （GPU） 的马力如何如此强大，以至于您的网络和存储解决方案可能无法跟上 - 阻止您昂贵的 GPU 得到充分利用。
阅读更多...AI/ML 的Sous-Chef：为什么你的第二位员工应该是 DevOps 工程师？
以正确的顺序雇用正确的专业知识。这就是我们结束这篇博客的上一版本的方式 招聘人工智能成功：为什么你的第一位员工应该是数据工程师，顺便说一句，这是一篇很好的读物，你应该在这篇文章之前先读一读
阅读更多...Exness： 利用 MinIO 管理 PB 级交易数据
在最近与 Exness DBA 团队负责人 Dmitry Alexandrov 的对话中，我们探讨了 MinIO 如何使 Exness 能够处理海量数据并提供闪电般的交易体验。
阅读更多...充分利用 AIStor 的网络配置
AIStor 可以以分布式方式部署，从而有效利用多个物理机或虚拟机的计算和存储资源。这可以是在私有云或公共云环境中运行的 AIStor，例如使用 Amazon Web Services、Google Cloud Platform、Microsoft 的 Azure 平台等
阅读更多...与您的数据对话： 用人工智能驱动的对象存储变革医疗保健
MinIO 的提示 API 现在是 AIStor 的一部分。MinIO 的创建是为了支持海量数据集，包括超过 EB 级的工作负载，解决内存、网络、复制和负载均衡方面的挑战，而 AIStor 的创建是为了建立在这些功能之上并解决我们客户的 AI 使用案例。
阅读更多...解密亚马逊 S3 表： 为什么 AIStor 使特殊桶变得没有必要？
AWS 最近宣布推出 Amazon S3 表，该功能旨在解决在云中存储和查询表格数据的独特挑战。虽然这听起来可能具有革命性，但仔细观察会发现，AWS 试图克服的限制是他们自己的基础设施所固有的，而不是对象存储所固有的。
阅读更多...AIStor 更新和重启最佳做法
在现代世界中，保持系统运行不仅仅是赌注 - 它是没有商量余地的。当涉及到软件更新及其对您的系统意味着什么时 - 嗯，这要复杂得多。一方面，安全性是当今更新的主要驱动力，这也是没有商量余地的。需要尽快在所有系统中实施补丁，以保持最强的安全性
阅读更多...使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器实现可迭代式数据集
2023 年 11 月，Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元（数据集和数据加载器）的实现。
阅读更多...博客年度回顾： 2024 年 Top 10
2024 年对 MinIO 来说是重要的一年。我们不仅发布了 AIStor，这是迄今为止最强大的 MinIO 版本，而且还参加了 54 场活动，撰写了 159 篇博客，赢得了 10 多个奖项等等
阅读更多...AWS re:Invent 的创新技术
本月早些时候，Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re：Invent 大会。如果您从未参加过 re：Invent 会议，那么最能描述它的词是“巨大”——不仅从与会者人数（60,000 人）来看，还从涵盖的主题的广度来看
阅读更多...关于 ROSA 的 AIStor
AIStor 是高性能、可互操作的云原生对象存储的先驱，具有多功能性和敏捷性。AIStor 可在无数平台上运行，例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。最近，业内出现了一种趋势，即让数据“更贴近”家庭
阅读更多...使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器进行模型检查点处理
2023 年 11 月，Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元（数据集和数据加载器）的实现。
阅读更多...Iceberg and AIStor 的Lakehouse Architecture 权威指南
Apache Iceberg 似乎已经掀起了一场（暴风雪）数据世界。它最初由 Ryan Blue（也是 Tabular 的成员，现在是 Databricks 的名人）在 Netflix 孵化，最终被传输到它目前所在的 Apache 软件基金会。
阅读更多...我们现在都是数据运维工程师了吗？如果是，我们如何才能成为优秀的数据工程师？
当我刚开始从事数据工作时，每个人都是数据科学家。随着时间的推移，我们开始与众不同 - 您是构建数据管道，还是专注于构建和训练模型？您是在停电期间值班的寻呼机，还是仅在向执行董事会汇报时随叫随到
阅读更多...用于本地开发的 RedHat OpenShift 上的 AIStor
AIStor 一直是高性能和可互作的云原生对象存储的先驱，这种存储具有多功能性和敏捷性。AIStor 可在无数平台上运行，例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。
阅读更多...为什么开放式湖仓一体方法很重要：dbt 收购 SDF Labs 的经验教训
dbt （Data Build Tool） 是一个开源 SQL 转换框架，已成为许多现代数据团队的基石，提供灵活性和可访问性。最近，dbt 通过收购 SDF Labs 增强了其产品组合。
阅读更多...通过主权私有云缓解地缘政治问题
2025 年继承了多年前开始的一系列地缘政治担忧。美国外交政策、美中关系、中国的地缘政治策略、中东冲突、俄乌战争和网络安全威胁。此外，美国的新领导层增加了这些担忧带来的不确定性
阅读更多...了解 Agentic AI 的架构师指南
这篇文章于 2025 年 1 月 16 日首次出现在 The New Stack 上。通常，在了解一项受到大量炒作的新技术的合法性时，研究现有的核心能力和历史是有帮助的。
阅读更多...使用 AIStor 和 OpenSearch 增强搜索功能
在这篇文章中，我们将探讨搜索，特别是 OpenSearch 如何帮助我们识别模式或查看不断增长的数据中的趋势。例如，如果您正在查看运营数据，如果您的服务似乎是随机的，那么您需要尽可能回溯以识别模式并找出原因
阅读更多...开放表格式和对象存储架构指南
比较 Apache Iceberg、Delta Lake 和 Apache Hudi，并了解如何为您的数据湖仓一体选择合适的开放表格式。开放表格式和对象存储正在重新定义组织构建其数据系统的方式，为可扩展、高效且面向未来的数据湖仓一体奠定了基础
阅读更多...为 AIStor 部署选择最佳硬件
事实是，AIStor 没有最佳的硬件配置。我们的客户根据其使用案例和要求选择硬件。如果 AIStor 有一个最佳硬件配置，那么我们会在设备上销售 AIStor，但这将剥夺您为工作选择最佳硬件的自由，并将您锁定在特定的外形规格中。
阅读更多...利用 AMD + MinIO 释放 AI/ML 性能
在快速发展的人工智能 （AI） 和机器学习 （ML） 世界中，速度和可扩展性至关重要。实时处理大量数据的能力是希望利用 AI/ML 获得竞争优势的组织的关键要求。
阅读更多...使用 AIStor、MLflow 和 KServe 将模型部署到 Kubernetes
在之前几篇关于 MLOps 工具的文章中，我展示了有多少流行的 MLOps 工具跟踪与模型训练实验相关的指标。
阅读更多...Apache XTable：在数据湖仓一体中推进数据互作性
Apache XTable 通过以多种开放表格式提供对数据的访问，在增强互作性方面迈出了一大步。移动数据很困难，在过去，这意味着在为数据湖仓一体选择开放表格式时，您被锁定在该选择中
阅读更多...云计算的真实成本： 一家网络安全公司如何利用 MinIO AIStor 找到更好的替代方案
在 SaaS 公司中并不少见的故事中，随着其日志数据扩展到数 EB，云原生网络安全组织面临着大幅上升的云成本。
阅读更多...MLflow 模型注册表和 MinIO
MLflow 模型注册表允许您管理发往生产环境的模型。这篇文章从我上一篇文章关于 MLflow 跟踪的地方开始。在我的 Tracking 帖子中，我展示了如何记录参数、指标、工件和模型
阅读更多...介绍 MinLZ 压缩算法
存在不同类型的压缩算法和非常好的实现。在 MinIO，我们已经使用了 Snappy 的增强版本，它一直为我们服务良好。但随着时间的推移，我们发现了一些可能的改进，可以更好地对压缩数据进行编码
阅读更多...借助 AIStor 和英伟达™（NVIDIA®）GPU，企业人工智能基础架构变得简单易行
寻求利用 AI 功能的现代企业通常面临一个重大障碍：在其 Kubernetes 环境中复杂地部署和管理 GPU 基础设施。MinIO 的 AIStor 通过集成 NVIDIA GPU Operator 来正面应对这一挑战，彻底改变了组织为 AI 工作负载部署和管理 GPU 资源的方式
阅读更多...AIStor 与 NVIDIA NIM™ 集成
基于 AIStor 强大的 AI 功能，MinIO 的 PromptObject 使用户能够通过自然语言查询与他们的数据进行交互，如此处所述。PromptObject 允许用户使用自然语言询问有关其数据内容的问题并提取信息，从而改变了用户与存储对象的交互方式，无需编写复杂的查询或代码
阅读更多...MinIO AIStor： 利用英伟达™（NVIDIA®）BlueField-3 DPU 率先开发
Arm 架构正在彻底改变超大规模云，这得益于其总拥有成本 （TCO） 优势（更低的功耗和更低的冷却要求），从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例，利用其效率来满足数据密集型工作负载的需求
阅读更多...英伟达™（NVIDIA®）GPUDirect 存储和 MinIO AIStor： 释放 GPU 驱动
在当今 AI 驱动的企业环境中，资源优化已从理想的目标演变为运营的当务之急。随着组织扩展其人工智能计划以满足不断增长的创新需求，计算资源的高效编排直接影响运营性能和模型精度。
阅读更多...针对对象存储的 Deepseek 式强化学习
tl;dr：我们训练一个小LLM玩家，让他们擅长使用强化学习（类似于导致 Deepseek R1 的过程）进行推理，所有这些都针对本地模型存储库 AIStor AIHub。
阅读更多...利用 Materialize 和 MinIO AIStor 构建高性能内部数据管道
Materialize 是一个专为实时数据集成和转换而设计的软件平台。它允许您仅使用 SQL 创建业务任何方面的最新视图。
阅读更多...为 MinIO AIStor 引入模型上下文协议（MCP）服务器
Anthropic 最近宣布的模型上下文协议 （MCP） 将改变我们与技术交互的方式。它允许自然语言通信替换许多任务的复杂命令行语法。不仅如此，语言模型还可以总结传统工具的丰富输出，并以人类可读的形式呈现关键信息。
阅读更多...AIStor 的模型上下文协议 (MCP) 服务器：管理功能
在本系列的上一篇博文中，我们讨论了 MinIO AIStor 的模型上下文协议 (MCP) 服务器的基本用户级功能。我们学习了如何使用人类语言命令查看存储桶的内容、分析对象并标记它们以便将来处理，以及如何通过 LLM（例如 Anthropic Claude）与集群进行简单的交互。
阅读更多...On-Prem Iceberg 案例： 成本、控制和性能
随着企业数据计划的扩展，许多企业发现云湖屋并不总是性能、合规性或成本的最佳选择。而这正是本地部署 Iceberg 架构的优势所在。
阅读更多...AIStor 的模型上下文协议 (MCP) 服务器： 工作原理
在本系列的前几篇博文中，我们讨论了MinIO AIStor 模型上下文协议 (MCP) 服务器的用户级和管理员级功能。在第一篇博文中，我们学习了如何查看存储桶的内容、分析对象并标记它们以便将来处理。
阅读更多...软件定义对象存储购买指南
数据是驱动现代企业的货币。能够代表组织多元化的利益相关者利用这些数据，是现代化、云原生、高性能且经济高效的系统的功能所在。这些现代化努力的核心是一个永恒的主题——使企业能够更好地服务客户。
阅读更多...Iceberg 的 Catalog API：Iceberg 表背后的原子指针管理器
Apache Iceberg极大地重塑了组织管理和与对象存储中的海量结构化分析数据集交互的方式。它带来了类似数据库的可靠性以及 ACID 事务、模式演化和时间旅行等强大功能。虽然这些功能通常被强调，但Iceberg Catalog API才是使这些表易于访问的关键。
阅读更多...英伟达™（NVIDIA®）GTC 2025 总结： 18 款值得关注的新产品
这篇文章于 2025 年 4 月 18 日首次出现在The New Stack上。 获取 NVIDIA 年度最大活动中主要计算、网络、存储和合作伙伴关系公告的全面摘要。
阅读更多...发现、交易、管理？解读冰山目录 API 标准的真正范围。
在数据工程领域，开放标准是构建可互操作、可演进且非专有系统的基础。Apache Iceberg是一种开放表格式，就是一个很好的例子。除了计算能力之外，Iceberg 还为数据湖带来了结构化和可靠性。
阅读更多...使用 MinIO 的 AIStor 构建实时数据管道
当我们的企业客户描述他们的数据管道挑战时，一个共同的主题浮现出来：他们需要在云端和本地环境中无缝衔接的实时数据处理能力。正因如此，灵活性对于 MinIO 的 AIStor 至关重要。
阅读更多...采用模型上下文协议和 AIStor 的代理人工智能
与众多竞争对手相比，Anthropic 的模型上下文协议 (MCP) 代表了 Agentic AI 工具的独特方法。MCP 并非构建框架（调用代码的软件）或库（代码可调用的软件），而是专注于代理不同部分之间相互通信所需的协议
阅读更多...AIStor 增加了对 S3 Express API 的支持
2023 年底，亚马逊推出S3 Express 单区存储(S3 Express One Zone) ，重新定义了人们对公有云中高性能对象存储的期望。
阅读更多...专为工厂车间打造的人工智能质量控制
在世界各地的工厂车间，视觉检测仍然是制造流程中最耗费人力且最容易出错的环节之一。一家全球消费品制造商正在利用边缘人工智能重新定义这一挑战
阅读更多...全球内容领导者如何重建超大规模可观察性架构
全球最大的内容平台之一面临着严重的扩展问题。他们每天要获取数 TB 的可观测性数据，而且 每季度数据量还在以数 PB 的速度增长。
阅读更多...