MinIO-无旋钮可旋转,无按钮可按
“我需要的越少,感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大,您将记住一个名为qmail的项目。由于其极简的设计(qmail安全保证),没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义
阅读更多...
“我需要的越少,感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大,您将记住一个名为qmail的项目。由于其极简的设计(qmail安全保证),没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义
阅读更多...
根据IDC在2014年进行的一项研究,全球大约有1850万软件开发人员。尽管它仅占全球70亿人口的0.26%,但它们对整体经济繁荣和进步的贡献令人吃惊。我将发布一系列博客文章,以详细了解开发人员。
阅读更多...
MinIO Client“ mc”是用于Amazon S3兼容云存储和POSIX兼容文件系统的工具。它实现了基本的Unix命令,例如ls,cp,cat和diff。mc完全用Golang编写,并根据Apache License 2.0版发布。
阅读更多...
下载最新的MinIO客户端'mc'http://minio.io/#mcMinIO客户端经过多次重写才能达到目的。我们修复了许多错误,并引入了新的错误。从此版本开始,我们将推送较小但频繁的更新。这是此版本中的一些增强功能。Google云存储,OpenStack Swift,Red Hat Ceph和
阅读更多...
自9月发布适用于Amazon S3和MinIO服务器的MinIO Client'mc'以来,我们收到了支持Google云存储,Red Hat Ceph和Open Stack Swift的大量请求。这是用于各种服务器实施的Amazon S3 API兼容性矩阵。Amazon S3:Amazon S3 V
阅读更多...
微服务的基本要求之一是应用程序容器变为无状态。但是状态仍然需要存储在其他地方,例如数据库,对象存储,会话文件,cookie,高速缓存等。微存储作为一种新的体系结构正在兴起,以解决微服务的存储可扩展性。微存储从微服务继承了“只有小东西才能扩展”的思想。不按比例放大
阅读更多...
这个新版本增加了对Solaris / Illumos和FreeBSD 64位Intel的支持。以下是此版本中所做更改的非详尽列表。已弃用并删除了cp和mirror的并行代码。现在所有的复制操作都是串行的,这解决了与会话文件丢失和整体代码复杂度有关的许多问题。
阅读更多...
传统上,Web应用程序使用文件系统和数据库将用户数据存储在后端。很简单,结构化数据进入数据库,其他所有数据进入文件系统。这很容易管理,因为很少有应用程序生成非结构化数据-大多数应用程序以表单形式输入用户并将数据保存到数据库中。然而,
阅读更多...
在我以前的文章中,我们了解了对象存储的原因和内容。具体来说,我们了解了为什么需要一个新的存储范例,以及它如何缓解现代的非结构化数据问题。我们看到了对象存储如何让您通过HTTP上的简单API调用访问应用程序层的对象,并消除了
阅读更多...
不管您是否注意到它,作为最终用户,存储都是我们今天使用的几乎所有软件的重要组成部分。但是,作为开发人员,重要的是能够以一种简单而又安全又快速的方式检索东西。如前所述,对象存储是实现此目标的一种好方法。我们也看到了
阅读更多...
在此博客中,我们想为纯SIM中的BLAKE2哈希算法提供一种优化的实现blake2b-simd,该算法利用了SIMD指令。与(非汇编)Go实施相比,它的速度提高了4倍,并且在高端CPU上,每个内核的散列速度可达到接近1 GB /秒。与标准SHA512相比
阅读更多...
日志记录仍然是开发人员关注的主要问题之一。通常,各种组件(如Web服务器,数据库)会将日志存储在不同的位置。当出现问题时,开发人员需要四处寻找相关的日志。将您的应用程序日志自动存储在预定义的位置不是很好。您可以使用Fluentd和
阅读更多...
本文向您展示如何配置Elasticsearch在[Minio](http://minio.io)中存储快照和元数据。Minio是为云应用程序开发人员和开发人员构建的对象存储服务器,并与Amazon S3对象存储兼容。当前的Elasticsearch aws云插件已使用较旧版本的Amazon SDK构
阅读更多...
作为加密扩展的一部分,64位ARMv8内核引入了有关SHA1和SHA2加速的新指令。Minio我们对这些说明可能产生的差异感到好奇,这有时是您有时会得到的惊喜之一。我们一直在以下位置运行ARMv8服务器:
阅读更多...
Doctor使用markdown(MD)格式进行文档编写,使用github进行版本控制。使用Doctor将来自多个存储库的多个MD文件聚合到一个文档站点中。Doctor根据Apache V2.0许可获得许可。观看现场演示:https://docs.minio.io docs.minio.io我们为什
阅读更多...
如果您对云的应用程序开发感兴趣,那么Minio Server是存储数据的理想选择。如果您只想备份并将一些最重要的文件和图像共享到一个或多个云存储服务,那么Minio Client(mc)就是您的最佳选择。如果你还
阅读更多...
s3verify针对对象存储服务器执行一系列API调用,并检查响应是否与AWS S3签名版本4兼容。s3verify已获得Apache V2.0许可。为什么我们构建s3verify亚马逊网络服务(AWS)的简单存储服务(S3)已经成为goto云存储,因此任何新的竞争服务都有强烈的动机去
阅读更多...
简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第1部分介绍了使用RabbitMQ服务器通过AMQP发送存储桶通知。您可以将此设置与AWS S3&S
阅读更多...
minio / dsync是用于在nnodes网络上进行分布式锁定的软件包。它在设计时考虑了简单性,并且提供了有限的可伸缩性(n <= 16)。每个节点都连接到所有其他节点,并且来自任何节点的锁定请求将广播到所有连接的节点。如果n / 2,则节点将成功获得锁
阅读更多...
简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第2部分介绍了使用Elasticsearch服务器发送存储桶通知。配置Elasticsearch的步
阅读更多...
简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第3部分介绍了使用Redis发送存储桶通知。配置Redis的步骤我在笔记本电脑上使用Ubuntu L
阅读更多...
简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第4部分介绍了使用NATS发送存储桶通知。配置NATSI的步骤使用Ubuntu Linux 16.0
阅读更多...
当今的应用程序产生的数据比以往任何时候都多,并且这种上升趋势有望在可预见的将来保持下去。您如何处理不断增长的应用程序存储需求?可以在您的应用程序运行的地方运行并可以自动扩展的存储解决方案是必经之路。添加多租户功能
阅读更多...
在本文中,我将说明如何将NGINX和NGINX Plus用作MinIO服务器的反向代理和负载平衡器。
阅读更多...
我们认为数据丢失更为频繁。无论您是从笔记本电脑还是任务关键型应用服务器丢失数据,这都可能是灾难性的。您可能自己没有面对过,但想到附近的人(朋友,家人,同事),就会发现有人丢失重要的个人或业务数据的几种情况。为了避免这种损失
阅读更多...
MinIO提供了与一系列后端系统的集成,使您能够为您的项目构建完整的解决方案。该团队最近整合了来自社区的请求请求,以添加Webhook支持,并希望向您介绍一下。首先,我们将看一下Webhooks是什么,它们可以与之联系的一些示例
阅读更多...
容器编排正逐渐成为部署应用程序的默认方法。开发人员正在从头开始构建其现代应用程序,以在容器中运行,从而实现更快的部署和更高的弹性。甚至传统的应用程序也以各种方式采用容器,以获取这些优势。在准备好应用程序容器的众多特性中,它的方式
阅读更多...
Harbor是企业级Docker注册表服务器,用于存储和分发容器映像。请遵循本文档以将MinIO对象存储服务器用作Harbor容器注册表的存储后端。先决条件安装并运行MinIO服务器
阅读更多...
在开始调试Goroutines泄漏之前,让我先简要介绍一些基础知识,这些基础知识将使您对问题有更广阔的了解。并发编程。并发编程处理程序的并发执行,其中一次执行多个顺序的执行流,从而可以更快地执行计算,从而有助于更好地利用多核
阅读更多...
ToolsLib最近切换到全新的仪表板。但是,在幕后,发生了另一种变化。我们将基于块的文件系统用于基础存储。但是,随着我们的成长,事实证明文件系统很难扩展。因此,当我们发现MinIO时,我们正寻求从基于块的存储转移到对象存储系统。经过初步分析,MinIO看上去
阅读更多...
这是来自Guardant Health朋友的来宾博客。Guardant Health是全面液体活检的全球领导者。肿瘤学家命令我们进行血液检查,以帮助确定他们的晚期癌症患者是否有资格使用靶向肿瘤DNA特定基因组改变的某些药物。每次测试都会产生大量的基因组数据,我们可以轻松地对其进行处理
阅读更多...
在诸如Kubernetes,Docker Swarm,DC / OS等编排平台上运行的容器。提供了功能强大的通用方法来部署应用程序。容器使您可以部署隔离的应用程序实例,并且可以启动多个此类实例以扩大负载服务容量。借助编排工具,您甚至不必担心单个服务器的容量和调度
阅读更多...
今天,我们将为您的MinIO服务器看一看IoT压力表。这是Alex Ellis用Raspberry Pi,Docker和MinIO构建的一个很棒的技巧。在向开放源代码MinIO项目贡献代码以启用网络挂钩之后,Alex希望可视化通过其服务器的流量。他的骇客显示物件上传的速度
阅读更多...
也许如果您像MinIO的我们一样,现在时不时地遇到Golang调用堆栈中的“自动生成”函数,并想知道它们的全部含义是什么?前一天我们遇到了一个案例,其中调用堆栈显示如下内容
阅读更多...
您可能知道Golang提供了命名返回值的功能。到目前为止,在MinIO上,我们并未使用太多此功能,但是由于有一些不错的隐藏好处,这种情况将有所改变,我们将在此博客文章中进行解释。如果您像我们一样,则可能有大量的代码,如下所示
阅读更多...
简介加密网络流量已成为默认设置。有诸如SSH和TLS之类的标准化协议,以及诸如“让我们加密”之类的项目可以保护通过网络发送的数据。例如,TLS接收数据流,将该流分块为消息,并在通过网络发送消息之前对每个消息进行加密。TLS确保每封邮件都经过加密
阅读更多...
我们的一些社区成员一再要求Backblaze B2云存储和MinIO集成[1]。B2的价格具有竞争力,并且拥有大量粉丝。我们还从Backblaze团队那里得知,他们正在积极扩展B2云存储服务。我们在MinIO中添加了对Backblaze B2后端的实验性支持,以为其提供与S3兼容的API支持
阅读更多...
我们来看一下NVMe驱动器上运行的Minio服务器的COSBench性能数字
阅读更多...
修复了针对MinIO服务器Admin API进行身份验证绕过的可能性
阅读更多...
擦除编码是一种可靠的方法,即使没有几个驱动器,也可以在多个驱动器上分片数据并将其取回。MinIO服务器利用Reed Solomon擦除编码来确保多磁盘部署中的数据冗余。直到最近,MinIO擦除编码中用于数据和奇偶校验的驱动器数量已固定为
阅读更多...
物联网策略成功的主要要求之一是能够存储和分析设备和传感器数据。随着物联网每天使成千上万的设备联机,由所有这些设备组合生成的数据将达到惊人的水平。以可扩展但经济高效的方式存储IoT数据,同时能够轻松对其进行分析
阅读更多...
ZFS以将物理存储设备的边界汇集在一起来抽象化物理存储设备的边界而闻名。ZFS完全消除了手动处理物理存储的需要,也无需担心它们的单个容量。ZFS也是检测数据损坏并在有数据冗余的情况下进行恢复的能力的先驱。但是,正如我们已经讨论的那样,传统文件系统无法
阅读更多...
1994年,EMC的Symmetrix以其企业存储系统的最大容量1TB(TeraByte)创下了行业标杆。NetApp在2016年推出了FAS9000,该FAS9000在24节点群集配置中可容纳约172PB(PetaByte)原始数据。22年后增加了172,000倍,同时显着提高了性能并添加了许多出
阅读更多...
MinIO服务器开发方面有很多事情要做。最近,我们增加了对磁盘缓存大/贝塔级存储桶的支持,而诸如MinIO存储桶联合,经过改进的MinIO浏览器UX,Prometheus集成等功能正在积极开发中,并将很快推出。但这并不能阻止我们远离MinIO的眼睛,耳朵和心脏
阅读更多...
简介:已发现针对Minio服务器的拒绝服务(DoS)漏洞,并已在RELEASE中修复。2018–05–25T19–49–13Z严重程度:中受影响的对象:签名V4身份验证的所有用户均受到影响。签名V2身份验证的用户不受影响。针对用户的建议操作:建议所有用户将其Minio部署升级到
阅读更多...
Minio现在具有内置支持,可在未经身份验证的端点上导出Prometheus兼容数据。这使Prometheus可以监视Minio服务器的部署,而无需共享服务器凭据,并且无需运行外部Prometheus导出器。
阅读更多...
内容提要:发现了违反SSE-C安全保证的问题,并已在RELEASE.2018–07–10T01–42–11Z中修复。严重性:低受影响的对象:使用S3 SSE-C API存储对象并使用同一客户端提供的密钥对不同对象至少两次的所有用户。对用户的建议操作:建议所有用户升级其Minio
阅读更多...
在本文中,我们将了解为什么从MinIO等平台查询大型数据集时,Presto为什么以及如何成为首选工具。然后,我们学习在私有基础架构上设置和部署Presto的步骤。
阅读更多...
在本文中,我们将了解Pivotal Container Service的部署以及如何使用pks命令行工具来创建和管理Kubernetes集群。一旦您的PKS Kubernetes集群建立并运行,我们还将看到如何部署Minio。
阅读更多...
在这两个系列文章的第一部分中,我们将研究对象存储与其他存储方法的不同之处,以及为什么在数据湖中利用像Minio这样的对象存储是有意义的。
阅读更多...
在这篇文章中,我们将学习有关对象存储的更多信息,特别是Minio,然后了解如何将Minio与Apache Spark和Presto之类的工具连接以进行分析工作负载。
阅读更多...
了解压缩及其在压缩比侧通道中带来的风险。
阅读更多...
如何使用Apache Flink为各种用例构建私有云数据管道。
阅读更多...
简介:在Minio服务器S3和Admin API上发现了另一位用户的欺骗身份验证的可能性,并已在RELEASE中修复。2019–02–20T22–44–29Z严重程度:中受影响的对象:所有使用多用户功能的用户受到影响。但是,仍然建议每个人都进行升级。对用户的建议操作:建议所有用户升级
阅读更多...
开发早期的对象存储API时,它们专注于对象的有效存储和检索。亚马逊在S3上的成功及其强大的S3 API的实现迅速成为了云中对象存储的事实上的标准。MinIO意识到了这一点,因此投入巨资创建了Amazon外部最兼容的S3 API实现。
阅读更多...
我们很高兴推出我们的新字标和吉祥物。我们将使用文字标记作为我们的新徽标,这只小鸟将成为MinIO的吉祥物。
阅读更多...
MinIO的新字标和吉祥物入门-保持不变。
阅读更多...
简介:针对MinIO服务器的IAM实现,发现了两种不同的特权升级可能性,并已在RELEASE.2019-04-04T18-31-46Z中修复。严重性:高受影响的人:MinIO服务器的所有用户都受到影响。MinIO网关的用户不受影响。但是,仍然建议升级。针对用户的建议操作:所有用户
阅读更多...
任何数字化旅程中的主要挑战之一是采用机器学习技术。鉴于工具和框架的爆炸式增长,可能很难
阅读更多...
当人们查看Spark + AI峰会令人惊叹的演讲名册时,您看不到关于如何利用对象存储的大量讨论。在某种程度上,您期望-
阅读更多...
内容提要:发现了针对MinIO服务器的IAM实施的未经授权的存储桶访问可能性,并已在RELEASE.2019-06-15T23-0707Z中修复。严重性:高受影响的人:MinIO服务器和网关的IAM功能的所有用户都受到影响。强烈建议升级。对用户的建议操作:建议所有用户升级其Minio
阅读更多...
通常不会将软件描述为具有防弹功能。特别是负责大型分析工作或机器学习工作负载的软件类型。单词“ finicky”,“ complex”或在良好的营销情况下为“ professional grade”(意味着您需要多年的学习和多次认证)更为常见。然而,防弹软件是与主动开放相关的众多好处之一。
阅读更多...
高性能对象存储是当今企业中的热门话题之一。一方面,对象存储已成为企业存储策略(公共或私有云)不可或缺的一部分-以TB或PB衡量时,承担了绝大多数企业负担。另一方面,传统上,对象存储服务于
阅读更多...
我们在MinIO的处理方式有所不同。在2014年成立之初,我们在构建产品时就对对象存储市场提出了所有质疑-认为它更像是数据公司,而不是存储公司。我们从头开始,使用工程第一原则,对细节的特别关注和对简单性的不懈追求,做到了这一点。我们非常注意
阅读更多...
写得好的软件就是快速的软件。当MinIO诞生时,它的设计从一开始就是简单,可扩展(因为简单的东西可以更好地扩展)和快速。简洁和规模有其自己的主观和客观度量-但是快速通常是数字游戏。当您使用编写精良的快速软件并将其与快速硬件配对时,
阅读更多...
Presto在企业中的增长取决于其速度,SQL兼容性,可扩展性和企业功能集。尽管最初旨在加快Hadoop的速度,但该项目的成功导致了更广泛的采用-在S3,Cassandra,MySQL等上。Presto允许遍历数据存储和位置的数据查询-一大优势
阅读更多...
Apache Spark是用于分布式计算的框架。它提供了跨群集中的多台计算机分布数据并对其执行计算的最佳机制之一。Spark通过构造称为RDD(弹性分布式数据集)的数据结构来实现这一目标。RDD允许将数据分为不同的块,并彼此独立地进行处理。各个块可以
阅读更多...
规模的力量已在商业领域得到了充分证明。云提供商(尤其是亚马逊)在很短的时间内就积累了超凡的规模。云提供商现在正在使用这种规模来重新设计企业如何与其数据进行交互。他们使用两个主要杠杆来重塑企业数据格局:价格和性能
阅读更多...
很少有人会认为Hadoop HDFS处于下降状态。实际上,Hadoop生态系统的HDFS部分不仅仅是下降-它是自由下落。在其诞生之初,它起着高吞吐量,容错的分布式文件系统的作用。秘密之处在于数据的局部性。通过共同定位
阅读更多...
简介:已发现针对MinIO服务器的拒绝服务(DoS)可能性,并已在RELEASE中修复.2019-08-07T01-59-21Z。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-03-06T22-47-10Z或更高版本的所有用户都受到影响。此外,使用STS的MinIO网关版本R
阅读更多...
Hadoop的消亡可能是过分的。它不会突然从企业环境中消失-仅仅是有太多的客户,太多的沉没投资使其无法消失在夜里。毫不夸张的是,Hadoop与之前的无数技术一样,正在世俗地,不可逆转地衰落。有很多原因,但是
阅读更多...
VMworld的最大收获也许是VMware在Kubernetes上的“全盘押注”。VMware并不畏惧其雄心壮志,首席执行官Pat Gelsinger表示:“我们将成为Kubernetes的主要推动者。” 这反映了市场的现实。Kubernetes已成为行业标准。此外,Kubernetes不仅发展为编
阅读更多...
在后视镜中放有另一个Strata后,该反思一下本周我们所见所闻。在这一点上,Strata显然是数据科学的展示,但是数据科学是广泛的话题。作为高性能对象存储的提供者,我们的观点得到了相应的构架,并且我们比起我们更关注数据栈
阅读更多...Gartner刚刚发布了对象存储和分布式文件系统的魔力象限,并且在“值得关注的供应商”名单中有公司的精英名单。MinIO已连续第二年进入这个高度挑剔的名单,我们很高兴Gartner继续认可我们在该领域的领导地位。MinIO率先提出了高性能对象的概念
阅读更多...
对于Cloud Native,体系结构很重要术语“ cloud native”在技术界广泛使用,但是没有特别明确的定义。困惑在于,“云原生”与应用程序部署到的环境几乎没有关系,该术语同样适用于内部部署或公共云。而是指
阅读更多...
Splunk的.Conf事件非常出色。它不仅是Splunkers的“极客舞会”,而且还是一个评估我们在企业分析旅程中所处位置的机会。这是我们从活动中获得的前四大收获,并对接下来几个季度的举办情况有一些想法。Splunk掌握了加速增长的数据,并拥有
阅读更多...
如果处理任何类型的数据,您都必须担心数据安全性。跨国银行是这样。对于中小型企业也是如此。加密永远都不应该是抵御恶意行为者的唯一防线,但它是每个组织都应考虑的最基本的安全最佳实践之一。但是,不是
阅读更多...
MinIO快速的事实并非秘密。除HDD和NVMe编号外,我们会定期发布基准测试,并针对HDFS和AWS(Spark + Presto)进行比较。我们最近发现了AWS上大型NVMe实例的可用性。比我们实际上见过的更大。我们采购了32个i3en。
阅读更多...
通常,当人们考虑对象存储时,他们会考虑一件事-每TB / GB的价格。尽管是合法的成本度量标准,但它具有使对象存储成为一维并将其降级到存档用例的作用。此外,它扭曲了与企业技术堆栈这一日益重要的部分相关的价值。坦率地说,遗产
阅读更多...
今年的Kubecon几乎是所有媒介上规模最大的:出席,公告和主题演讲:)。在所有这些之间,有关于运动状态,不断发展的供应商格局和未来挑战的一些鲜明主题。虽然有一些很棒的摘要,但我们想分享一下我们对所见所闻以及
阅读更多...
正如我们在先前的基准测试中反复展示的那样,MinIO提供了同类最佳的性能。在这些基准测试中,我们选择了最高端的硬件,并测量了MinIO是否可以挤出其提供的所有资源。这证明了两个关键点:确保MinIO利用可用的最大CPU,网络和存储。确保MinIO不是IO瓶颈。
阅读更多...
MinIO以前对每个群集强加了一个备受争议的32节点限制,我们在12月取消了该限制。对于32个节点的限制,没有严格的技术理由-您可以使用MinIO创建1,000个节点集群。我们施加限制的原因是为了推动良好的架构决策。但是,我们了解到,有些人将其视为限制(实际上,一些竞争对手建议
阅读更多...
超级连接的Philipe Nicolas是《存储通讯》的编辑。每年,他要求行业领导者对未来一年的发展趋势做出预测。公司名单很长,受访者也很出色。事实如此之久,Phillipe必须将其分为两个列表(AM,NZ)
阅读更多...
随着数据的增长,与移动数据相关的挑战也随之增长。确实,将PB数据从AWS迁移出来所需要的带宽成本,比将其保留多年的成本还要高。尽管如此,客户仍然经常需要以一定的频率转移大量的数据(从TB的100TB到PB)。亚马逊知道这一点,并且在他们的强烈客户中拥有
阅读更多...
大多数开发人员不喜欢管理基础架构,包括存储基础架构。Kubernetes的一大优点是能够简化基础架构管理,以便开发人员可以专注于创建应用程序并让Kubernetes处理业务流程。Kubernetes本身并不管理存储基础架构,但是将MinIO和Kubernetes一起使用可以帮助提供应用程序所需的存储
阅读更多...
Kubernetes从根本上改变了传统的应用程序开发和部署模式。应用程序开发团队现在可以在几天之内,跨环境在其Kubernetes集群中开发,测试和部署其应用程序。前几代技术通常需要数周甚至数月的时间。由于Kubernetes带到表的抽象性,所以这种加速是可能的,即它可以处理
阅读更多...
医疗保健行业在许多方面都是独一无二的。首先,它缺少要优化的通用目标函数。这是因为付款人和提供者这两个不同的医疗机构对不同事物的重视程度。盈利能力不是普遍目标-有教学医院,信仰医院和非营利性保险计划。还请考虑
阅读更多...
简介JSON已将自己确立为Web的“通用语言”。因此,对于许多应用程序而言,JSON的解析性能非常重要。尽管JSON具有简单且人性化的特性,但从技术上讲,它并不是一种高速解析的琐碎格式。最近提出了一些新设计
阅读更多...
有两种力量正在从根本上重塑当今的技术格局。一种是Kubernetes,另一种是高性能对象存储。它们为包括AI / ML和应用程序日志在内的现代,数据丰富的应用程序提供动力(或由它们决定)。无论哪种方式,现代应用程序都需要Kubernetes和对象存储,而Kubernetes和对象存储则需要它们
阅读更多...
边缘计算是一个热门话题,带来了一些混乱,尤其是在存储方面。在边缘正确处理数据可以确保可扩展的,具有成本效益的和安全的基础架构-但是无法建立正确的体系结构可能导致数据丢失,安全漏洞以及与重复向和向其传输数据所需的带宽相关的高昂成本。
阅读更多...
几乎所有现代的云原生应用程序都使用HTTPs作为其主要传输机制,即使在网络内部也是如此。每个服务都是按比例动态配置的HTTP端点的集合。为通过Internet服务Web应用程序而构建的传统负载均衡器在这里处于劣势,因为它们使用旧式DNS轮询技术来实现负载均衡和
阅读更多...
Veeam的V10版本大大增加了对象存储支持。了解这两个软件堆栈如何一起发挥作用,以提供面向性能的备份和还原。
阅读更多...
简介虽然在考虑哈希函数时,MD5哈希不再是一个不错的选择,但它仍在各种应用程序中使用。因此,可以考虑对MD5哈希速度进行的任何性能改进。由于SIMD处理(AVX2,尤其是AVX512)的最新改进,我们提供了Go md5-simd软件包
阅读更多...
上周宣布MinIO已为Veeam Ready for Object宣布,我们认为回头讨论另外一个用例会很有帮助。在我们的第一篇文章中,我们介绍了VMware ESX的备份。同样受欢迎的用例是Veeam Backup for Office(VBO)。Office备份市场很大。即使随着
阅读更多...
KES是用于高性能应用程序的无状态分布式密钥管理系统。我们将KES构建为现代应用程序(在Kubernetes上作为容器运行)与集中式KMS解决方案之间的桥梁。因此,默认情况下,KES被设计为简单,可伸缩且安全。
阅读更多...
概述MinIO和Splunk在企业数据方面具有共生关系。Splunk在其数字流处理器中使用MinIO。MinIO是Splunk SmartStore端点。在本文中,我们将说明如何使用Splunk的高级日志分析功能来帮助了解MinIO对象存储套件的性能以及所管理的数据。快速设置水平
阅读更多...
我们生活在一个由信息和人工智能定义的变革时代。每天都会生成并收集大量数据,以提供这些庞大的,最新的AI / ML算法。数据越多,结果越好。谷歌的TensorFlow是已经成为主要行业标准的框架之一。用途广泛,可以快速入门,
阅读更多...
Apache Nifi是当今最流行的开源数据流引擎之一。Nifi支持几乎所有主要的企业数据系统,并允许用户创建有效,快速和可扩展的信息流系统。使用Nifi创建数据流系统非常简单,并且有一条明确的途径可以添加对尚未作为Nifi提供的系统的支持
阅读更多...
AWS最近发布了有关其新型ARM驱动的Graviton2服务器的一般可用性的公告,这使我们重新审视了这些ARM服务器的性能。在此博客文章中,我们描述了可能令人惊讶的结果。简介MinIO是Apache许可的,开源的S3兼容对象存储服务器,特别关注高性能。
阅读更多...
几个月前,TDWI的James Powell与MinIO联合创始人兼首席执行官AB Periasamy坐下来讨论了数据领域的趋势和挑战。原始采访(来自TDWI的Upside)可在此处找到,但出于后代考虑,我们将其包括在下面。上行空间:如果企业希望采用哪种技术或方法,那么它必须成为企业数据战略的一部分
阅读更多...
我们是EMA研究方法的拥护者。他们走在数据告诉他们的地方,而不是依赖于“曾经是”什么,而是专注于当今的市场。这很聪明-预测未来是艰难的,但是为了驾驶而看着后视镜也充满了危险。
阅读更多...
Kubernetes从根本上改变了应用程序的架构,构建和管理方式。影响是广泛的,但是需要进行大修的一个领域是备份和灾难恢复。在Kubernetes的世界中,应用程序由微服务和短寿命的容器组成,因此需要一种以应用程序为中心的现代方法,该方法可以经济,安全地进行扩展。
阅读更多...
MinIO支持一个完整的对象锁定框架,该框架提供了法律保留和保留(具有管理和合规性模式)。从金融服务到医疗保健,许多受监管行业都要求对象锁定功能。
阅读更多...
有数十种对象锁定用例,但近来引起人们极大关注的是勒索软件。勒索软件通过对文件进行加密并让您作为加密密钥的人质来工作。直到最近,备份还是Ransomware工作流程中被遗忘的部分。由于它们只是“备份”,因此没有得到很好的保护,因此
阅读更多...
今天,我们将MinIO与Veeam的合作关系提高了一个档次,增加了带有不可变性徽章的Veeam对象存储。额外的徽章已经是Veeam-Ready计划的成员,这使MinIO处于稀缺状态-不到四分之一的对象存储供应商能够添加这种区别。
阅读更多...
《华尔街日报》的亚伦·提里(Aaron Tilley )今天有一篇有趣的文章(付费专栏),谈到了企业在与大流行相关的技术领域所面临的挑战之一。最终的结果是,公司在云成本上的支出越来越多,有时与他们的业务成果无关。它不会长期计算。
阅读更多...
聚合/分解轮取决于技术。但是,由于涉及计算和存储,我们正处于严重的分解浪潮中。使用当前可用的技术,经济非常简单–大小公司只需将计算/分析层与存储层分开,就可以在TCO基础上节省60%以上的费用。
阅读更多...
通过引入在线订阅我们的软件的能力,我们显然提出了一个问题:“我为什么要为免费软件付费?” 有两个条件和三个原因:购买免费软件的条件:MinIO是组织(例如生产)的主要存储系统MinIO中存储的数据是关键部分
阅读更多...
MinIO的定价非常简单。您无需复杂的电子表格即可估算每月帐单。我们提供三个计划。您无需支付任何费用的开放源代码/社区计划。标准计划($ 10 TB /月,最小容量为25 TB)和企业计划($ 20 TB /月,最小容量为100 TB)
阅读更多...
一旦我们说服了您为什么应该为免费软件付费,下一个问题就会变成:“我从订阅中获得的价值是什么?” MinIO订阅网络不是一回事-而是技术,人才和许可的集合,这些创造了独特的价值主张-不会
阅读更多...
虽然MinIO以高性能的云原生对象存储而闻名,但系统的安全性和数据的弹性始终至关重要。从擦除编码,比特保护,对象修复,WORM和复杂的高性能加密-确保数据安全-跨越许多不同的向量,始终指导着我们。
阅读更多...
如今,每个人都声称自己是一家软件公司。从马克·安德列森(Marc Andressen)近十年来的声明中说:“软件正在吞噬世界”,再到华尔街推动产生经常性软件收入的推动;至少要求您是一家软件公司的压力很大。对于家电厂商来说,这显然是有问题的。尝试为
阅读更多...
两天前,即9月8日,来自德国和以色列的研究小组发表了一份联合研究论文,描述了另一种TLS定时攻击-浣熊。该攻击的目标是所有TLS版本直至1.2。
阅读更多...
今天,我们很高兴地宣布与VMware的合作伙伴关系将大大扩展。下一个阶段代表了我们与Pivotal团队屡获殊荣的工作之间的更深层次合作,使我们成为VMware Cloud Foundation™和VMware Tanzu™的母公司,成为VMware vSAN™Data Persistence平台的启
阅读更多...
随着Apache Arrow的推出,针对平面和分层数据的语言独立的列式存储格式(为有效的分析操作而组织)使MinIO数据湖变得更加强大。本文介绍了如何通过使用ArrowRDD来使用Apache Arrow。
阅读更多...
推动企业走向云原生对象存储平台的关键要求之一是能够在多数据中心设置中使用存储。多个数据中心提供了可恢复的,高可用性的存储集群,能够承受其中一个或多个数据中心的完全故障。多数据中心支持使私有和混合云基础架构更接近公众
阅读更多...
MinIO的设计方式与超级缩放器相同,具有简单的构建基块,这些构建基块限制了故障域,但是可以无限增长。仍然有一些功能是您真正需要的,以便在尺寸上达到银河。它们是:服务器端复制:借助MinIO的服务器端复制功能,组织可以跨数据创建主动-主动复制。
阅读更多...
公有云的承诺/吸引力基于其具有弹性的概念。一个人可以毫不费力地扩大工作量,并在需要时减少这些相同的工作量。我们之前已经写过关于此主题的文章-从评估您要带给公共云的内容和要考虑的内容时考虑哪些工作负载的角度出发
阅读更多...
在本世纪初,世界上的总数据总计达到2 ZB。今天,它已增长到59 ZB。在短短10年间,它增长了30倍。非结构化数据当今存在的大多数数据是照片,视频或某种时间点事件。
阅读更多...
如今,混合云是一个热门术语。它应该是。最终它将代表绝大多数企业云架构(Gartner说90%以上)。公共云将继续增长。私有云将继续增长。优势将继续增长。所有这些都由不断增长的数据推动。
阅读更多...
Kubecon今年进入虚拟市场,说实话,无论从哪个角度来看,情况都不一样。它缺乏电力,热情和互动性,这使它成为了假日季节的极客版本。尽管如此,内容仍然非常出色,并将继续充当这一惊人事件的引擎。
阅读更多...
MinIO订阅网络是唯一的。它结合了商业许可证和直接对工程的支持,还提供了访问紧急按钮,体系结构和安全性审查以及许多其他功能和技术的功能,以确保我们的客户永远不会丢失数据或遭受安全破坏。我们最近要求我们的客户群参加快速调查,
阅读更多...
在过去的十年左右的时间里,对象存储用例已经取代了传统的文件和块用例而发生了长足的发展。特别地,使用小型数据对象的需求变得司空见惯。是的,仍然有很多大对象,但对于特定的工作负载和应用程序环境,小对象变得比大对象更为普遍。
阅读更多...
简介文件管理是金融,电信,医疗保健,政府等各种受监管机构的核心要求。这些机构需要管理和保留数量不断增长的文档,而监管准则通常要求将这些文档存储很长的时间(7-10年)。以KYC(了解您的客户)文档为例。
阅读更多...
Cassandra是一个流行的,经过验证的NoSQL数据库,它支持键值宽列表。像任何强大的工具一样,Cassandra具有理想的用例-特别是,Cassandra擅长支持繁重的写工作负载,同时在支持繁重的读工作负载方面有局限性。Cassandra最终的一致性模型和缺少事务,连接,子查询等多表支持也会限
阅读更多...
我们刚刚结束了2021年存储领域日活动,在会议期间,我们对混合策略产生了特别的兴趣。最后,我们在时间上有些压缩,但信息引起共鸣,并且是摄像机停止滚动后与代表讨论分组讨论室的主要主题。
阅读更多...
我们在SFD广告位结束时忙得不可开交。鉴于混合云的故事对我们的未来至关重要,我可能不应该将它留在最后。太多的大问题使我们无法按计划进行,我们到达本节的开头时就没有足够的时间来说明问题。
阅读更多...
这是一篇相对简短的文章,因为视频中确实包含了好东西,这要归功于Daniel Valdivia和AB。总结是,MinIO拥有一支可笑的人才工程团队,他们在一起已经有十多年了。他们中的许多人都是Gluster团队的成员,并且忘记了有关文件系统的更多信息
阅读更多...
如今,Kubernetes似乎是许多问题的答案。应该是这样,它是向应用程序交付计算,网络和存储的主要方式。在技术世界中通常有几个参与者的空间,其优势令人惊讶。这是赢得所有市场的赢家,而Kubernetes则占据了一切。
阅读更多...
正如我们在开幕式中所说的那样,我们热爱存储领域日,因为这是我们有机会对自己的成就进行反思,同时迫使我们面对未来的机会。我们之所以说是对峙,是因为SFD的代表是您可能会遇到的最聪明,最挑剔的怀疑论者群体。
阅读更多...
简介:已发现针对MinIO服务器的服务器端请求伪造(SSRF)漏洞,并已在RELEASE.2021-01-30T00-20-58Z中修复。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-12-17T23-16-33Z或更高版本的所有用户都受到影响。禁用MinIO浏览器UI的用户
阅读更多...
几个月前,我们宣布我们是少数几个选择与他们在VMware vSAN™Data Persistence平台上与VMware合作的设计合作伙伴之一。该公告是我们现有合作伙伴关系的扩展,该合作伙伴关系专注于云先驱Pivotal。
阅读更多...
VMware的vSphere 7.0版本引入了一些令人兴奋的新功能。其中之一是Supervisor Services,它将允许您直接从vSphere UI安装数据库,消息代理和超大规模高性能对象存储。通过添加Kubernetes自动化,VMware创建了一个平台,可提供从容器化,编排,虚拟化,带有v
阅读更多...
对象存储即服务是当今存储中最热门的概念。原因很简单:对象存储是云的存储类别,并且能够无缝地将其提供给应用程序或开发人员的功能使其对于任何规模的企业都具有巨大的价值。挑战在于,传统上很难将对象存储即服务
阅读更多...
今天是MinIO的特殊周年纪念日。自从我们在GitHub上发布第一个GA版本至今已经五年了。从那时到现在(5,396次提交)的旅程简直令人赞叹不已,我们想花一点时间回顾一下我们从何时开始以及现在的位置的想法。
阅读更多...
随着我们进入2021年,有一些技术媒介决定了IT架构师的对话。占主导地位的是Kubernetes。与此相关并迅速成为“标准”的是混合云。只有在计划混合云时,架构师角色固有的挑战才会加剧。首先,它是新事物,营销有超越趋势
阅读更多...
简介:已发现针对MinIO服务器的签名验证绕过漏洞,并已在RELEASE.2021-03-17T02-33-02Z中修复。严重性:中受影响的对象:RELEASE.2021-03-17T02-33-02Z之前的MinIO服务器版本的所有用户。通过TLS访问MinIO的用户不受影响。对用户的建议操作:建
阅读更多...
前几天,我们与一位受人尊敬的行业分析师进行了交谈,他向我们提出挑战,以阐明Kubernetes对对象存储如此重要的原因。它使我们认为这是一个值得我们和您共同度过的话题。
阅读更多...
直观的GUI使用Kubernetes简化了多租户对象存储的部署和管理
阅读更多...
对象存储即服务是IT的游戏规则改变者。在过去的十年中,IT一直在关注开发人员为公共云上新兴的应用程序配置对象存储的情况-推动了该介质的大量采用。这为IT创造了许多众所周知的问题。这不是一个简单的控制问题,它是一个更广泛,更关键的问题
阅读更多...
SUBNET是MinIO的商业引擎。从初创公司到全球最有价值的技术公司,MinIO的生产实例都是如何被消耗的。SUBNET将商业许可证(对于AGPLv3义务很重要)与独特的支持模型结合在一起,该模型通过MinIO内置的门户提供24/7/365直接对工程师的支持,该门户融合了Slack
阅读更多...
许多对象存储公司喜欢谈论可扩展性,同时讨论诸如EB和“ Infinite”之类的术语。不幸的是,许多用于描述可伸缩性的术语都做出了宏大而误导的承诺,无助于企业构建有效的存储平台。围绕最简单的用例(静态档案数据)提出的声明无法转化为整个使用范围
阅读更多...
当您考虑云时,可以考虑以弹性计算,网络和存储为基础组件,以自助服务/多租户为客户参与工具的业务类型。在大多数情况下,这些企业通过专注于产品的开发而成功地进行了扩展,几乎全部集中在一个单一的产品上。
阅读更多...
我们在 18 个月前的 2019 年 10 月开始了 AGPL v3 之旅. Kubernetes 多租户运营商堆栈、管理和监控控制台、KES 加密服务、Sidekick 负载均衡器都从 AGPL v3 许可证开始。从那时起,我们将绝大多数代码置于此许可之下,并且在该意图上一直是透明的,包括在我们的
阅读更多...
云原生工作负载通过许多小文件将存储推向极限。MinIO 结合元数据和数据来优化小文件操作。
阅读更多...
MinIO 是 Cloud Native Data Management Days (CNDM Days) 的骄傲赞助商,这是一项旨在将 Kubernetes 和云原生数据管理爱好者聚集在一起的社区计划。在 Kubecon Europe 和 Kubecon 之前举办为期一天的虚拟活动,CNDM 日有
阅读更多...
每家公司都需要将气候变化作为其业务计划的一部分。将其视为与整个社会的契约。MinIO 以发展一种思考大问题、表现出同理心和重视善意的文化而自豪。它为我们提供了很好的服务。
阅读更多...
在这一点上,混合云和多云之间的界限是模糊的。混合云的定义当然更广泛(公共、本地、边缘)。多云一般是指多个公有云。使它变得模糊的是,云是一种心态——而不是一个物理位置。因此,我们现在看到这些术语可以互换使用。
阅读更多...
企业继续扩大其云覆盖范围——在更多云中运行更多工作负载——公共、私有和边缘。
阅读更多...
亚马逊网络服务所做的确实了不起。在 15 年的大部分时间里,他们建立了年运营率超过 $45B 的业务。支持显着增长的是存储——特别是 2006 年推出的 S3。
阅读更多...
了解如何使用 MinIO 在 Azure Kubernetes 服务上运行 Kubeflow。
阅读更多...
使用 MinIO 和 Red Hat OpenShift 构建企业混合和多云对象存储
阅读更多...
MinIO 不采用传统的重新平衡技术来管理数据或增加容量。就像我们所做的一切一样 - 我们仔细研究了这种“传统智慧”,并确定在需要提供性能、规模以及最重要的规模性能的对象存储特定实现的上下文中,重新平衡不会有效. 因此,我们通过添加服务器池和擦除集以不同的方式解决问题。
阅读更多...
当您考虑对象存储工作负载和存储类型时,您首先想到的并不是数据库。然而,这种情况正在迅速改变,仅由两种力量驱动:真实、高性能对象存储的可用性和数据的爆炸性增长,或许更具影响力的是与其相关的元数据。
阅读更多...
当我们谈论 MinIO 正在改变企业如何看待对象存储的方式时,我们永远不会远离 Kubernetes 的话题。它是当今云生态系统中最具影响力的部分之一,因此在 6 月份的 Cloud Field Day 上讨论 MinIO 的关键功能时,我们将其归零是有道理的
阅读更多...
MinIO 团队为我们能够在高性能对象存储中构建的内容感到无比自豪,因此我们很高兴有机会在 6 月的 Cloud Field Day 上展示我们不断增长的功能
阅读更多...
保护块与保护对象不同。了解与分布式对象存储中的擦除编码相比,块级 RAID 的不足之处。
阅读更多...
如何将快速高效的搜索与高性能 Kubernetes 原生对象存储相结合。
阅读更多...
这篇文章首次出现在 Container Journal 上。“软件定义存储”一词被供应商社区广泛误解。虽然行业和金融分析师都知道软件定义是存储行业的现在和未来,但无法区分的客户可能会发现他们基于硬件或设备的解决方案并不完全符合
阅读更多...
已发现并已在 RELEASE.2019–02–12T21–58–47Z 中修复针对 Minio 服务器存储 API 的身份验证绕过的可能性
阅读更多...
了解 MinIO 如何结合多种内置数据保护功能以确保不会无意中覆盖或删除任何内容
阅读更多...
从技术的角度来看,我们正处于一个有趣的时期。云,我们指的是一种做事方式——而不是物理位置,在云原生公司和传统供应商(其中许多是巨头)之间造成了巨大的鸿沟。
阅读更多...
流数据是现代对象存储堆栈的核心组件。无论数据源是边缘设备还是在数据中心运行的应用程序,流数据都在迅速超越传统的批处理框架。
阅读更多...
带有 NVMe 驱动器的 Supermicro Cloud DC 服务器上的 WARP 性能测试 MinIO。
阅读更多...
近几个月来,Kubernetes 中对象存储标准化的推动势头强劲。新标准名为 COSI,表示容器对象存储接口,它与 CSI 有着相似的共鸣——CSI 是 Kubernetes 中众所周知的存储消费标准。
阅读更多...
在多个数据中心之间同步数据是任何对象存储服务的核心竞争力。MinIO 已经通过其性能优化的服务器端主动 - 主动桶复制 [https://blog.minio.org.cn/active-active-replication] 勾选了这个框。
阅读更多...
当前一代的边缘计算仍处于起步阶段。鉴于其目前的规模(60 亿美元)和增长预期(到 2028 年将达到 610 亿美元),这是一个了不起的声明。
阅读更多...
MinIO 对可管理性的概念感到特别自豪。这源于我们对简单性的不懈关注。我们相信,具有中等技术能力的个人应该能够在空闲时间管理多 PB 的 MinIO 实例。
阅读更多...
MinIO 被评为 2021 年 Stratus 奖存储技术类别的获奖者。
阅读更多...
正如我们之前提到的,云原生的一大优势是集成通常非常无缝。我们不想过于简单化,工程就是工程,但一般来说,这使得将不同的部分放在一起更容易、更有影响力。
阅读更多...
让我们马上拿出一些东西。首先,Kubecon 仍然是其前身的影子。2019 年充满活力,甚至充满泡沫。本周在洛杉矶非常难过。预测是 3,000,但如果是 2,000,我们会感到惊讶。
阅读更多...
Kubernetes 是基础架构即代码的主要控制和管理点。在 Kubernetes 中添加 MinIO 和管理对象存储。
阅读更多...
擦除编码、BitRot 保护、加密、不变性和版本控制的概述。
阅读更多...
安全性在 MinIO 中是最重要的,并且在重要事物的万神殿中以性能、简单性和弹性位居首位。MinIO 在存储在磁盘上和通过网络传输时对数据进行加密。
阅读更多...
利用具有对象存储的云原生、面向 Kubernetes、基于微服务的架构。
阅读更多...
随着今天的公告 Starburst 的对 MinIO 的支持,重新审视正在成为分析工作负载标准的架构趋势是有意义的。
阅读更多...
MinIO 集群的一键式自动化性能测试。
阅读更多...
不要让意外的复杂性破坏云原生效率。
阅读更多...
MinIO 证明只要有正确的 GUI,任何人都可以成为对象存储管理员。
阅读更多...
我们很高兴将 Datanami 今年的最佳存储解决方案读者选择奖带回家。
阅读更多...
将数据从 HDFS 迁移到 MinIO 并享受云原生架构的好处。
阅读更多...
深入了解 MinIO 内部结构,了解这种分布式对象存储解决方案如何优化以处理单个对象的数千个版本。
阅读更多...
MinIO 坚信透明度和数据驱动的讨论。这就是为什么我们发布我们的基准并挑战其他行业也这样做。
阅读更多...
使用 MinIO 托管应用程序使为 S3 编写的工作负载能够在 Azure 上运行。
阅读更多...
在有关保护 MinIO 的一系列博客文章的第一篇中,了解如何保护传输中的数据、静态数据以及建立基于角色的访问控制策略。
阅读更多...
对象存储即服务是当今存储领域最热门的概念。原因很简单:对象存储是云的存储类别,能够将它无缝地提供给应用程序或开发人员,这使得它对任何规模的企业都具有巨大的价值。
阅读更多...
使用 AWS Marketplace 中的 MinIO 快速轻松地实施多云战略。
阅读更多...
为云原生对象存储奠定最佳基础,并为开发人员及其应用提供所需的性能。
阅读更多...
出色的大规模性能、灵活性和一致性使对象存储成为云原生企业的最佳选择。
阅读更多...
当我们分享 B 轮融资的消息以及随之而来的里程碑估值时,我想分享一些关于我们的旅程、我们的商业吸引力、接下来会发生什么以及为什么文化现在比以往任何时候都重要(以及你如何成为一个一部分)。
阅读更多...
今天标志着 MinIO 故事的新篇章。凭借我们 1.03 亿美元的 B 轮融资,MinIO 的估值超过 10 亿美元,代表了对我们打造世界领先对象存储战略的具体、有意义的验证。
阅读更多...
停用硬件是存储生命周期的重要组成部分 - MinIO 已涵盖。
阅读更多...
了解如何在全球最大的公共云上安装和定制全球最快的对象存储。
阅读更多...
在奖项方面,MinIO 有点激动。我们拿下了 Datanami 读者选择奖,Stratus 奖软件定义对象存储技术和整体全球云领导力,
阅读更多...
2022 年,每个企业都必须采取预防措施来抵御勒索软件的严重威胁。在 2020 年和 2021 年,我们看到勒索软件攻击的数量和严重程度都在增加,而 2022 年有望继续这种可怕的趋势。
阅读更多...
我们上周提到 我们关注了年度 TechTarget 存储产品奖项。
阅读更多...
使用 ZIP 文件的数据湖?了解如何从保存在 MinIO 上的 ZIP 存档中下载单个文件。
阅读更多...
MinIO 是可用的最快的对象存储,但您如何知道底层基础架构没有瓶颈?
阅读更多...
MinIO 正在弃用网关,并将在六个月内完全删除。这不足为奇,我们从 2020 年开始通知社区,并稳步移除不受欢迎的网关。在过去的十个月里,MinIO 只进行了错误修复。社区可以在该日期之后继续使用旧版本的 MinIO。
阅读更多...
虽然用户认为基础设施可用是理所当然的,但您知道指标、监控和警报对运营至关重要。
阅读更多...
了解如何以分布式模式部署 MinIO 以在 Azure 上获取 S3 对象存储。
阅读更多...
上周我们刚刚完成了存储领域日的演示,有一点很清楚——分析师社区中有很多人继续投资于 SAN/NAS 的成功。一方面,我们明白。
阅读更多...
主存储是您的应用程序与之通信的存储。在以对象存储为主的云运营模式中。任何告诉你不同的人都是在试图向你推销一些东西。
阅读更多...
现代基础设施的关键在于可用性。* 考虑在线抵押贷款业务。提供商有 30 秒的时间向潜在买家提供报价,否则另一家提供商将赢得客户的业务。
阅读更多...
在 MinIO,我们肩负使命,直到每个人都可以运行风靡云计算的弹性、高性能和可扩展的对象存储,我们才会停止。在公共云、私有云和边缘已经有数百万的 MinIO 部署——我们正在使运行 S3 API 兼容和 Kubernetes 变得更加容易
阅读更多...
利用 MinIO 的性能、数据保护和 S3 API 功能进行日志管理和分析。
阅读更多...
了解如何将外部 TLS 证书添加到 MinIO 租户并使用 SNI 访问它们。
阅读更多...
我们最近使用 WARP 基准测试工具在 Western Digital OpenFlex Data24 上对 MinIO S3 性能进行了基准测试。Western Digital 的 OpenFlex Data24 NVMe-oF 存储平台将 NVMe 闪存的高性能扩展到共享存储。
阅读更多...
我们正处于云原生人才危机中。它不会很快结束。鉴于危机的严重性,考虑到云运营模式的发展速度——从公共云到私有云,甚至到边缘,真是令人惊讶。我们的客户和合作伙伴都在寻找更多的云人才。
阅读更多...
Kubeflow 是一种现代解决方案,可使用最新和最流行的框架来设计、构建和编排机器学习管道。开箱即用,Kubeflow 内部随附 MinIO 以存储其所有管道、工件和日志,但是 MinIO 仅限于单个 PVC,因此无法受益于分布式 MinIO 带来的所有功能
阅读更多...
安装和配置 Loki、Promtail、Grafana 和 MinIO 以快速开始使用日志数据。
阅读更多...
这篇文章首次出现在 The New Stack 中。随着企业的不断进化,机器学习和人工智能已经成为董事会层面的举措。撇开营销说法不谈,随着 AI/ML 融入到每个软件堆栈和架构中,几年前看起来几乎是神话般的功能现在已成为理所当然的事情。这被称为人工智能优先架构。
阅读更多...
了解 Reed-Solomon 纠删码如何为大规模分布式对象存储提供数据保护。
阅读更多...
这些天围绕 Apache Arrow 的势头很大。作为开发人员和数据从业者的最爱,它在业务关键型应用程序中的使用已大幅增长,Dremio、InfluxData、Snowflake、Streamlit 和 Tellius 等数据驱动组织都投入了大量资金。
阅读更多...
直接记录如何比较多种存储技术。
阅读更多...
我最近在与一位客户合作解决性能优化问题时,我意识到一种我从未遇到过的 NMVe 现象,尽管我曾担任首席技术官和首席数据官数十年。当我深入研究这一现象时,我了解到这在 NVMe 人群中是一个共同的秘密。
阅读更多...
大量小文件对应用程序性能提出了巨大挑战。
阅读更多...
LXD 是 Canonical Ltd. 的下一代 Linux 系统容器和虚拟机管理器。LXD 允许您使用简单的命令行工具或通过 REST API 管理容器。LXMIN (lex-min) 是一个简单的备份和恢复工具,用于使用 MinIO 对象存储的 LXD 实例(容器或虚拟机)。
阅读更多...
了解如何构建由 MinIO 支持的云原生分析和可视化堆栈。
阅读更多...
这里的箭,那里的箭,到处都是箭。似乎目前你不能在没有点击关于 Apache Arrow 的文章或博客文章的情况下摆动一只死猫。大多数似乎都是面向开发人员的,并且基于 Python 和 Spark 风格的开发平台。
阅读更多...
自 80 年代末以来,我一直在研究神经网络和机器学习。是的,我就这么老了。我购买的第一个产品是 California Scientific Software BrainMaker Professional。我喜欢那个产品,因为它让我开始使用神经网络。
阅读更多...
DirectPV 是用于直接附加存储的 CSI 驱动程序。在最基本的层面上,它是一个分布式持久卷管理器,而不是像 SAN 或 NAS 这样的存储系统。DirectPV 用于跨服务器发现、格式化、安装、调度和监控驱动器。在我们进入 DirectPV 的体系结构之前,让我们先说明为什么我们需要构建它。
阅读更多...
西班牙巴伦西亚的 Kubecon EU 为 Kubernetes 社区带来了一股清新的空气。虽然 Linux 基金会和 CNCF 在这场大流行病中做了大量工作,但没有什么比亲眼见到你的“人”更棒的了。
阅读更多...
随着 Microsoft SQL Server 2022 的推出,您现在可以查询和存储 MinIO 上的数据。使用称为 Polybase 的功能,这会在可用数据的大小和位置方面改变游戏规则。
阅读更多...
一段时间以来,物联网应用呈爆炸式增长,从网络的前沿到工厂车间,但现在它们正在达到临界质量。他们已经生成了大量数据,而且数量还在增加。其中一些数据在本地处理,但其中大部分需要发送到某个地方以供进一步分析。
阅读更多...
随着云计算的出现,临时计算实例变得无处不在。这在管理软件、应用 DevOps 原则、解决安全漏洞和确保自动化方面带来了一系列挑战。为了防止数据被盗和服务中断,这些都是关键任务。
阅读更多...
Snowflake 现在是云数据仓库平台的事实标准。它的架构旨在支持来自管道、ETL、分析和治理的各种数据任务。传统上,所有数据都需要转移到 Snowflake 中,企业才能利用 Snowflake 的功能。
阅读更多...
我们之前已经说过,但值得重复。云是一种运营模式——而不是物理位置。这就是为什么你会在公共云、私有云、边缘处随处发现 MinIO。我们不区分,因为我们是云原生的,所以我们与云(位置)无关。
阅读更多...
了解使用 R、H2O 和 MinIO 进行异常检测和自动编码。
阅读更多...
Frank Wessels 是 Sneller 的创始人,之前曾在 MinIO 工作。简介 在 MinIO 期间,也许我学到的最重要的一课是关于简单性。如果您想实现(真正的)可扩展性,简单性是最重要的。
阅读更多...
在保护 IT 基础设施时,加密网络流量是唾手可得的成果。在 TLS 方面,MinIO 遵循务实的方法。它必须安全、高效且简单。重要的事情 在几乎所有情况下,我们只需要考虑几件事: * TLS 版本。
阅读更多...
了解如何使用 Grafana Mimir 监控指标并发出警报,并将数据保存到 MinIO 以实现持久性。
阅读更多...
了解如何使用 Nginx、LetsEncrypt 和 Certbot 保护、负载平衡和扩展您的 MinIO 实例。
阅读更多...
使用 K8ssandra 在任何环境中无缝备份和恢复带有 MinIO 的 Cassandra。
阅读更多...
现代数据湖是一半数据仓库和一半数据湖,对所有事情都使用对象存储。使用对象存储来构建数据仓库是通过 Open Table Formats OTF) 实现的
阅读更多...
随着组织围绕数据进行自我组织,它们正变得以应用程序为导向。现代应用程序是云原生和以数据为中心的应用程序,并受益于具有卓越性能和规模的解耦无状态、不可变服务。
阅读更多...
在 MinIO 中启用和调整透明数据压缩。
阅读更多...
软件定义的 MinIO 具有灵活性和丰富的云原生集成,可以在单租户或多租户模式下部署,这篇文章旨在帮助您确定适合您部署的架构。
阅读更多...
MinIO 是开源对象存储平台 MinIO Object Storage 的创建者。我们坚信保持我们的软件开源 - 最优质的软件是通过社区协作制作的,因此人们可以自由创新和改进。
阅读更多...
我们将讨论如何设置集成 GitHub Enterprise 包和操作所需的基础设施,以使用 MinIO 作为后端。在高层次上,我们需要运行 MinIO 和 GitHub Enterprise 的实例。
阅读更多...
很长一段时间以来,我一直是 Mac 用户。就像“上个千年”一样。因此,我一直乐于寻找让软件在我的 Mac 上运行的方法,无论这是个好主意还是坏主意。
阅读更多...
对于每个以最高速度运行 DevOps 的 Amazon 或 Etsy,都有成千上万的团队像我一样,我将慷慨地称之为正在进行的工作。链条的强度取决于其最薄弱的环节,这句古老的格言当然适用于 DevOps。
阅读更多...
这篇文章重点介绍 Iceberg 和 MinIO 如何相互补充,以及各种分析框架(Spark、Flink、Trino、Dremio 和 Snowflake)如何利用这两者。
阅读更多...
学习如何在启动、关闭、初始化等过程中使用 SystemD 配置和维护 MinIO。
阅读更多...
7 月 19 日,MinIO 撤销了 Nutanix 对 MinIO 对象存储套件的 Apache v2 许可证,因为该许可证违反了该许可证。
阅读更多...
了解如何使用 Delta 开放存储格式和 MinIO 对象存储构建多云数据湖。
阅读更多...
MinIO 利用工程重点和极简主义思维来添加可支持性功能,这意味着在问题成为您的安装问题之前发现并修复它们。
阅读更多...
MinIO 是创建和执行复杂数据工作流的基础组件。这个事件驱动功能的核心是使用 Kafka 的 MinIO 桶通知。
阅读更多...
正如我们在 4 月份指出的那样,MinIO 将在几周后弃用网关功能。正如 Harsha 当时所写,网关已经达到了它的目的并且不再可行。
阅读更多...
随着 AWS 本地扩展区的扩展 - 需要对象存储。AWS 建议使用 MinIO。
阅读更多...
在本教程中,您将学习如何使用 R、H2o 和 MinIO 创建具有生产能力的日志处理工作流。
阅读更多...
现代企业是数据驱动和以云为中心的。后者是一种心态,而不是一个地方。云的核心概念:容器化、编排、API 和自动化是现代世界中公司成功的决定性特征。这种心态的核心,事实上,也许是决定性的特征,是 Kubernetes。
阅读更多...
VMware Explore 将于明晚在旧金山启动。它与 2019 年最后一次面对面的 VMworld 活动不同——无论是在出席人数还是在内容方面。从那以后发生了很多事情。
阅读更多...
加拿大的人工智能 (AI) 和机器学习 (ML) 证书在该领域是众所周知的。有人会争辩说,多伦多,而不是硅谷,是西方人工智能世界的中心。从外交上回避这场辩论,毫无疑问,边界以北正在发生大事。
阅读更多...
Apache Iceberg 数据湖存储格式在保存到 MinIO 的表上启用 ACID 事务。ACID 事务使多个用户和服务能够同时可靠地以原子方式添加和删除记录。
阅读更多...
MinIO 是 Elasticsearch 的完美伴侣,因为它具有行业领先的性能和可扩展性。MinIO 将可扩展性和高性能相结合,使每个数据密集型工作负载都触手可及,而不仅仅是 Elasticsearch。
阅读更多...
让开源软件帮助您简化企业对话式 AI 需求,让 MinIO 处理存储解决方案以实现持续学习和优化知识库,以改善聊天机器人体验。
阅读更多...
这是自大流行开始以来会议真正开始的第一年。DeveloperWeek Cloud 2022 也于今年在德克萨斯州奥斯汀重磅回归。
阅读更多...
可观察性大致可以分为三个子类别:日志记录、指标和跟踪。在这篇博文中,我们将向您展示在新的或现有的 MinIO 应用程序中设置跟踪是多么简单。
阅读更多...
您是否需要找到一种方法来替换数据湖中的 Hadoop 并添加云原生功能?
阅读更多...
当我们在 2014 年底开始时,我们的既定目标是成为 AWS S3,但面向世界其他地区。从那时起,我们一直专注于实现这一目标。今天标志着实现该目标的一个重要里程碑,从 2014 年的零代码行到全球部署的 10 亿 docker 下载量。
阅读更多...
连续性(复制)是比恢复(备份)更好的途径。MinIO 让您的业务在灾难面前保持正常运转。
阅读更多...
在本文中,我们将了解从与 OpenTelemetry 集成的 Python 应用程序收集指标、将它们存储在 Prometheus 中并在 Grafana 仪表板中可视化数据的过程。来自 MinIO 的 AJ 的精彩教程。
阅读更多...
紧急按钮是 SUBNET 的一个非常有用的组件。了解它是如何工作的,会发生什么,以及为什么人们如此喜欢它(即使他们不喜欢按下它之前的内容)。
阅读更多...
您是否想过拥有数百个应用程序和数百万用户的大公司如何管理他们的持续集成(构建)和持续交付(部署)工作流程?
阅读更多...
为高性能云原生对象存储创建框架是现代企业的关键任务。查看软件定义#ObjectStorage 购买者指南以了解关键功能。
阅读更多...
了解如何使用 DataProfiler 这个 OSS 项目来识别敏感信息,然后您可以使用 MinIO 对象存储来保护数据。
阅读更多...
MinIO 批处理框架使您能够直接在 MinIO 部署上运行批处理操作。第一个可用的操作是批量复制。
阅读更多...
本教程将使用 R、H2O 和 MinIO 使用外汇 (Forex) 数据构建一个非常简单的统计套利模型。
阅读更多...
在本教程中,我们将烘焙 MinIO 二进制文件和服务依赖项,例如 MinIO 所需的用户名和组。我们正在烘烤而不是油炸,因为无论我们如何配置和启动我们的图像,它们都将保持不变。
阅读更多...
使用此自动化工具可以快速轻松地将 HCP 替换为 MinIO。
阅读更多...
我们对 Kubecon 的热爱是有据可查的。在那里,我们与朋友、合作伙伴、客户和潜在客户在一起——今年也不例外,我们在今年的任何展会上进行了最好的对话。Kubernetes 社区和 MinIO 一起成长,一起繁荣,我们仍然看好我们可以共同取得的成就。
阅读更多...
了解在 Kubernetes 集群之外公开 MinIO 服务的四个选项。
阅读更多...
持续交付 (CD) 是一种软件开发实践,其中自动构建、测试代码更改并将其部署到生产服务器。在这篇博文中,我们将重点介绍如何在生产环境中部署 MinIO 集群。
阅读更多...
这篇博文将向您展示如何将现有的 MinIO 网关设置迁移到 MinIO 服务器部署。
阅读更多...
这篇博文是关于将 MinIO 租户服务暴露给 Amazon EKS 集群之外的应用程序的系列文章的第二部分。第一篇博文概述并比较了使用弹性负载均衡器在 AWS EKS 中公开 MinIO 服务的四种方法. 软件定义的 MinIO 提供分布式高性能对象存储
阅读更多...
最近,MinIO 实现了一个重要的里程碑,突破了 10 亿 docker 下载量大关。几乎同时,MinIO 在其公共 Slack 社区和第 35,000 个 GitHub Stargazers 中获得了第 20,000 名成员 - 使该公司跻身该网站前 250 个存储库(在 2800 万个存储库中)
阅读更多...
传统上,存储的设计、采购和部署需要专业技能和管理大量复杂性的能力才能成功。现代对象存储改变了这一点。这在今天尤其令人痛心——购买 SAN 和 NAS 设备通常需要数月或更长时间才能完成。
阅读更多...
多站点主动-主动复制于 2021 年底首次推出,现已发展成为最具影响力的 MinIO 功能之一。MinIO 很早以前就具备了桶间复制同步对象、删除操作和元数据变化的能力,但是多站点双活复制超越了桶复制,同步所有桶、IAM、安全令牌、服务账户
阅读更多...
虽然数据的总体增长轨迹非同寻常,但真正引人注目的是日志文件的增长。作为数字企业的心跳,这些文件包含大量的情报——涵盖从安全到客户行为再到运营绩效的惊人范围。然而,日志文件的增长给企业带来了特殊的挑战。
阅读更多...
正如你们大多数人所知,我们一直在努力开发我们的 YouTube 频道 ,为任何级别的用户创建一系列教程。我们将使用此论坛不断突出新课程和内容。今天我们的重点是如何在 Linux 上安装和运行 MinIO
阅读更多...
在这篇博文中,我们将向您展示如何快速启动并运行 MinIO、KES 和 Vault,以充分了解服务器端加密的功能。
阅读更多...
MinIO 和 Commvault 共同提供了一个软件定义和硬件无关的备份、恢复和复制系统,该系统既简单又强大。
阅读更多...
在我们上一篇 YouTube 总结博文中,我们介绍了 Mike “MJ” Johnson 关于在 Linux 上运行和部署 MinIO 的系列文章
阅读更多...
版本控制、S3 对象锁定、静态和传输中的加密、身份提供者、复制、CVE 监控,用于安全的云原生对象存储基础。
阅读更多...
我们将建立一个地理分布的基础设施,我们在远距离的多站点中拥有一个多节点多驱动器 MinIO 集群。这将使我们能够真正理解大规模复制工作,以帮助我们了解高可用性所需的基础设施。
阅读更多...
这周总是反思的一周。随着新媒体将他们的预测流量推至 10 月和 11 月,我们发现自己在本周回顾了我们所写的内容,更重要的是,回顾了我们的读者阅读的内容。
阅读更多...
在这篇博文中,我们将深入探讨不同的 ElasticSearch 层,并向您展示如何使用和配置 MinIO 作为 ElasticSearch Frozen Tier 的存储。
阅读更多...
我们想分享我们对在 SAN/NAS 设备上运行 MinIO 的想法。首先,您可以在 SAN/NAS 设备上运行 MinIO。虽然这是可能的,但这不是一个好主意,我们强烈建议我们的客户不要采用这种方法。
阅读更多...
在我们最近的 MinIO YouTube 学习报道中,我们讨论了 MJ 的“管理员基础”课程。本期将涵盖 Will Dinyes 的系列,面向那些希望在其工作的 Go(有时称为 Golang)环境中部署 MinIO 的人。
阅读更多...
快速轻松地开始使用 Amazon EKS 上的 Kubernetes 本机对象存储。
阅读更多...
云存储巨头连续获得行业最高奖项。
阅读更多...
深入了解 MinIO 的思维方式,了解我们如何使用 MinIO 进行更新和重启。
阅读更多...
MinIO 是 Airflow 的完美伴侣,因为它具有行业领先的性能和可扩展性,使每个数据密集型工作负载都触手可及。
阅读更多...
每年,存储行业的人士都期待 Philippe Nicolas 的存储通讯的存储供应商预测,了解存储空间的趋势和新想法。结合业内大多数主要参与者的意见,它不仅是存储发展方向的重要晴雨表,而且也是知情人士如何发展的晴雨表
阅读更多...
您一定听说过不同的数据格式,例如 Parquet、ORC、Avro、Arrow、Protobuf、Thrift 和 MessagePack。它们是什么以及如何选择合适的?
阅读更多...
在我们的 Youtube 摘要系列的最后一期中,我们介绍了使用 Go SDK 将 MinIO 部署到 Go 中。今天,我们将回顾 MJ Johnson 的系列文章,介绍如何使用 MinIO Client (MC) 命令使用类似 Linux 的工具从命令行快速有效地管理您的 MinIO 环境。
阅读更多...
MinIO 订阅网络(简称 SUBNET)附带商业订阅,让您高枕无忧 - 从双重许可模式(AGPL 和商业)到直接面向工程的支持模式
阅读更多...
不要将传统的日志记录软件引入云原生堆栈。
阅读更多...
Veeam Backup & Replication 12 添加了使用对象存储作为性能层直接目标的功能。Veeam 备份存储库的性能层是用于快速访问数据的级别。以前,对象存储只能用于容量层,这是用于存储访问频率较低的数据的附加级别。
阅读更多...
针对运行旧版 Apache 代码的客户和社区成员的安全建议。
阅读更多...
备份和恢复领域出现了一种有趣的动态。随着数据的增长 - 它实际上超过了即使是最先进的备份供应商提供可接受的恢复时间目标 (RTO) 和恢复点目标 (RPO) 的能力。
阅读更多...
我们生活在一个云原生世界中,在这个世界中,边缘架构必须与云架构保持一致,并且无论数据位于何处,都可以使用相同的 API 调用来检索数据。
阅读更多...
通货膨胀(以及在可预见的未来相应的高利率)、需求破坏和不确定的前景的双重打击促使公司积极寻求成本节约。现在。虽然裁员是大多数科技行业当前的做法,但数据堆栈中有真金白银
阅读更多...
这篇文章重点介绍了与这种独特模型相关的一些特性,并且是详细介绍商业关系所带来的特性和功能的系列文章中的第二篇。
阅读更多...
Apache Spark 和 MinIO 是用于数据湖和分析的强大工具。了解如何在 Kubernetes 中运行它们。
阅读更多...
MinIO 的对象 Lambda 实现允许转换您的数据,以满足逐个应用程序的独特数据格式要求。例如,电子商务应用程序创建的数据集可能包含个人身份信息 (PII)。当相同的数据被处理用于分析时,PII 应该被编辑。
阅读更多...
在存储和管理数据方面,有现代的云原生方式,也有传统的面向设备的方式。不用说,对象存储是现代的云原生方式。虽然很容易暗示 MinIO 无可救药地偏向对象存储(毕竟这是我们唯一做的事情)
阅读更多...
我们与 Rafay 合作开发了本教程,向您展示如何使用 Rafay 充分利用多云 Kubernetes 来部署、更新和管理 Kubernetes 以及使用 MinIO 进行对象存储的应用程序。
阅读更多...
第一个字节的时间是视频流的关键性能指标。了解 MinIO 如何改善客户体验并减少客户流失。
阅读更多...
在 MinIO,我们致力于开源软件的原则。从一开始,我们就一直坚持这一理念,这就是为什么你会发现上游代码和商业代码完全一样的原因。我们有义务保护我们的软件——尤其是那些将其打包在其专有产品中并通过的公司
阅读更多...
GitLab 可以使用 MinIO 作为其对象存储后端来存储大型文件,例如工件、Docker 图像和 Git LFS 文件。鉴于合适的底层硬件,MinIO 提供了支持任何现代工作负载(包括 GitLab)的性能和规模。
阅读更多...
如果您有一个个人健康监测器可以随时监控您的健康状况,而无需您付出任何努力,会怎样?想象一个每天跟踪您的健康状况的系统,即使是最轻微的问题也会突出显示,这样您就可以在小问题变成大问题之前寻求帮助。
阅读更多...
了解 MinIO 如何为在 Kubernetes 上运行的服务简化和简化 TLS 证书的生成和分配。
阅读更多...
在这篇博文中,我们将构建一个 Notebook,它使用 MinIO 作为 Spark 作业的对象存储来管理 Iceberg 表。
阅读更多...
让我们回顾一些可用于从 S3、本地文件系统、NFS、Azure、GCP、Hitachi Content Platform、Ceph 和其他工具中获取数据并将其放入 MinIO 集群的工具。
阅读更多...
在听取社区反馈后,我们觉得在包括 Weka 在内的许多方面都需要进行更新。我们想借此机会澄清我们使用的一些语言——特别是关于撤销。
阅读更多...
在这篇文章中,我们将讨论纠删码和纠删集,然后深入探讨如何在设计部署时使用纠删码计算器,通过从一开始就选择正确的硬件配置设置来充分利用 MinIO。
阅读更多...
了解如何开始在 Kubernetes 上使用 Dremio 和 MinIO 进行快速、可扩展的分析。
阅读更多...
使用 Apache Iceberg、Dremio 和 MinIO 构建本地数据湖
阅读更多...
我们又在我们的 YouTube 频道上推出了另一门教育课程,这是我们迅速扩展的曲目。本月,MinIO 的 Will Dinyes 正在为那些已经建立了对象存储并希望了解更多关于如何建立高效和可持续的数据生命周期管理策略的人讨论对象管理。
阅读更多...
Apache Kafka 是一个开源分布式事件流平台,用于构建实时数据管道和流式应用程序。它最初由 LinkedIn 开发,现在由 Apache 软件基金会维护。
阅读更多...
我想分享我对半年一次的 Kubecon 会议的看法,这是欧洲版。这些都是相当坦诚的看法,我可以批评或补充,但考虑到这个空间对我们有多重要,它值得分析。
阅读更多...
什么是理想的硬件配置?在这篇博文中,我们将详细介绍在为您的用例选择合适的硬件之前需要考虑的所有组件。
阅读更多...
什么是 ArgoCD?简而言之,它是一个 GitOps 持续部署工具,将基础架构的状态存储在 Git 存储库中,并通过跟踪现有部署配置和新部署配置之间的变化来自动部署。
阅读更多...
MinIO 在 MinIO 服务器中添加了对 FTP 和 SFTP 的支持。
阅读更多...
Supermicro GrandTwin™ SuperServer 是一款坚固、设计精良的 NVMe 级硬件,我们推荐用于 MinIO 工作负载。
阅读更多...
MinIO 被许可人可以访问 SUBNET 安全功能,例如长期支持和政策审查。
阅读更多...
使用 MinIO 管理用户、组和策略以确保安全性和功能。
阅读更多...
在数据持久性、容错性和恢复时间方面,我们已经广泛发表了关于使用纠删码的对象存储如何比块存储 RAID 更好的方法的博客。存储技术领域的其他人开始意识到我们是对的,RAID,本质上是 1980 年代的技术,已经过时了,无法提供始终在线的数据驱动的云原生数据中心所需的数据保护。
阅读更多...
纠删码是 MinIO 的核心功能。它是为分布式设置提供高可用性的基石之一。简而言之,写入MinIO的对象被分割成多个数据分片(M)。
阅读更多...
由流数据提供的现代数据湖/湖屋是许多寻求控制数据并将其应用于解决业务问题的企业关注的焦点。数据驱动的业务需要对自己的昨天和今天有敏锐的了解,才能在明天蓬勃发展。云原生事件流的最先进技术是带有对象存储端点(例如 MinIO)的 Apache Kafka。
阅读更多...
Apache Kafka 是领先的开源分布式事件流平台,用于构建数据管道、流分析、数据集成和应用程序。企业喜爱Kafka是因为它的高可用性、高吞吐量和可扩展性。他们还喜欢使用 Apache Spark 来处理数据和构建分析,因为它快速、分布式且具有容错能力
阅读更多...
Kubeflow Pipelines (KFP) 是 Kubeflow 最受欢迎的功能。 Python 工程师可以使用 KFP 装饰器将用普通旧 Python 编写的函数转换为在 Kubernetes 中运行的组件。
阅读更多...
我介绍了 Apache Iceberg 并展示了它如何使用 MinIO 进行存储。
阅读更多...
长期以来,数据库一直是基于 SAN 的块存储和基于 NAS 的文件存储的主要工作负载。
阅读更多...
1997 年,克莱顿·克里斯滕森 (Clayton Christensen) 在他的《创新者的困境》一书中确定了一种创新模式,该模式可跟踪现有企业和新进入者之间按细分市场划分的能力、成本和采用情况。
阅读更多...
这篇文章是与 cnvrg.io 的 Harinder Mashiana 合作撰写的。
阅读更多...
我创建的数据管道将美国人口普查数据下载到 MinIO 的专用实例。
阅读更多...
MLflow 是一个开源平台,旨在管理整个机器学习生命周期。
阅读更多...
工程师喜欢在本地玩耍和学习。
阅读更多...
网上搜索“minio是干嘛的”这个问题搜索的太多了,我们感觉是我们的工作没有做好才给大家造成了这么大的信息差。在这里,我们有义务将信息差补齐。
阅读更多...
每个系统都需要备份,因为有无数种方法可以丢失本地文件系统数据和配置。这种损失可能是毁灭性的——可能导致收入损失、客户不满意,甚至代价高昂的诉讼。统计数据相当惨淡——遭受数据丢失事件的企业中有 60% 在六个月内关闭,而失去数据中心超过 10 天的公司中有 93% 在一年内申请破产。
阅读更多...
运行多个机器学习实验的现实情况是,管理它们可能会变得不可预测和复杂,尤其是在团队环境中。经常发生的情况是,在研究过程中,团队在实验之间不断更改配置和数据。例如,尝试多个训练集和多个超参数值,并且 - 当涉及大型数据集时 - 分布式计算引擎(如 Apache Spark)的不同配置。
阅读更多...
随着数据量和频率以前所未有的速度不断扩展和加速,对象存储继续作为数据堆栈的支柱,推动各种数据产品的创新和效率。其中,MongoDB是NoSQL领域的领跑者,它提供了一个多功能且可扩展的解决方案,用于管理非结构化和半结构化数据,如JSON文件。
阅读更多...
网上一些评论和提问经常会遇到三个问题,我们将这三个问题展开: MinIO不适用于小文件? MinIO小文件性能? MinIO是否是合小文件的读取场景? 首先,我们正面回答问题。 第一种观点是错误的,MinIO不仅非常适合小文件,还适合中型文件和大文件。
阅读更多...
很多中国地区的“攻城狮”们和运维专家们有各种担心向我们提问。 MinIO有没有文件数量限制呀? 还有这么问我们的? 为了赚钱,MinIO会不会进行文件数量的限制呀?
阅读更多...
在回答这个问题前,我们首先要明白一个关于监管上的要求和产品上的区别。因此,如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3,都是全球非常优秀的对象存储产品。
阅读更多...
想象一下,您正在笔记本电脑上进行开发,使用 Docker 将应用程序容器化,以实现一致性和易于部署。您当前的项目涉及使用 MinIO 进行对象存储,并且您在 Docker 中设置得很漂亮。
阅读更多...
麦肯锡(McKinsey)发布了一份有趣的报告,内容涉及人工智能对企业云投资的迫在眉睫的影响。 麦肯锡在文章的开头引用了一句话:“虽然可能的影响因行业而异,但采用云计算代表了普通公司将盈利能力提高 20% 到 30% 的机会。
阅读更多...
由于某客户在MinIO上使用的是HAproxy 1.8 版本,操作系统使用的是RHCL8.6 版本。在操作系统内核、SSL证书位数和HAproxy 1024位证书上产生问题。
阅读更多...
对于大文件,与完全加载整个大文件所需的时间相比,每个文件一次元数据访问引入的延迟几乎可以忽略不计。然而,对于许多小文件,元数据服务器访问基本上会使数据访问的延迟增加一倍,并成为整个对象存储系统的瓶颈。
阅读更多...
单线程管道中的数据处理(或机器学习领域中通常称为数据预处理)通常是通过将整个数据集加载到内存中并在将数据交给模型进行训练之前对其进行转换来完成的
阅读更多...
使用MinIO作为分布式对象存储系统,可以极大的帮助用户保护数据安全,在高IO和高吞吐情况下实现比传统老牌硬件存储厂商更低的成本、更高的性能和更符合自身业务情况的组合。
阅读更多...
在现代数据堆栈中,对象存储是主存储。在人工智能时代更是如此,企业几乎完全专注于对象存储。现代数据堆栈依赖于分解的计算和存储,以及在 Kubernetes 上的容器中运行的云原生微服务。
阅读更多...
很多时候,我们需要将数据从S3的站点(如华为云、阿里云、腾讯云),复制迁移回到本地的MinIO站点。 而云迁移回本地存储则是我们经常被问到的问题。
阅读更多...
在中国很多人还不太了解分布式,在底层使用SAN和NAS构建分布式存储遇到了很多问题。 现在我们通过这篇文章,告诉大家为什么不要使用NAS作为MinIO的底层存储。
阅读更多...
LanceDB 建立在 Lance(一种开源列式数据格式)之上,具有一些有趣的功能,使其对 AI/ML 具有吸引力。例如,LanceDB 支持显式和隐式矢量化,能够处理各种数据类型。
阅读更多...
网络有不同的部分,例如 DMZ、公共、私有、堡垒等。这实际上取决于您的组织和网络要求。在部署应用程序时,任何应用程序,我们都需要考虑类型以及它是否需要位于网络的特定部分。
阅读更多...
您现在可以使用 MinIO 批处理框架执行 S3 删除操作,以通过单个 API 请求删除大量对象。借助 MinIO 批处理框架,可以快速轻松地在 MinIO 部署中执行重复或批量操作,例如批量复制和批量密钥轮换。MinIO 批处理框架处理所有手动工作,包括管理重试和报告进度。
阅读更多...
在过去的几个月里,我们看到基于对象存储的超快速分析数据库的托管服务有所增加。随着企业意识到将闪电般快速的数据准备与对象存储相结合的战略优势
阅读更多...
服务器池可帮助您快速轻松地扩展现有 MinIO 集群的容量。这篇博文重点介绍如何增加一个集群的容量,这与添加另一个集群并在多个集群之间复制相同数据不同。
阅读更多...
客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制,以确保每个应用程序都使用最新的数据,无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中,我们详细介绍了各种可用的复制选项及其最佳实践。
阅读更多...
想象一下,在未来,人工智能不会被锁在公司的金库里,而是由全球创新者社区一砖一瓦地在开放中构建的。协作,而不是竞争,推动进步,道德考虑与原始绩效同等重要。这不是科幻小说,而是人工智能发展核心正在酝酿的开源革命。
阅读更多...
您可能已经在利用 MinIO 事件与外部服务进行通信,现在您将通过使用 PostgreSQL 自动化和简化数据事件管理来增强数据处理能力。本文是为那些对 MinIO、PostgreSQL 和 Docker 有基本了解的人量身定制的
阅读更多...
Microsoft 在将 S3 连接器和 Polybase 添加到 SQL Server 2022 时取得了重大飞跃。因此,企业可以利用他们保存到对象存储中的大量数据,并使用它来丰富 SQL Server 表。
阅读更多...
MiniO KES(密钥加密服务)是 MinIO 开发的一项服务,旨在弥合在 Kubernetes 中运行的应用程序与集中式密钥管理服务 (KMS) 之间的差距。中央 KMS 服务器包含所有状态信息
阅读更多...
本文讲述如何通过MinIO的S3构建分布式数量的股票数据湖,用于高性能计算、AI选股和量化交易、高频交易等。
阅读更多...
放弃专用硬件,让软件和硬件解耦,才能让您了争真实的硬件成本。
阅读更多...
CockroachDB 数据库迅速崭露头角,作为一个坚韧且可扩展的分布式 SQL 数据库。它从其昆虫名字的坚持不懈中汲取灵感
阅读更多...
MinIO 部署形式多样。我们支持在任意版本的 Linux 上进行裸金属安装,支持在任何版本的 Kubernetes(包括 Red Hat OpenShift)上进行容器化安装,还支持在大大小小的环境中部署单个轻量级二进制文件。
阅读更多...
我们已将这些回复汇总到这篇新文章中,其中我们更深入地研究了与遣返相关的成本和节省,以便您更轻松地进行自己的分析。对许多人来说,数据迁移是一项艰巨的任务。
阅读更多...
MinIO Operator 简化了 Kubernetes 集群上的 MinIO 管理,不仅在初始部署期间(第 0 天和第 1 天),而且在正在进行的第 2 天操作期间。
阅读更多...
MinIO的事件通知可能一开始看起来并不激动人心,但一旦掌握了它们的力量,它们就能照亮您存储桶内的动态。事件通知是一个全面、
阅读更多...
一个链条的力量取决于其最薄弱的环节 - 同样,您的AI/ML基础设施的速度也只有您的最慢组件那么快。如果您使用GPU训练机器学习模型
阅读更多...
谷歌最近宣布,它将取消那些离开平台的人的数据出口费用。鉴于我们在云运营模式和云生命周期方面的立场,这似乎是一个重大公告。事实并非如此。
阅读更多...
最近关于大型语言模型的奇迹已经说了很多LLMs。这些荣誉大多是当之无愧的。让 ChatGPT 描述广义相对论,你会得到一个非常好(且准确)的答案。
阅读更多...
机器学习和人工智能的魅力是不可否认的。想象一下,算法从您的数据中提取见解、预测客户行为并优化运营——纯金,对吧?但是,在你为一个训练有素的科学家的职位发布之
阅读更多...
MinIO 是一个强大的主要 TileDB 后端,因为两者都是为性能和规模而构建的。MinIO 是一个单一的 Go 二进制文件,可以在许多不同类型的云和本地环境中启动。
阅读更多...
在瞬息万变的数据存储和处理领域,将高效的云存储解决方案与先进的 AI 功能相结合,为处理大量数据提供了一种变革性的方法。
阅读更多...
其他人会说,这并不是真正的范围——大多数人在最初的人工智能尝试中都会失败,但这并不重要,学习是值得的。在某种程度上,两者都是对的——但我认为为什么企业会失败是值得探索的
阅读更多...
在这篇文章中,我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取,这是大型语言模型训练和检索增强生成 LLM和RAG 等关键下游任务的核心。
阅读更多...
Weaviate 是一个开创性的开源向量数据库,旨在通过利用机器学习模型来增强语义搜索。与依赖关键字匹配的传统搜索引擎不同,Weaviate 采用语义相似性原则。
阅读更多...
在之前的博客中,我们讨论了复制最佳实践和不同类型的复制,例如批量、站点和存储桶。但是,随着所有这些不同类型的复制类型的出现,人们不得不想知道在哪里使用哪种复制策略?
阅读更多...
机器学习中高效、自动化的数据准备的重要性怎么强调都不为过,并且通常概括为熟悉的公理“垃圾输入,垃圾输出”。这强调了数据质量在决定机器学习模型成功方面所发挥的关键作用。
阅读更多...
作为一名深耕自动化和人工智能领域的开发人员,我们逐渐认识到尖端工具和方法之间的显着协同作用,这些协同作用突破了可能性的界限。在这次探索中,我们想分享一个概念,它不仅彻底改变了我们的软件开发和基础设施管理方法,而且还打开了无尽创新的大门:GitOps。
阅读更多...
在传统的 POSIX 系统中,您可能熟悉可以读取和访问传统意义上的文件夹的数据访问函数。 POSIX 的问题在于它从来没有真正设计用于通过网络处理非常大的文件。
阅读更多...
2020 年,MinIO 为基于 Kubernetes 的 MinIO 存储部署实施了直接持久卷 (DirectPV)。DirectPV 类似于 LocalPV,但动态预配。
阅读更多...
在我之前关于 Langchain 的文章中,我探讨了“社区 S3 加载器”的使用,虽然有用,但功能有限。在这里,我们深入探讨了定制工具的开发(本演示重点介绍MinIO对象上传)以及它们通过Langchain代理和执行器与大型语言模型(LLMs)的集成。
阅读更多...
现代数据环境需要一种新型的基础架构,即无缝集成结构化和非结构化数据、轻松扩展并支持高效的 AI/ML 工作负载的基础架构。这就是现代数据湖的用武之地
阅读更多...
在现代数据驱动的环境中,网络是一个无穷无尽的信息来源,为洞察力和创新提供了巨大的潜力。然而,挑战在于提取、构建和分析这片浩瀚的数据海洋,使其具有可操作性。
阅读更多...
基于MinIO Weaviate Python GitOps探索的见解,本文探讨了如何增强软件部署流程的自动化。
阅读更多...
虽然市面上有许多防火墙,但它们通常分为两类:基于 IP 的防火墙和应用程序防火墙。基于IP的防火墙,在第3层和第4层运行,简单,轻量级,相当原始。
阅读更多...
在强大可靠的存储解决方案领域,MinIO 作为持久层脱颖而出,为组织提供安全、持久和可扩展的存储选项。
阅读更多...
我们最大的客户(那些拥有 EB 级数据和数千亿个对象的客户)所面临的挑战之一是无法有效地搜索和查询命名空间,从而为组织创建可用的清单。
阅读更多...
可观测性革命推动了计算、安全、基础设施和可审计性方面的巨大进步。企业可观测性提供对云原生系统的全面和精细的可见性,以更快地识别和解决问题。
阅读更多...
随着计算世界的发展和DRAM价格的暴跌,我们发现服务器配置通常配备 500GB 或更多的 DRAM。当您处理大型部署时,即使是那些具有超高密度 NVMe 驱动器的部署,这些服务器上的服务器数量乘以 DRAM 也会迅速增加
阅读更多...
大约三年前,当我们向客户和社区推出控制台时,MinIO 的世界发生了变化。这是可访问性的巨大飞跃。
阅读更多...
今天有这么多的产品优点同时出现,我们认为制作一个快速总结文章是有意义的,其中包含我们所做的所有更改和我们引入的所有功能。让我们从顶部开始。
阅读更多...
MinIO 为全球 S3 和对象存储设定了标准,并已成为实现 AI 代理和功能存储集成的关键参与者。
阅读更多...
[Apache Hudi](https://hudi.apache.org/) 已成为管理现代数据湖的领先开放表格式之一,直接在现代数据湖中提供核心仓库和数据库功能。
阅读更多...
在LinkedIn上,有一篇优秀的帖子在数据和数据库人群中流行。它由 Theory VC 合伙人 Tomasz Tunguz 撰写,讲述了我们自 2019 年以来讨论的趋势。
阅读更多...
想象一下,您已经花费了无数小时来完善 Docker Swarm 设置,精心设计每项服务,并调整 CI/CD 管道以实现无缝自动化。
阅读更多...
这篇文章的缩写版本于 2024 年 3 月 19 日出现在 The New Stack 上。 在企业人工智能中,主要有两种类型的模型:判别模型和生成模型。
阅读更多...
一年一度的 KubeconEU 审查时间到了——它未经过滤,偶尔不受 CNCF 的欢迎——但剧透警告,巴黎取得了巨大的成功。
阅读更多...
云计算和容器化技术的发展改变了应用程序的开发、部署和管理方式。这种转变给网络环境带来了重大变化,为DevOps和SRE工程师带来了新的挑战和机遇。
阅读更多...
任何在团队环境中工作过的人都知道,每个成功的团队都有一个得力助手——无论你的问题性质如何,他都能帮助你。
阅读更多...
对我来说,在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是,产品的简单性既是其显着特征,也是其最具决定性的价值驱动因素之一。
阅读更多...
这篇文章的缩写版本于 2024 年 3 月 26 日出现在 The New Stack 上。 旨在最大化其数据资产的企业正在采用可扩展、灵活和统一的数据存储和分析方法。
阅读更多...
我们在LangChain的创新世界中的旅程揭示了其在转变数据管理和应用程序功能方面的强大能力。
阅读更多...
SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统,支持 ANSI SQL,并因其在数据引入、事务处理和查询处理方面的速度而受到认可。
阅读更多...
故事很重要,客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。
阅读更多...
公有云改变了公司构建、部署和管理应用程序的方式,主要是向好的方向发展。在您刚开始使用时,公有云会提供基础架构、服务、支持和维护,以便快速启动和运行。
阅读更多...
在 2024 年年中,创建一个令人印象深刻和兴奋的 AI 演示可能很容易。需要一个强大的开发人员,一些聪明的提示实验,以及一些对强大基础模型的API调用,你通常可以在一个下午建立一个定制的AI机器人。
阅读更多...
如果要使用大型语言模型 ()LLMs 实现生成式 AI 解决方案,则应考虑使用检索增强生成 (RAG) 的策略来生成上下文感知提示LLM
阅读更多...
Apache Arrow 是一种开源列式内存格式,适用于平面数据和分层数据
阅读更多...
RisingWave 是现代数据湖仓一体处理层中的开源流数据库,专为性能和可扩展性而构建。RisingWave 旨在允许开发人员在流数据上运行 SQL。
阅读更多...
作为 MinIO 专注于 AI 集成的开发人员,我一直在探索如何将我们的工具无缝集成到现代 AI 架构中,以提高效率和可扩展性。
阅读更多...
我们仍然惊讶于有如此多的客户来找我们,希望从HDFS迁移到现代对象存储,如MinIO
阅读更多...
很难相信,马克·安德森(Marc Andressen)在13年前写下了他著名的博客,题为“软件正在吞噬世界”。
阅读更多...
公有云的现象很难让你动手。自从AWS在本世纪初启动以来,它已经发展壮大并演变成一个现代计算平台,创造了我们所知道的云运营模式。
阅读更多...
在此概念验证 (POC) 中,我们将探讨在 Kubernetes (k8s) 生态系统中安装和管理有状态密钥加密服务 (KES)。
阅读更多...
当通过添加新的服务器池来扩展 MinIO Modern Datalake 部署时,默认情况下它不会重新平衡对象。
阅读更多...
Kubernetes v1.30 的发布带来了一系列更新,其中一些更新对于高性能 Kubernetes 原生对象存储 MinIO 的用户来说可能意义重大。
阅读更多...
Trino(以前称为 Presto)是一个 SQL 查询引擎,而不是 SQL 数据库。Trino 避开了 SQL 数据库的存储组件,只专注于一件事 - 超快的 SQL 查询
阅读更多...
MLOps 之于机器学习,就像 DevOps 之于传统软件开发一样。两者都是一组旨在改善工程团队(开发或 ML)和 IT 运营 (Ops) 团队之间协作的实践和原则
阅读更多...
在现代 IT 运营中,面向 IT 运营的人工智能 (AI-Ops) 正在通过使用高级算法自动执行任务来改变数据管理。MinIO 和 Tailscale 共同为应用层开发提供了安全、可扩展和有效的基础设施
阅读更多...
MinIO 的联合创始人兼首席执行官 AB Periasamy 最近在 AI in Business 播客中亮相,他与 Emerj 的高级编辑 Matthew DeMello 就企业的 AI 基础设施和对象存储进行了丰富的对话
阅读更多...
在我之前关于 MLRun 的文章中,我们设置了一台开发机器,其中包含试验 MLRun 所需的所有工具。具体来说,我们使用 docker-compose 文件为 MLRun UI、MLRun API 服务、Nuclio、MinIO 和 Jupyter 服务创建容器
阅读更多...
我们很高兴地宣布我们的第一个技术认证,即 MinIO 认证管理员 - 从业者。MinIO 认证专业计划旨在验证个人管理 MinIO 的实践技能
阅读更多...
自从我们上一篇关于如何使用 MinIO 扩展 Snowflake 实现的博客文章以来,Snowflake 对外部表的支持已经发生了重大更新
阅读更多...
无论您是在本地还是在云中,您都希望确保以同构的方式设置工具和流程。无论在何处访问基础结构,您都希望确保用于与各种基础结构进行交互的工具与其他区域相似。
阅读更多...
数据处理是现代软件开发的基本实践。它使团队能够自动收集、处理和存储数据,确保高质量的数据和高效的处理。
阅读更多...
在过去的几年里,显而易见的是,尽管公有云具有所有优势,但它并不能大规模地节省成本
阅读更多...
作为 Snowflake 用户,您可能熟悉它在协作环境中管理数据方面的优势。Snowflake 的用户体验经常因其直观的界面和无缝集成功能而受到称赞
阅读更多...
Keycloak是一种单点登录解决方案。使用Keycloak,用户使用Keycloak而不是MinIO进行身份验证。如果没有Keycloak,您将不得不为每个用户创建一个单独的身份 - 从长远来看,这将很麻烦
阅读更多...
Dell ECS 集群允许您将数据迁移到任何 S3 兼容存储。Dell ECS 将此功能称为“数据移动”,也称为复制到云
阅读更多...
你知道一些最好的人工智能模型的秘诀吗?这是他们可以访问的数据量,他们可以接受培训。对于 AI/ML 模型:快速访问数据为王
阅读更多...
我之前写过关于现代数据湖参考架构的文章,解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具(特别是HDFS)以及对RESTful API(S3)和性能的更大需求——但我想填补一些空白
阅读更多...
在当前的机器学习范式中,性能和能力与计算成比例,计算实际上是数据集大小和模型大小的代理
阅读更多...
人们常说,在人工智能时代,数据是你的护城河。为此,构建生产级 RAG 应用程序需要合适的数据基础架构来存储、版本控制、处理、评估和查询构成专有语料库的数据块
阅读更多...
借助我们的 HCP-to-MinIO 工具,从 Hitachi Content Platform (HCP) 过渡到 MinIO 从未如此简单。该工具旨在支持客户不断变化的存储需求,可在 GitHub 上免费获得,大大简化了迁移过程。
阅读更多...
MLOps 是机器学习操作的缩写,是一组实践和工具,旨在满足工程师构建模型并将其投入生产的特定需求
阅读更多...
Databricks 宣布收购 Tabular,这是一个由 Apache Iceberg 的原始创建者开发的数据平台,在数据分析行业引发了涟漪。
阅读更多...
随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据,有时他们需要以“老派”的方式做一些事情,因为根本没有其他方法。其中之一是堡垒主机。
阅读更多...
如今,业界都在谈论大型语言模型及其编码器、解码器、多头注意力层和数十亿(即将数万亿)的参数,人们很容易相信好的人工智能只是模型设计的结果
阅读更多...
在云中运行 AI 数据存储基础设施非常昂贵。不仅存储数据的成本很高,而且每次应用程序使用来自 AI 数据存储基础设施的数据时,您都会被收取入口和出口费用。
阅读更多...
在现代数据湖架构中,语义层通过向数据添加有意义的上下文来发挥至关重要的作用,否则这些上下文会丢失
阅读更多...
在那里的几年里,“私有云”一词具有负面含义。但正如我们所知,技术更像是一个轮子而不是一个箭头,而且就在提示下,私有云正在受到大量关注,而且这一切都是积极的
阅读更多...
MinIO 性能如此之高的原因之一是,我们做了其他人不会或不能做的细粒度工作。从 SIMD 加速到 AVX-512 优化,我们已经完成了艰巨的任务
阅读更多...
可观测性是指收集信息(跟踪、日志、指标),以提高性能、可靠性和可用性为目标。很少有人能确定其中一个事件的根本原因
阅读更多...
在现代数据湖中,目录是高效组织和查询数据的支柱。最近的新闻报道,包括 Databricks 收购 Tabular 和 Snowflake 开源 Polaris,都给目录带来了“它”的时刻
阅读更多...
嵌入子系统是实现检索增强生成所需的四个子系统之一。它将您的自定义语料库转换为可以搜索语义含义的向量数据库
阅读更多...
像 Apache Iceberg、Apache Hudi 和 Delta Lake 这样的开放表格式已成为查询处理器的事实标准。然而,最近有消息称 Snowflake 和 Databricks 等查询引擎采用了 Iceberg 的 REST 目录 API,这改变了竞争环境,有利于 Iceberg
阅读更多...
Apache Kafka 因其出色的设计和强大的功能而成为流式处理的事实标准。它不仅定义了现代流式处理的架构,而且其独特的分布式日志抽象还为实时数据流处理和分析提供了前所未有的功能
阅读更多...
Insight Partners 的团队刚刚发布了 2024 年企业技术状况报告。在 60+ 幻灯片中有很多东西可以消耗,但我们挑选了应该让我们的观众感兴趣的东西 - 坦率地说,有很多有趣的东西
阅读更多...
现代企业通过其数据来定义自己。这需要用于 AI/ML 的数据基础设施,以及作为现代数据湖基础的数据基础设施,该数据基础设施能够支持商业智能、数据分析和数据科学
阅读更多...
在企业数据方面,MinIO Enterprise Object Store 和 Splunk 有着共生关系。Splunk在其数字流处理器中使用MinIO
阅读更多...
监管环境正在迅速发展,欧洲即将出台的《数字运营弹性法案》(DORA)就是这种动态变化的证明。我们有多个欧洲银行客户,每个客户都从略有不同的角度来解决这个问题
阅读更多...
在人工智能和其他新技术的兴奋中,有一个组件悄悄而关键地将所有东西联系在一起——无论是字面上还是比喻上。这就是现代对象存储
阅读更多...
数据领域最激动人心的发展之一是湖仓一体功能在所有主要数据库供应商中的兴起。Snowflake 和 SQL Server 长期以来一直采用这一点,现在 PostgreSQL 正在通过 pg_lakehouse 拥抱这种范式转变,使得利用现代数据湖进行分析、AI 等比以往任何时候都更容易
阅读更多...
我们的客户是一家总部位于日本的全球金融机构,最近与MinIO和Dremio一起完成了一个雄心勃勃的Hadoop替换项目。
阅读更多...
AI/ML、高级分析和数据库等现代应用程序需要高性能对象存储。MinIO Enterprise Object Store 将可扩展性和高性能相结合,使每个工作负载(无论要求多么苛刻)触手可及
阅读更多...
这篇文章于 2024 年 7 月 29 日首次出现在 The New Stack 上。人工智能正处于软件行业的完美风暴中,现在马克·扎克伯格 (Mark Zuckerberg) 正在呼吁开源 AI
阅读更多...
我们真的很喜欢 Packet Pushers 的团队。他们的播客是业内最好的播客之一,涵盖了从堆栈顶部到底部的技术。
阅读更多...
Microblink 是一家专门从事图像检测的 AI 公司。他们从 BlinkID、BlinkID Verify 和 BlinkCard 等产品开始进入身份空间
阅读更多...
当您考虑对象存储工作负载和存储类型时,数据库正日益成为核心工作负载。这些变化是由两股力量驱动的:高性能对象存储的可用性以及数据(特别是其相关元数据)的爆炸式增长
阅读更多...
组织管理其数据基础设施的方式正在发生重大转变。越来越多的公司认识到存储和计算分离的优势,从而获得更好的性能、成本节约和可扩展性。这一趋势是由 AI 和 ML 工作负载日益复杂所推动的,这些工作负载需要灵活、高性能的系统
阅读更多...
当 AWS S3 说话时,人们会倾听。上周,他们宣布了条件写入功能。但这对我们 MinIO 来说并不是突发新闻——我们最初在 2023 年 2 月合并了对条件写入的支持,从那时起,我们的许多客户一直在使用它
阅读更多...
云原生、面向 Kubernetes 、基于微服务的架构推动了对 MinIO 等网络存储的需求。在云原生环境中,对象存储的优势很多 - 它允许独立于存储硬件对计算硬件进行弹性扩展。它使应用程序无状态,因为状态是通过网络存储的,并且通过降低操作复杂性,使应用程序能够实现比以往更高的规模
阅读更多...
Confluent 最近收购了 WarpStream,这对数据流和对象存储集成的未来具有重大影响。WarpStream 旨在直接在对象存储上运行。
阅读更多...
小文件可能会给存储平台及其支持的应用程序带来大问题。在 Google 上搜索 “small files performance” 会产生 2M+ 的结果
阅读更多...
虽然 Apache Kafka 长期以来一直是流数据的行业标准,但新的创新替代方案正在重塑生态系统。其中之一是 WarpStream,它最近在 Confluent 的所有权下进入了新的篇章
阅读更多...
最近,我与我们一位出色的数据科学家 Archana Vaidyanathan 进行了交谈,她面临着一个非常普遍的挑战 — 计算成本飙升。在更大的数据集上运行大型查询后,费用远高于预期
阅读更多...
将 MinIO 的高性能、可扩展企业对象存储的强大功能与 Polars(闪电般快速的 DataFrame 库)的快速内存数据处理功能相结合,可以显著提高数据管道的性能
阅读更多...
Dell 通常专注于文件管理器游戏,但他们涉足对象存储,并且有一个非常古老的产品 ECS。这是有道理的,它是磁带的升级版,不适合 HDFS 现代化或数据库工作负载等动态工作负载
阅读更多...
您过去肯定有过版本控制代码。但是,您是否对数据进行了版本控制?您是否曾经想过与不同的团队协作处理大量数据,而无需提交大量数据?想象一下,使用类似 git 的命令来运行类似存储库的生态系统
阅读更多...
MinIO 的入门非常简单 — 只需几个简单的命令和一个 100 MB 的小二进制文件,您就可以立即启动并运行一个功能性开发环境。但是,为了在生产规模上利用 MinIO 的全部功能,我们鼓励专业人士更多地了解 MinIO 的广泛功能
阅读更多...
特斯拉最近宣布开源其特斯拉以太网传输协议 (TTPoE),这是一种尖端网络结构,专为 AI/ML 数据中心环境中的高速、低延迟数据传输而设计,从而掀起了波澜
阅读更多...
AI 计划通常是许多希望从数据中提取价值的组织的首要任务。但是,在聘请高技能的 AI/ML 工程师之前,需要建立管理和优化数据的关键基础
阅读更多...
我们以前已经说过,但值得重复一遍。云是一种运营模式,而不是物理位置。这就是为什么您会在公共云、私有云和边缘到处都能找到 MinIO 的原因
阅读更多...
AI 是一头野兽。它需要不断地被喂养。它需要喂什么?当然是数据,而且是大量的。请记住,数据和 AI 是同一枚硬币的两面。人们经常忘记,最初构建 AI 模型的原因是因为它们被馈送到数百 PB 到 EB 的数据
阅读更多...
从 Hadoop 到数据湖仓一体架构的演变代表了数据基础架构的重大飞跃。虽然 Hadoop 曾经以其强大的批处理能力统治着大数据领域,但如今的组织正在寻求更敏捷、更具成本效益和现代化的解决方案。
阅读更多...
随着 MinIO 企业对象存储的使用成为云原生工作负载的主要存储,开发人员正在转向对象存储来满足越来越多的用例。这是现代对象存储属性的功能 - 性能、可扩展性、安全性、弹性和为 Kubernetes 量身定制的 RESTful API。
阅读更多...
如今,每个人都声称自己是一家软件公司。从 Marc Andressen 近十年前的声明“软件正在吞噬世界”到华尔街推动产生经常性软件收入;压力在于声称 - 至少 - 你是一家软件公司
阅读更多...
MinIO Enterprise Object Store 是用于创建和执行复杂数据工作流的基础组件。此事件驱动功能的核心是使用 Kafka 的 MinIO 存储桶通知。
阅读更多...
Parsec Labs 是一家工程师公司。大多数人都设计了存储系统,负责备份和复制,或者从事网络构建交换机的工作。其 Unified Data Mobility and Protection Appliance 成立于 2013 年,为大规模迁移、复制和备份数据提供了最直接的工具。
阅读更多...
当今组织在 AI 和数据管理方面面临的最大挑战之一是获得可靠的基础设施和计算资源。英特尔 Tiber 开发人员云专为需要概念验证、实验、模型训练和服务部署环境的工程师而构建
阅读更多...
在深入研究 Amazon 的 PyTorch S3 连接器之前,有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外,许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。
阅读更多...
MinIO 最近对 656 名 IT 领导者进行了调查,这是 User Evidence 主要研究计划的一部分。结果非常有趣,突显了我们在企业中看到的巨大变化,无论是围绕向对象存储的转变,还是将对象存储用作组织 AI 计划的主要构建块的兴趣。
阅读更多...
最初发布于 New Stack。 AI 的未来是开放的,无论您的堆栈中采用何种技术,互操作性都是您保持领先地位的门票。
阅读更多...
云曾经承诺无限的可扩展性、灵活性和效率。但随着生成式 AI 的兴起,许多组织正在以前所未有的云账单形式经历粗暴的觉醒。根据 Tangoe 最近的报告
阅读更多...
MinIO 控制台多年来一直是一个不断发展的产品。每次学习时,我们都会思考如何改进交互框架中这个非常重要的部分。首先是控制台,它在推出后的一年内就被广泛采用。
阅读更多...
AIStor 的最新功能之一是广受欢迎的开源项目 Hugging Face 的私有云版本。这篇文章详细介绍了 AIStor 的 AIHub 如何有效地创建一个完全由企业控制的 API 兼容的私有云版本的 Hugging Face。
阅读更多...
随着 AI 和机器学习的需求不断加速,数据中心网络正在迅速发展以跟上步伐。对于许多企业来说,400GbE 甚至 800GbE 正在成为标准选择,因为数据密集型和时间敏感型 AI 工作负载需要高速、低延迟的数据传输
阅读更多...
迄今为止,对象存储世界已由 PUT 和 GET 的 S3 API 概念定义。然而,我们现在生活的世界需要更多。鉴于 MinIO 的 S3 部署甚至比 Amazon 还多,因此我们不得不提出下一个出色的 S3 API
阅读更多...
今天,我们宣布推出 AIStor,这是一个新版本,它代表了我们专注于为 AI/ML 工作负载构建世界上最好的对象存储。AIStor 代表了我们最大客户一年的加速学习
阅读更多...
tl;dr:GET、PUT、PROMPT。现在,可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中,我们将探讨这个新 API 的一些用例以及代码示例
阅读更多...
一家领先的教育服务组织开始着手改造其 IT 基础设施,集成 AI 并对其系统进行现代化改造,以更好地支持全国规模的解决方案。
阅读更多...
移动应用程序是按需提供的公司品牌。它是了解组织提供的任何服务或产品的窗口。在 Kobiton,他们明白这一点 — 他们的使命是通过测试改进移动应用程序。
阅读更多...
大约一年前(实际上是 11 个月前),我写了一篇关于“GPU 匮乏问题”的文章,以及 Nvidia 图形处理单元 (GPU) 的马力如何如此强大,以至于您的网络和存储解决方案可能无法跟上 - 阻止您昂贵的 GPU 得到充分利用。
阅读更多...
以正确的顺序雇用正确的专业知识。这就是我们结束这篇博客的上一版本的方式 招聘人工智能成功:为什么你的第一位员工应该是数据工程师,顺便说一句,这是一篇很好的读物,你应该在这篇文章之前先读一读
阅读更多...
在最近与 Exness DBA 团队负责人 Dmitry Alexandrov 的对话中,我们探讨了 MinIO 如何使 Exness 能够处理海量数据并提供闪电般的交易体验。
阅读更多...
AIStor 可以以分布式方式部署,从而有效利用多个物理机或虚拟机的计算和存储资源。这可以是在私有云或公共云环境中运行的 AIStor,例如使用 Amazon Web Services、Google Cloud Platform、Microsoft 的 Azure 平台等
阅读更多...
MinIO 的提示 API 现在是 AIStor 的一部分。MinIO 的创建是为了支持海量数据集,包括超过 EB 级的工作负载,解决内存、网络、复制和负载均衡方面的挑战,而 AIStor 的创建是为了建立在这些功能之上并解决我们客户的 AI 使用案例。
阅读更多...
AWS 最近宣布推出 Amazon S3 表,该功能旨在解决在云中存储和查询表格数据的独特挑战。虽然这听起来可能具有革命性,但仔细观察会发现,AWS 试图克服的限制是他们自己的基础设施所固有的,而不是对象存储所固有的。
阅读更多...
在现代世界中,保持系统运行不仅仅是赌注 - 它是没有商量余地的。当涉及到软件更新及其对您的系统意味着什么时 - 嗯,这要复杂得多。一方面,安全性是当今更新的主要驱动力,这也是没有商量余地的。需要尽快在所有系统中实施补丁,以保持最强的安全性
阅读更多...
2023 年 11 月,Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元(数据集和数据加载器)的实现。
阅读更多...
2024 年对 MinIO 来说是重要的一年。我们不仅发布了 AIStor,这是迄今为止最强大的 MinIO 版本,而且还参加了 54 场活动,撰写了 159 篇博客,赢得了 10 多个奖项等等
阅读更多...
本月早些时候,Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re:Invent 大会。如果您从未参加过 re:Invent 会议,那么最能描述它的词是“巨大”——不仅从与会者人数(60,000 人)来看,还从涵盖的主题的广度来看
阅读更多...
AIStor 是高性能、可互操作的云原生对象存储的先驱,具有多功能性和敏捷性。AIStor 可在无数平台上运行,例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。最近,业内出现了一种趋势,即让数据“更贴近”家庭
阅读更多...
2023 年 11 月,Amazon 宣布推出适用于 PyTorch 的 S3 连接器。适用于 PyTorch 的 Amazon S3 连接器提供了专为 S3 对象存储构建的 PyTorch 数据集基元(数据集和数据加载器)的实现。
阅读更多...
Apache Iceberg 似乎已经掀起了一场(暴风雪)数据世界。它最初由 Ryan Blue(也是 Tabular 的成员,现在是 Databricks 的名人)在 Netflix 孵化,最终被传输到它目前所在的 Apache 软件基金会。
阅读更多...
当我刚开始从事数据工作时,每个人都是数据科学家。随着时间的推移,我们开始与众不同 - 您是构建数据管道,还是专注于构建和训练模型?您是在停电期间值班的寻呼机,还是仅在向执行董事会汇报时随叫随到
阅读更多...
AIStor 一直是高性能和可互作的云原生对象存储的先驱,这种存储具有多功能性和敏捷性。AIStor 可在无数平台上运行,例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。
阅读更多...
dbt (Data Build Tool) 是一个开源 SQL 转换框架,已成为许多现代数据团队的基石,提供灵活性和可访问性。最近,dbt 通过收购 SDF Labs 增强了其产品组合。
阅读更多...
2025 年继承了多年前开始的一系列地缘政治担忧。美国外交政策、美中关系、中国的地缘政治策略、中东冲突、俄乌战争和网络安全威胁。此外,美国的新领导层增加了这些担忧带来的不确定性
阅读更多...
这篇文章于 2025 年 1 月 16 日首次出现在 The New Stack 上。通常,在了解一项受到大量炒作的新技术的合法性时,研究现有的核心能力和历史是有帮助的。
阅读更多...
在这篇文章中,我们将探讨搜索,特别是 OpenSearch 如何帮助我们识别模式或查看不断增长的数据中的趋势。例如,如果您正在查看运营数据,如果您的服务似乎是随机的,那么您需要尽可能回溯以识别模式并找出原因
阅读更多...
比较 Apache Iceberg、Delta Lake 和 Apache Hudi,并了解如何为您的数据湖仓一体选择合适的开放表格式。开放表格式和对象存储正在重新定义组织构建其数据系统的方式,为可扩展、高效且面向未来的数据湖仓一体奠定了基础
阅读更多...
事实是,AIStor 没有最佳的硬件配置。我们的客户根据其使用案例和要求选择硬件。如果 AIStor 有一个最佳硬件配置,那么我们会在设备上销售 AIStor,但这将剥夺您为工作选择最佳硬件的自由,并将您锁定在特定的外形规格中。
阅读更多...
在快速发展的人工智能 (AI) 和机器学习 (ML) 世界中,速度和可扩展性至关重要。实时处理大量数据的能力是希望利用 AI/ML 获得竞争优势的组织的关键要求。
阅读更多...
在之前几篇关于 MLOps 工具的文章中,我展示了有多少流行的 MLOps 工具跟踪与模型训练实验相关的指标。
阅读更多...
Apache XTable 通过以多种开放表格式提供对数据的访问,在增强互作性方面迈出了一大步。移动数据很困难,在过去,这意味着在为数据湖仓一体选择开放表格式时,您被锁定在该选择中
阅读更多...
在 SaaS 公司中并不少见的故事中,随着其日志数据扩展到数 EB,云原生网络安全组织面临着大幅上升的云成本。
阅读更多...
MLflow 模型注册表允许您管理发往生产环境的模型。这篇文章从我上一篇文章关于 MLflow 跟踪的地方开始。在我的 Tracking 帖子中,我展示了如何记录参数、指标、工件和模型
阅读更多...
存在不同类型的压缩算法和非常好的实现。在 MinIO,我们已经使用了 Snappy 的增强版本,它一直为我们服务良好。但随着时间的推移,我们发现了一些可能的改进,可以更好地对压缩数据进行编码
阅读更多...
寻求利用 AI 功能的现代企业通常面临一个重大障碍:在其 Kubernetes 环境中复杂地部署和管理 GPU 基础设施。MinIO 的 AIStor 通过集成 NVIDIA GPU Operator 来正面应对这一挑战,彻底改变了组织为 AI 工作负载部署和管理 GPU 资源的方式
阅读更多...
基于 AIStor 强大的 AI 功能,MinIO 的 PromptObject 使用户能够通过自然语言查询与他们的数据进行交互,如此处所述。PromptObject 允许用户使用自然语言询问有关其数据内容的问题并提取信息,从而改变了用户与存储对象的交互方式,无需编写复杂的查询或代码
阅读更多...
Arm 架构正在彻底改变超大规模云,这得益于其总拥有成本 (TCO) 优势(更低的功耗和更低的冷却要求),从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例,利用其效率来满足数据密集型工作负载的需求
阅读更多...
在当今 AI 驱动的企业环境中,资源优化已从理想的目标演变为运营的当务之急。随着组织扩展其人工智能计划以满足不断增长的创新需求,计算资源的高效编排直接影响运营性能和模型精度。
阅读更多...
tl;dr:我们训练一个小LLM玩家,让他们擅长使用强化学习(类似于导致 Deepseek R1 的过程)进行推理,所有这些都针对本地模型存储库 AIStor AIHub。
阅读更多...
Materialize 是一个专为实时数据集成和转换而设计的软件平台。它允许您仅使用 SQL 创建业务任何方面的最新视图。
阅读更多...
Anthropic 最近宣布的模型上下文协议 (MCP) 将改变我们与技术交互的方式。它允许自然语言通信替换许多任务的复杂命令行语法。不仅如此,语言模型还可以总结传统工具的丰富输出,并以人类可读的形式呈现关键信息。
阅读更多...
在本系列的上一篇博文中,我们讨论了 MinIO AIStor 的模型上下文协议 (MCP) 服务器的基本用户级功能。我们学习了如何使用人类语言命令查看存储桶的内容、分析对象并标记它们以便将来处理,以及如何通过 LLM(例如 Anthropic Claude)与集群进行简单的交互。
阅读更多...
随着企业数据计划的扩展,许多企业发现云湖屋并不总是性能、合规性或成本的最佳选择。而这正是本地部署 Iceberg 架构的优势所在。
阅读更多...
在本系列的前几篇博文中,我们讨论了MinIO AIStor 模型上下文协议 (MCP) 服务器的用户级和管理员级功能。在第一篇博文中,我们学习了如何查看存储桶的内容、分析对象并标记它们以便将来处理。
阅读更多...
数据是驱动现代企业的货币。能够代表组织多元化的利益相关者利用这些数据,是现代化、云原生、高性能且经济高效的系统的功能所在。这些现代化努力的核心是一个永恒的主题——使企业能够更好地服务客户。
阅读更多...
Apache Iceberg极大地重塑了组织管理和与对象存储中的海量结构化分析数据集交互的方式。它带来了类似数据库的可靠性以及 ACID 事务、模式演化和时间旅行等强大功能。虽然这些功能通常被强调,但Iceberg Catalog API才是使这些表易于访问的关键。
阅读更多...
这篇文章于 2025 年 4 月 18 日首次出现在The New Stack上。 获取 NVIDIA 年度最大活动中主要计算、网络、存储和合作伙伴关系公告的全面摘要。
阅读更多...
在数据工程领域,开放标准是构建可互操作、可演进且非专有系统的基础。Apache Iceberg是一种开放表格式,就是一个很好的例子。除了计算能力之外,Iceberg 还为数据湖带来了结构化和可靠性。
阅读更多...
当我们的企业客户描述他们的数据管道挑战时,一个共同的主题浮现出来:他们需要在云端和本地环境中无缝衔接的实时数据处理能力。正因如此,灵活性对于 MinIO 的 AIStor 至关重要。
阅读更多...
与众多竞争对手相比,Anthropic 的模型上下文协议 (MCP) 代表了 Agentic AI 工具的独特方法。MCP 并非构建框架(调用代码的软件)或库(代码可调用的软件),而是专注于代理不同部分之间相互通信所需的协议
阅读更多...
2023 年底,亚马逊推出S3 Express 单区存储(S3 Express One Zone) ,重新定义了人们对公有云中高性能对象存储的期望。
阅读更多...
在世界各地的工厂车间,视觉检测仍然是制造流程中最耗费人力且最容易出错的环节之一。一家全球消费品制造商正在利用边缘人工智能重新定义这一挑战
阅读更多...
全球最大的内容平台之一面临着严重的扩展问题。他们每天要获取数 TB 的可观测性数据,而且 每季度数据量还在以数 PB 的速度增长。
阅读更多...