MinIO-无旋钮可旋转,无按钮可按

The Architect’s Guide to Data and File Formats

“我需要的越少,感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大,您将记住一个名为qmail的项目。由于其极简的设计(qmail安全保证),没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义

阅读更多...

2015年11月发布MinIO Client

The Architect’s Guide to Data and File Formats

下载最新的MinIO客户端'mc'http://minio.io/#mcMinIO客户端经过多次重写才能达到目的。我们修复了许多错误,并引入了新的错误。从此版本开始,我们将推送较小但频繁的更新。这是此版本中的一些增强功能。Google云存储,OpenStack Swift,Red Hat Ceph和

阅读更多...

命令行访问Google Cloud Storage

The Architect’s Guide to Data and File Formats

自9月发布适用于Amazon S3和MinIO服务器的MinIO Client'mc'以来,我们收到了支持Google云存储,Red Hat Ceph和Open Stack Swift的大量请求。这是用于各种服务器实施的Amazon S3 API兼容性矩阵。Amazon S3:Amazon S3 V

阅读更多...

微服务的微存储

The Architect’s Guide to Data and File Formats

微服务的基本要求之一是应用程序容器变为无状态。但是状态仍然需要存储在其他地方,例如数据库,对象存储,会话文件,cookie,高速缓存等。微存储作为一种新的体系结构正在兴起,以解决微服务的存储可扩展性。微存储从微服务继承了“只有小东西才能扩展”的思想。不按比例放大

阅读更多...

2016年2月发布Minio Client

The Architect’s Guide to Data and File Formats

这个新版本增加了对Solaris / Illumos和FreeBSD 64位Intel的支持。以下是此版本中所做更改的非详尽列表。已弃用并删除了cp和mirror的并行代码。现在所有的复制操作都是串行的,这解决了与会话文件丢失和整体代码复杂度有关的许多问题。

阅读更多...

对象存储:这是怎么回事?

The Architect’s Guide to Data and File Formats

传统上,Web应用程序使用文件系统和数据库将用户数据存储在后端。很简单,结构化数据进入数据库,其他所有数据进入文件系统。这很容易管理,因为很少有应用程序生成非结构化数据-大多数应用程序以表单形式输入用户并将数据保存到数据库中。然而,

阅读更多...

PaaS中的存储:Minio和Deis

The Architect’s Guide to Data and File Formats

不管您是否注意到它,作为最终用户,存储都是我们今天使用的几乎所有软件的重要组成部分。但是,作为开发人员,重要的是能够以一种简单而又安全又快速的方式检索东西。如前所述,对象存储是实现此目标的一种好方法。我们也看到了

阅读更多...

使用BLAKE2在Golang中快速散列

The Architect’s Guide to Data and File Formats

在此博客中,我们想为纯SIM中的BLAKE2哈希算法提供一种优化的实现blake2b-simd,该算法利用了SIMD指令。与(非汇编)Go实施相比,它的速度提高了4倍,并且在高端CPU上,每个内核的散列速度可达到接近1 GB /秒。与标准SHA512相比

阅读更多...

将您的Node.js应用程序日志存储到Minio

The Architect’s Guide to Data and File Formats

日志记录仍然是开发人员关注的主要问题之一。通常,各种组件(如Web服务器,数据库)会将日志存储在不同的位置。当出现问题时,开发人员需要四处寻找相关的日志。将您的应用程序日志自动存储在预定义的位置不是很好。您可以使用Fluentd和

阅读更多...

Doctor:开源文档服务器

The Architect’s Guide to Data and File Formats

Doctor使用markdown(MD)格式进行文档编写,使用github进行版本控制。使用Doctor将来自多个存储库的多个MD文件聚合到一个文档站点中。Doctor根据Apache V2.0许可获得许可。观看现场演示:https://docs.minio.io docs.minio.io我们为什

阅读更多...

通过RabbitMQ发布Minio事件

The Architect’s Guide to Data and File Formats

简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第1部分介绍了使用RabbitMQ服务器通过AMQP发送存储桶通知。您可以将此设置与AWS S3&S

阅读更多...

minio / dsync:Go的分布式锁定和同步包

The Architect’s Guide to Data and File Formats

minio / dsync是用于在nnodes网络上进行分布式锁定的软件包。它在设计时考虑了简单性,并且提供了有限的可伸缩性(n <= 16)。每个节点都连接到所有其他节点,并且来自任何节点的锁定请求将广播到所有连接的节点。如果n / 2,则节点将成功获得锁

阅读更多...

通过Redis发布MinIO事件

The Architect’s Guide to Data and File Formats

简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第3部分介绍了使用Redis发送存储桶通知。配置Redis的步骤我在笔记本电脑上使用Ubuntu L

阅读更多...

通过NATS发布Minio活动

The Architect’s Guide to Data and File Formats

简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第4部分介绍了使用NATS发送存储桶通知。配置NATSI的步骤使用Ubuntu Linux 16.0

阅读更多...

为MinIO引入Webhooks

The Architect’s Guide to Data and File Formats

MinIO提供了与一系列后端系统的集成,使您能够为您的项目构建完整的解决方案。该团队最近整合了来自社区的请求请求,以添加Webhook支持,并希望向您介绍一下。首先,我们将看一下Webhooks是什么,它们可以与之联系的一些示例

阅读更多...

将MinIO云存储部署到Mesosphere DC / OS

The Architect’s Guide to Data and File Formats

容器编排正逐渐成为部署应用程序的默认方法。开发人员正在从头开始构建其现代应用程序,以在容器中运行,从而实现更快的部署和更高的弹性。甚至传统的应用程序也以各种方式采用容器,以获取这些优势。在准备好应用程序容器的众多特性中,它的方式

阅读更多...

调试Go例程泄漏

The Architect’s Guide to Data and File Formats

在开始调试Goroutines泄漏之前,让我先简要介绍一些基础知识,这些基础知识将使您对问题有更广阔的了解。并发编程。并发编程处理程序的并发执行,其中一次执行多个顺序的执行流,从而可以更快地执行计算,从而有助于更好地利用多核

阅读更多...

ToolsLib切换到MinIO以实现规模和性能

The Architect’s Guide to Data and File Formats

ToolsLib最近切换到全新的仪表板。但是,在幕后,发生了另一种变化。我们将基于块的文件系统用于基础存储。但是,随着我们的成长,事实证明文件系统很难扩展。因此,当我们发现MinIO时,我们正寻求从基于块的存储转移到对象存储系统。经过初步分析,MinIO看上去

阅读更多...

带Raspberry Pi的MinIO服务器规格

The Architect’s Guide to Data and File Formats

今天,我们将为您的MinIO服务器看一看IoT压力表。这是Alex Ellis用Raspberry Pi,Docker和MinIO构建的一个很棒的技巧。在向开放源代码MinIO项目贡献代码以启用网络挂钩之后,Alex希望可视化通过其服务器的流量。他的骇客显示物件上传的速度

阅读更多...

Go实施静态数据加密

The Architect’s Guide to Data and File Formats

简介加密网络流量已成为默认设置。有诸如SSH和TLS之类的标准化协议,以及诸如“让我们加密”之类的项目可以保护通过网络发送的数据。例如,TL​​S接收数据流,将该流分块为消息,并在通过网络发送消息之前对每个消息进行加密。TLS确保每封邮件都经过加密

阅读更多...

MinIO,云存储的ZFS

The Architect’s Guide to Data and File Formats

ZFS以将物理存储设备的边界汇集在一起​​来抽象化物理存储设备的边界而闻名。ZFS完全消除了手动处理物理存储的需要,也无需担心它们的单个容量。ZFS也是检测数据损坏并在有数据冗余的情况下进行恢复的能力的先驱。但是,正如我们已经讨论的那样,传统文件系统无法

阅读更多...

Here Comes The Flood

The Architect’s Guide to Data and File Formats

1994年,EMC的Symmetrix以其企业存储系统的最大容量1TB(TeraByte)创下了行业标杆。NetApp在2016年推出了FAS9000,该FAS9000在24节点群集配置中可容纳约172PB(PetaByte)原始数据。22年后增加了172,000倍,同时显着提高了性能并添加了许多出

阅读更多...

来自KubeCon的MinIO更新

The Architect’s Guide to Data and File Formats

MinIO服务器开发方面有很多事情要做。最近,我们增加了对磁盘缓存大/贝塔级存储桶的支持,而诸如MinIO存储桶联合,经过改进的MinIO浏览器UX,Prometheus集成等功能正在积极开发中,并将很快推出。但这并不能阻止我们远离MinIO的眼睛,耳朵和心脏

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对Minio服务器的拒绝服务(DoS)漏洞,并已在RELEASE中修复。2018–05–25T19–49–13Z严重程度:中受影响的对象:签名V4身份验证的所有用户均受到影响。签名V2身份验证的用户不受影响。针对用户的建议操作:建议所有用户将其Minio部署升级到

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

内容提要:发现了违反SSE-C安全保证的问题,并已在RELEASE.2018–07–10T01–42–11Z中修复。严重性:低受影响的对象:使用S3 SSE-C API存储对象并使用同一客户端提供的密钥对不同对象至少两次的所有用户。对用户的建议操作:建议所有用户升级其Minio

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:在Minio服务器S3和Admin API上发现了另一位用户的欺骗身份验证的可能性,并已在RELEASE中修复。2019–02–20T22–44–29Z严重程度:中受影响的对象:所有使用多用户功能的用户受到影响。但是,仍然建议每个人都进行升级。对用户的建议操作:建议所有用户升级

阅读更多...

安全 资讯

The Architect’s Guide to Data and File Formats

简介:针对MinIO服务器的IAM实现,发现了两种不同的特权升级可能性,并已在RELEASE.2019-04-04T18-31-46Z中修复。严重性:高受影响的人:MinIO服务器的所有用户都受到影响。MinIO网关的用户不受影响。但是,仍然建议升级。针对用户的建议操作:所有用户

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

内容提要:发现了针对MinIO服务器的IAM实施的未经授权的存储桶访问可能性,并已在RELEASE.2019-06-15T23-0707Z中修复。严重性:高受影响的人:MinIO服务器和网关的IAM功能的所有用户都受到影响。强烈建议升级。对用户的建议操作:建议所有用户升级其Minio

阅读更多...

开源=防弹

The Architect’s Guide to Data and File Formats

通常不会将软件描述为具有防弹功能。特别是负责大型分析工作或机器学习工作负载的软件类型。单词“ finicky”,“ complex”或在良好的营销情况下为“ professional grade”(意味着您需要多年的学习和多次认证)更为常见。然而,防弹软件是与主动开放相关的众多好处之一。

阅读更多...

S3基准:硬盘上的MinIO

The Architect’s Guide to Data and File Formats

高性能对象存储是当今企业中的热门话题之一。一方面,对象存储已成为企业存储策略(公共或私有云)不可或缺的一部分-以TB或PB衡量时,承担了绝大多数企业负担。另一方面,传统上,对象存储服务于

阅读更多...

重新想象支持:从Slack到SUBNET

The Architect’s Guide to Data and File Formats

我们在MinIO的处理方式有所不同。在2014年成立之初,我们在构建产品时就对对象存储市场提出了所有质疑-认为它更像是数据公司,而不是存储公司。我们从头开始,使用工程第一原则,对细节的特别关注和对简单性的不懈追求,做到了这一点。我们非常注意

阅读更多...

S3基准:NVMe上的MinIO

The Architect’s Guide to Data and File Formats

写得好的软件就是快速的软件。当MinIO诞生时,它的设计从一开始就是简单,可扩展(因为简单的东西可以更好地扩展)和快速。简洁和规模有其自己的主观和客观度量-但是快速通常是数字游戏。当您使用编写精良的快速软件并将其与快速硬件配对时,

阅读更多...

针对Apache Spark将MinIO与AWS S3进行基准测试

The Architect’s Guide to Data and File Formats

Apache Spark是用于分布式计算的框架。它提供了跨群集中的多台计算机分布数据并对其执行计算的最佳机制之一。Spark通过构造称为RDD(弹性分布式数据集)的数据结构来实现这一目标。RDD允许将数据分为不同的块,并彼此独立地进行处理。各个块可以

阅读更多...

云选择了赢家;现在他们正在执行

The Architect’s Guide to Data and File Formats

规模的力量已在商业领域得到了充分证明。云提供商(尤其是亚马逊)在很短的时间内就积累了超凡的规模。云提供商现在正在使用这种规模来重新设计企业如何与其数据进行交互。他们使用两个主要杠杆来重塑企业数据格局:价格和性能

阅读更多...

安全, 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的拒绝服务(DoS)可能性,并已在RELEASE中修复.2019-08-07T01-59-21Z。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-03-06T22-47-10Z或更高版本的所有用户都受到影响。此外,使用STS的MinIO网关版本R

阅读更多...

Hadoop HDFS的逻辑继承者

The Architect’s Guide to Data and File Formats

Hadoop的消亡可能是过分的。它不会突然从企业环境中消失-仅仅是有太多的客户,太多的沉没投资使其无法消失在夜里。毫不夸张的是,Hadoop与之前的无数技术一样,正在世俗地,不可逆转地衰落。有很多原因,但是

阅读更多...

五个分层要点

The Architect’s Guide to Data and File Formats

在后视镜中放有另一个Strata后,该反思一下本周我们所见所闻。在这一点上,Strata显然是数据科学的展示,但是数据科学是广泛的话题。作为高性能对象存储的提供者,我们的观点得到了相应的构架,并且我们比起我们更关注数据栈

阅读更多...

Splunk .Conf19的四个要点

The Architect’s Guide to Data and File Formats

Splunk的.Conf事件非常出色。它不仅是Splunkers的“极客舞会”,而且还是一个评估我们在企业分析旅程中所处位置的机会。这是我们从活动中获得的前四大收获,并对接下来几个季度的举办情况有一些想法。Splunk掌握了加速增长的数据,并拥有

阅读更多...

无摩擦加密

The Architect’s Guide to Data and File Formats

如果处理任何类型的数据,您都必须担心数据安全性。跨国银行是这样。对于中小型企业也是如此。加密永远都不应该是抵御恶意行为者的唯一防线,但它是每个组织都应考虑的最基本的安全最佳实践之一。但是,不是

阅读更多...

对象存储的新指标

The Architect’s Guide to Data and File Formats

通常,当人们考虑对象存储时,他们会考虑一件事-每TB / GB的价格。尽管是合法的成本度量标准,但它具有使对象存储成为一维并将其降级到存档用例的作用。此外,它扭曲了与企业技术堆栈这一日益重要的部分相关的价值。坦率地说,遗产

阅读更多...

扩展MinIO:将性能从TB升级到PB

The Architect’s Guide to Data and File Formats

正如我们在先前的基准测试中反复展示的那样,MinIO提供了同类最佳的性能。在这些基准测试中,我们选择了最高端的硬件,并测量了MinIO是否可以挤出其提供的所有资源。这证明了两个关键点:确保MinIO利用可用的最大CPU,网络和存储。确保MinIO不是IO瓶颈。

阅读更多...

放宽对MinIO的32节点限制

The Architect’s Guide to Data and File Formats

MinIO以前对每个群集强加了一个备受争议的32节点限制,我们在12月取消了该限制。对于32个节点的限制,没有严格的技术理由-您可以使用MinIO创建1,000个节点集群。我们施加限制的原因是为了推动良好的架构决策。但是,我们了解到,有些人将其视为限制(实际上,一些竞争对手建议

阅读更多...

开发者友好的 Kubernetes 存储

The Architect’s Guide to Data and File Formats

大多数开发人员不喜欢管理基础架构,包括存储基础架构。Kubernetes的一大优点是能够简化基础架构管理,以便开发人员可以专注于创建应用程序并让Kubernetes处理业务流程。Kubernetes本身并不管理存储基础架构,但是将MinIO和Kubernetes一起使用可以帮助提供应用程序所需的存储

阅读更多...

Kubernetes存储模式

The Architect’s Guide to Data and File Formats

Kubernetes从根本上改变了传统的应用程序开发和部署模式。应用程序开发团队现在可以在几天之内,跨环境在其Kubernetes集群中开发,测试和部署其应用程序。前几代技术通常需要数周甚至数月的时间。由于Kubernetes带到表的抽象性,所以这种加速是可能的,即它可以处理

阅读更多...

高性能对象存储,Kubernetes +为什么不能容器化存储设备

The Architect’s Guide to Data and File Formats

有两种力量正在从根本上重塑当今的技术格局。一种是Kubernetes,另一种是高性能对象存储。它们为包括AI / ML和应用程序日志在内的现代,数据丰富的应用程序提供动力(或由它们决定)。无论哪种方式,现代应用程序都需要Kubernetes和对象存储,而Kubernetes和对象存储则需要它们

阅读更多...

边缘存储

The Architect’s Guide to Data and File Formats

边缘计算是一个热门话题,带来了一些混乱,尤其是在存储方面。在边缘正确处理数据可以确保可扩展的,具有成本效益的和安全的基础架构-但是无法建立正确的体系结构可能导致数据丢失,安全漏洞以及与重复向和向其传输数据所需的带宽相关的高昂成本。

阅读更多...

介绍Sidekick-高性能负载均衡器

The Architect’s Guide to Data and File Formats

几乎所有现代的云原生应用程序都使用HTTPs作为其主要传输机制,即使在网络内部也是如此。每个服务都是按比例动态配置的HTTP端点的集合。为通过Internet服务Web应用程序而构建的传统负载均衡器在这里处于劣势,因为它们使用旧式DNS轮询技术来实现负载均衡和

阅读更多...

介绍KES-大规模密钥管理

The Architect’s Guide to Data and File Formats

KES是用于高性能应用程序的无状态分布式密钥管理系统。我们将KES构建为现代应用程序(在Kubernetes上作为容器运行)与集中式KMS解决方案之间的桥梁。因此,默认情况下,KES被设计为简单,可伸缩且安全。

阅读更多...

使用Splunk监视MinIO-教程

The Architect’s Guide to Data and File Formats

概述MinIO和Splunk在企业数据方面具有共生关系。Splunk在其数字流处理器中使用MinIO。MinIO是Splunk SmartStore端点。在本文中,我们将说明如何使用Splunk的高级日志分析功能来帮助了解MinIO对象存储套件的性能以及所管理的数据。快速设置水平

阅读更多...

Apache Nifi 的 MinIO 事件通知

The Architect’s Guide to Data and File Formats

Apache Nifi是当今最流行的开源数据流引擎之一。Nifi支持几乎所有主要的企业数据系统,并允许用户创建有效,快速和可扩展的信息流系统。使用Nifi创建数据流系统非常简单,并且有一条明确的途径可以添加对尚未作为Nifi提供的系统的支持

阅读更多...

英特尔与ARM CPU性能对对象存储的影响

The Architect’s Guide to Data and File Formats

AWS最近发布了有关其新型ARM驱动的Graviton2服务器的一般可用性的公告,这使我们重新审视了这些ARM服务器的性能。在此博客文章中,我们描述了可能令人惊讶的结果。简介MinIO是Apache许可的,开源的S3兼容对象存储服务器,特别关注高性能。

阅读更多...

TDWI与AB Periasamy的问答:成功的公司为何首先考虑数据

The Architect’s Guide to Data and File Formats

几个月前,TDWI的James Powell与MinIO联合创始人兼首席执行官AB Periasamy坐下来讨论了数据领域的趋势和挑战。原始采访(来自TDWI的Upside)可在此处找到,但出于后代考虑,我们将其包括在下面。上行空间:如果企业希望采用哪种技术或方法,那么它必须成为企业数据战略的一部分

阅读更多...

Kasten和MinIO:大规模的安全云原生备份

The Architect’s Guide to Data and File Formats

Kubernetes从根本上改变了应用程序的架构,构建和管理方式。影响是广泛的,但是需要进行大修的一个领域是备份和灾难恢复。在Kubernetes的世界中,应用程序由微服务和短寿命的容器组成,因此需要一种以应用程序为中心的现代方法,该方法可以经济,安全地进行扩展。

阅读更多...

启动分解之旅的三个应用程序

The Architect’s Guide to Data and File Formats

聚合/分解轮取决于技术。但是,由于涉及计算和存储,我们正处于严重的分解浪潮中。使用当前可用的技术,经济非常简单–大小公司只需将计算/分析层与存储层分开,就可以在TCO基础上节省60%以上的费用。

阅读更多...

为什么要为免费软件付费?

The Architect’s Guide to Data and File Formats

通过引入在线订阅我们的软件的能力,我们显然提出了一个问题:“我为什么要为免费软件付费?” 有两个条件和三个原因:购买免费软件的条件:MinIO是组织(例如生产)的主要存储系统MinIO中存储的数据是关键部分

阅读更多...

MinIO的定价方法之美

The Architect’s Guide to Data and File Formats

MinIO的定价非常简单。您无需复杂的电子表格即可估算每月帐单。我们提供三个计划。您无需支付任何费用的开放源代码/社区计划。标准计划($ 10 TB /月,最小容量为25 TB)和企业计划($ 20 TB /月,最小容量为100 TB)

阅读更多...

MinIO订阅网络中有什么?

The Architect’s Guide to Data and File Formats

一旦我们说服了您为什么应该为免费软件付费,下一个问题就会变成:“我从订阅中获得的价值是什么?” MinIO订阅网络不是一回事-而是技术,人才和许可的集合,这些创造了独特的价值主张-不会

阅读更多...

将软件定义的存储与设备进行比较

The Architect’s Guide to Data and File Formats

如今,每个人都声称自己是一家软件公司。从马克·安德列森(Marc Andressen)近十年来的声明中说:“软件正在吞噬世界”,再到华尔街推动产生经常性软件收入的推动;至少要求您是一家软件公司的压力很大。对于家电厂商来说,这显然是有问题的。尝试为

阅读更多...

规模化需要的三件事

The Architect’s Guide to Data and File Formats

MinIO的设计方式与超级缩放器相同,具有简单的构建基块,这些构建基块限制了故障域,但是可以无限增长。仍然有一些功能是您真正需要的,以便在尺寸上达到银河。它们是:服务器端复制:借助MinIO的服务器端复制功能,组织可以跨数据创建主动-主动复制。

阅读更多...

公共云中对象存储的长期成本

The Architect’s Guide to Data and File Formats

公有云的承诺/吸引力基于其具有弹性的概念。一个人可以毫不费力地扩大工作量,并在需要时减少这些相同的工作量。我们之前已经写过关于此主题的文章-从评估您要带给公共云的内容和要考虑的内容时考虑哪些工作负载的角度出发

阅读更多...

混合云的成功策略

The Architect’s Guide to Data and File Formats

如今,混合云是一个热门术语。它应该是。最终它将代表绝大多数企业云架构(Gartner说90%以上)。公共云将继续增长。私有云将继续增长。优势将继续增长。所有这些都由不断增长的数据推动。

阅读更多...

2020年KubeCon的六个要点

The Architect’s Guide to Data and File Formats

Kubecon今年进入虚拟市场,说实话,无论从哪个角度来看,情况都不一样。它缺乏电力,热情和互动性,这使它成为了假日季节的极客版本。尽管如此,内容仍然非常出色,并将继续充当这一惊人事件的引擎。

阅读更多...

为什么我们的客户购买

The Architect’s Guide to Data and File Formats

MinIO订阅网络是唯一的。它结合了商业许可证和直接对工程的支持,还提供了访问紧急按钮,体系结构和安全性审查以及许多其他功能和技术的功能,以确保我们的客户永远不会丢失数据或遭受安全破坏。我们最近要求我们的客户群参加快速调查,

阅读更多...

为什么小物件如此重要

The Architect’s Guide to Data and File Formats

在过去的十年左右的时间里,对象存储用例已经取代了传统的文件和块用例而发生了长足的发展。特别地,使用小型数据对象的需求变得司空见惯。是的,仍然有很多大对象,但对于特定的工作负载和应用程序环境,小对象变得比大对象更为普遍。

阅读更多...

Cassandra 的问题:为什么它是对象存储的元数据数据库的糟糕选择

The Architect’s Guide to Data and File Formats

Cassandra是一个流行的,经过验证的NoSQL数据库,它支持键值宽列表。像任何强大的工具一样,Cassandra具有理想的用例-特别是,Cassandra擅长支持繁重的写工作负载,同时在支持繁重的读工作负载方面有局限性。Cassandra最终的一致性模型和缺少事务,连接,子查询等多表支持也会限

阅读更多...

MinIO为什么赢得混合云

The Architect’s Guide to Data and File Formats

我们刚刚结束了2021年存储领域日活动,在会议期间,我们对混合策略产生了特别的兴趣。最后,我们在时间上有些压缩,但信息引起共鸣,并且是摄像机停止滚动后与代表讨论分组讨论室的主要主题。

阅读更多...

存储现场日第4场:混合云

The Architect’s Guide to Data and File Formats

我们在SFD广告位结束时忙得不可开交。鉴于混合云的故事对我们的未来至关重要,我可能不应该将它留在最后。太多的大问题使我们无法按计划进行,我们到达本节的开头时就没有足够的时间来说明问题。

阅读更多...

存储现场日第3场:MinIO的创新

The Architect’s Guide to Data and File Formats

这是一篇相对简短的文章,因为视频中确实包含了好东西,这要归功于Daniel Valdivia和AB。总结是,MinIO拥有一支可笑的人才工程团队,他们在一起已经有十多年了。他们中的许多人都是Gluster团队的成员,并且忘记了有关文件系统的更多信息

阅读更多...

存储现场日第1场:了解MinIO

The Architect’s Guide to Data and File Formats

正如我们在开幕式中所说的那样,我们热爱存储领域日,因为这是我们有机会对自己的成就进行反思,同时迫使我们面对未来的机会。我们之所以说是对峙,是因为SFD的代表是您可能会遇到的最聪明,最挑剔的怀疑论者群体。

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的服务器端请求伪造(SSRF)漏洞,并已在RELEASE.2021-01-30T00-20-58Z中修复。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-12-17T23-16-33Z或更高版本的所有用户都受到影响。禁用MinIO浏览器UI的用户

阅读更多...

制作五年

The Architect’s Guide to Data and File Formats

今天是MinIO的特殊周年纪念日。自从我们在GitHub上发布第一个GA版本至今已经五年了。从那时到现在(5,396次提交)的旅程简直令人赞叹不已,我们想花一点时间回顾一下我们从何时开始以及现在的位置的想法。

阅读更多...

混合云架构师指南

The Architect’s Guide to Data and File Formats

随着我们进入2021年,有一些技术媒介决定了IT架构师的对话。占主导地位的是Kubernetes。与此相关并迅速成为“标准”的是混合云。只有在计划混合云时,架构师角色固有的挑战才会加剧。首先,它是新事物,营销有超越趋势

阅读更多...

安全&咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的签名验证绕过漏洞,并已在RELEASE.2021-03-17T02-33-02Z中修复。严重性:中受影响的对象:RELEASE.2021-03-17T02-33-02Z之前的MinIO服务器版本的所有用户。通过TLS访问MinIO的用户不受影响。对用户的建议操作:建

阅读更多...

子网健康介绍

The Architect’s Guide to Data and File Formats

SUBNET是MinIO的商业引擎。从初创公司到全球最有价值的技术公司,MinIO的生产实例都是如何被消耗的。SUBNET将商业许可证(对于AGPLv3义务很重要)与独特的支持模型结合在一起,该模型通过MinIO内置的门户提供24/7/365直接对工程师的支持,该门户融合了Slack

阅读更多...

可扩展性神话

The Architect’s Guide to Data and File Formats

许多对象存储公司喜欢谈论可扩展性,同时讨论诸如EB和“ Infinite”之类的术语。不幸的是,许多用于描述可伸缩性的术语都做出了宏大而误导的承诺,无助于企业构建有效的存储平台。围绕最简单的用例(静态档案数据)提出的声明无法转化为整个使用范围

阅读更多...

及时拯救地球一租户

The Architect’s Guide to Data and File Formats

每家公司都需要将气候变化作为其业务计划的一部分。将其视为与整个社会的契约。MinIO 以发展一种思考大问题、表现出同理心和重视善意的文化而自豪。它为我们提供了很好的服务。

阅读更多...

多云架构师指南

The Architect’s Guide to Data and File Formats

在这一点上,混合云和多云之间的界限是模糊的。混合云的定义当然更广泛(公共、本地、边缘)。多云一般是指多个公有云。使它变得模糊的是,云是一种心态——而不是一个物理位置。因此,我们现在看到这些术语可以互换使用。

阅读更多...

不再需要重新平衡对象存储!

The Architect’s Guide to Data and File Formats

MinIO 不采用传统的重新平衡技术来管理数据或增加容量。就像我们所做的一切一样 - 我们仔细研究了这种“传统智慧”,并确定在需要提供性能、规模以及最重要的规模性能的对象存储特定实现的上下文中,重新平衡不会有效. 因此,我们通过添加服务器池和擦除集以不同的方式解决问题。

阅读更多...

对象存储数据库——新常态

The Architect’s Guide to Data and File Formats

当您考虑对象存储工作负载和存储类型时,您首先想到的并不是数据库。然而,这种情况正在迅速改变,仅由两种力量驱动:真实、高性能对象存储的可用性和数据的爆炸性增长,或许更具影响力的是与其相关的元数据。

阅读更多...

软件定义的真正含义

The Architect’s Guide to Data and File Formats

这篇文章首次出现在 Container Journal 上。“软件定义存储”一词被供应商社区广泛误解。虽然行业和金融分析师都知道软件定义是存储行业的现在和未来,但无法区分的客户可能会发现他们基于硬件或设备的解决方案并不完全符合

阅读更多...

增长、文化和下一阶段

The Architect’s Guide to Data and File Formats

当我们分享 B 轮融资的消息以及随之而来的里程碑估值时,我想分享一些关于我们的旅程、我们的商业吸引力、接下来会发生什么以及为什么文化现在比以往任何时候都重要(以及你如何成为一个一部分)。

阅读更多...

弃用 MinIO 网关

The Architect’s Guide to Data and File Formats

MinIO 正在弃用网关,并将在六个月内完全删除。这不足为奇,我们从 2020 年开始通知社区,并稳步移除不受欢迎的网关。在过去的十个月里,MinIO 只进行了错误修复。社区可以在该日期之后继续使用旧版本的 MinIO。

阅读更多...

解决云中的人才危机

The Architect’s Guide to Data and File Formats

我们正处于云原生人才危机中。它不会很快结束。鉴于危机的严重性,考虑到云运营模式的发展速度——从公共云到私有云,甚至到边缘,真是令人惊讶。我们的客户和合作伙伴都在寻找更多的云人才。

阅读更多...

企业级 NVMe 部署注意事项

The Architect’s Guide to Data and File Formats

我最近在与一位客户合作解决性能优化问题时,我意识到一种我从未遇到过的 NMVe 现象,尽管我曾担任首席技术官和首席数据官数十年。当我深入研究这一现象时,我了解到这在 NVMe 人群中是一个共同的秘密。

阅读更多...

使用 LXMIN 备份 LXD 实例

The Architect’s Guide to Data and File Formats

LXD 是 Canonical Ltd. 的下一代 Linux 系统容器和虚拟机管理器。LXD 允许您使用简单的命令行工具或通过 REST API 管理容器。LXMIN (lex-min) 是一个简单的备份和恢复工具,用于使用 MinIO 对象存储的 LXD 实例(容器或虚拟机)。

阅读更多...

介绍 DirectPV

The Architect’s Guide to Data and File Formats

DirectPV 是用于直接附加存储的 CSI 驱动程序。在最基本的层面上,它是一个分布式持久卷管理器,而不是像 SAN 或 NAS 这样的存储系统。DirectPV 用于跨服务器发现、格式化、安装、调度和监控驱动器。在我们进入 DirectPV 的体系结构之前,让我们先说明为什么我们需要构建它。

阅读更多...

Kubecon EU 的收获

The Architect’s Guide to Data and File Formats

西班牙巴伦西亚的 Kubecon EU 为 Kubernetes 社区带来了一股清新的空气。虽然 Linux 基金会和 CNCF 在这场大流行病中做了大量工作,但没有什么比亲眼见到你的“人”更棒的了。

阅读更多...

规模上的简单性

The Architect’s Guide to Data and File Formats

Frank Wessels 是 Sneller 的创始人,之前曾在 MinIO 工作。简介 在 MinIO 期间,也许我学到的最重要的一课是关于简单性。如果您想实现(真正的)可扩展性,简单性是最重要的。

阅读更多...

应急按钮之美

The Architect’s Guide to Data and File Formats

紧急按钮是 SUBNET 的一个非常有用的组件。了解它是如何工作的,会发生什么,以及为什么人们如此喜欢它(即使他们不喜欢按下它之前的内容)。

阅读更多...

构建 CI/CD 构建管道

The Architect’s Guide to Data and File Formats

在本教程中,我们将烘焙 MinIO 二进制文件和服务依赖项,例如 MinIO 所需的用户名和组。我们正在烘烤而不是油炸,因为无论我们如何配置和启动我们的图像,它们都将保持不变。

阅读更多...

更快的多站点复制和重新同步

The Architect’s Guide to Data and File Formats

多站点主动-主动复制于 2021 年底首次推出,现已发展成为最具影响力的 MinIO 功能之一。MinIO 很早以前就具备了桶间复制同步对象、删除操作和元数据变化的能力,但是多站点双活复制超越了桶复制,同步所有桶、IAM、安全令牌、服务账户

阅读更多...

MinIO 复制最佳实践

The Architect’s Guide to Data and File Formats

我们将建立一个地理分布的基础设施,我们在远距离的多站点中拥有一个多节点多驱动器 MinIO 集群。这将使我们能够真正理解大规模复制工作,以帮助我们了解高可用性所需的基础设施。

阅读更多...

YouTube 摘要:MinIO 客户端命令

The Architect’s Guide to Data and File Formats

在我们的 Youtube 摘要系列的最后一期中,我们介绍了使用 Go SDK 将 MinIO 部署到 Go 中。今天,我们将回顾 MJ Johnson 的系列文章,介绍如何使用 MinIO Client (MC) 命令使用类似 Linux 的工具从命令行快速有效地管理您的 MinIO 环境。

阅读更多...

云的生命周期

The Architect’s Guide to Data and File Formats

通货膨胀(以及在可预见的未来相应的高利率)、需求破坏和不确定的前景的双重打击促使公司积极寻求成本节约。现在。虽然裁员是大多数科技行业当前的做法,但数据堆栈中有真金白银

阅读更多...

MinIO 对象 Lambda

The Architect’s Guide to Data and File Formats

MinIO 的对象 Lambda 实现允许转换您的数据,以满足逐个应用程序的独特数据格式要求。例如,电子商务应用程序创建的数据集可能包含个人身份信息 (PII)。当相同的数据被处理用于分析时,PII 应该被编辑。

阅读更多...

为什么对象存储优于 SAN/NAS

The Architect’s Guide to Data and File Formats

在存储和管理数据方面,有现代的云原生方式,也有传统的面向设备的方式。不用说,对象存储是现代的云原生方式。虽然很容易暗示 MinIO 无可救药地偏向对象存储(毕竟这是我们唯一做的事情)

阅读更多...

Weka 违反了 MinIO 的开源许可证

The Architect’s Guide to Data and File Formats

在 MinIO,我们致力于开源软件的原则。从一开始,我们就一直坚持这一理念,这就是为什么你会发现上游代码和商业代码完全一样的原因。我们有义务保护我们的软件——尤其是那些将其打包在其专有产品中并通过的公司

阅读更多...

子网回拨诊断

The Architect’s Guide to Data and File Formats

如果您有一个个人健康监测器可以随时监控您的健康状况,而无需您付出任何努力,会怎样?想象一个每天跟踪您的健康状况的系统,即使是最轻微的问题也会突出显示,这样您就可以在小问题变成大问题之前寻求帮助。

阅读更多...

YouTube 摘要:对象管理

The Architect’s Guide to Data and File Formats

我们又在我们的 YouTube 频道上推出了另一门教育课程,这是我们迅速扩展的曲目。本月,MinIO 的 Will Dinyes 正在为那些已经建立了对象存储并希望了解更多关于如何建立高效和可持续的数据生命周期管理策略的人讨论对象管理。

阅读更多...

HDD 数据持久性:块级 RAID 与对象存储纠删码

The Architect’s Guide to Data and File Formats

在数据持久性、容错性和恢复时间方面,我们已经广泛发表了关于使用纠删码的对象存储如何比块存储 RAID 更好的方法的博客。存储技术领域的其他人开始意识到我们是对的,RAID,本质上是 1980 年代的技术,已经过时了,无法提供始终在线的数据驱动的云原生数据中心所需的数据保护。

阅读更多...

数据湖屋的颠覆性本质

The Architect’s Guide to Data and File Formats

1997 年,克莱顿·克里斯滕森 (Clayton Christensen) 在他的《创新者的困境》一书中确定了一种创新模式,该模式可跟踪现有企业和新进入者之间按细分市场划分的能力、成本和采用情况。

阅读更多...

如何使用Restic和MinIO进行备份

The Architect’s Guide to Data and File Formats

每个系统都需要备份,因为有无数种方法可以丢失本地文件系统数据和配置。这种损失可能是毁灭性的——可能导致收入损失、客户不满意,甚至代价高昂的诉讼。统计数据相当惨淡——遭受数据丢失事件的企业中有 60% 在六个月内关闭,而失去数据中心超过 10 天的公司中有 93% 在一年内申请破产。

阅读更多...

如何使用MinIO和LakeFS实现人工智能训练的可重现性

The Architect’s Guide to Data and File Formats

运行多个机器学习实验的现实情况是,管理它们可能会变得不可预测和复杂,尤其是在团队环境中。经常发生的情况是,在研究过程中,团队在实验之间不断更改配置和数据。例如,尝试多个训练集和多个超参数值,并且 - 当涉及大型数据集时 - 分布式计算引擎(如 Apache Spark)的不同配置。

阅读更多...

使用MinIO对MongoDB进行快照备份

The Architect’s Guide to Data and File Formats

随着数据量和频率以前所未有的速度不断扩展和加速,对象存储继续作为数据堆栈的支柱,推动各种数据产品的创新和效率。其中,MongoDB是NoSQL领域的领跑者,它提供了一个多功能且可扩展的解决方案,用于管理非结构化和半结构化数据,如JSON文件。

阅读更多...

MinIO不适用小文件,是真的吗?

The Architect’s Guide to Data and File Formats

网上一些评论和提问经常会遇到三个问题,我们将这三个问题展开: MinIO不适用于小文件? MinIO小文件性能? MinIO是否是合小文件的读取场景? 首先,我们正面回答问题。 第一种观点是错误的,MinIO不仅非常适合小文件,还适合中型文件和大文件。

阅读更多...

minio和阿里云oss哪个好?

The Architect’s Guide to Data and File Formats

在回答这个问题前,我们首先要明白一个关于监管上的要求和产品上的区别。因此,如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3,都是全球非常优秀的对象存储产品。

阅读更多...

离线部署的MinIO

The Architect’s Guide to Data and File Formats

网络有不同的部分,例如 DMZ、公共、私有、堡垒等。这实际上取决于您的组织和网络要求。在部署应用程序时,任何应用程序,我们都需要考虑类型以及它是否需要位于网络的特定部分。

阅读更多...

我如何知道我的MinIO集群复制是最新的?

The Architect’s Guide to Data and File Formats

客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制,以确保每个应用程序都使用最新的数据,无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中,我们详细介绍了各种可用的复制选项及其最佳实践。

阅读更多...

AI 的未来是开源的

The Architect’s Guide to Data and File Formats

想象一下,在未来,人工智能不会被锁在公司的金库里,而是由全球创新者社区一砖一瓦地在开放中构建的。协作,而不是竞争,推动进步,道德考虑与原始绩效同等重要。这不是科幻小说,而是人工智能发展核心正在酝酿的开源革命。

阅读更多...

调试 MinIO 安装

The Architect’s Guide to Data and File Formats

MinIO 部署形式多样。我们支持在任意版本的 Linux 上进行裸金属安装,支持在任何版本的 Kubernetes(包括 Red Hat OpenShift)上进行容器化安装,还支持在大大小小的环境中部署单个轻量级二进制文件。

阅读更多...

复制策略深入探讨

The Architect’s Guide to Data and File Formats

在之前的博客中,我们讨论了复制最佳实践和不同类型的复制,例如批量、站点和存储桶。但是,随着所有这些不同类型的复制类型的出现,人们不得不想知道在哪里使用哪种复制策略?

阅读更多...

使用GitOps自动化推动AI/ML工作流程

The Architect’s Guide to Data and File Formats

作为一名深耕自动化和人工智能领域的开发人员,我们逐渐认识到尖端工具和方法之间的显着协同作用,这些协同作用突破了可能性的界限。在这次探索中,我们想分享一个概念,它不仅彻底改变了我们的软件开发和基础设施管理方法,而且还打开了无尽创新的大门:GitOps。

阅读更多...

MinIO 突破了Boundary

The Architect’s Guide to Data and File Formats

随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据,有时他们需要以“老派”的方式做一些事情,因为根本没有其他方法。其中之一是堡垒主机。

阅读更多...

停止向供应商提供您的数据

The Architect’s Guide to Data and File Formats

组织管理其数据基础设施的方式正在发生重大转变。越来越多的公司认识到存储和计算分离的优势,从而获得更好的性能、成本节约和可扩展性。这一趋势是由 AI 和 ML 工作负载日益复杂所推动的,这些工作负载需要灵活、高性能的系统

阅读更多...

从 HDFS 迁移到 MinIO 企业对象存储

The Architect’s Guide to Data and File Formats

云原生、面向 Kubernetes 、基于微服务的架构推动了对 MinIO 等网络存储的需求。在云原生环境中,对象存储的优势很多 - 它允许独立于存储硬件对计算硬件进行弹性扩展。它使应用程序无状态,因为状态是通过网络存储的,并且通过降低操作复杂性,使应用程序能够实现比以往更高的规模

阅读更多...

MinIO 学习订阅服务

The Architect’s Guide to Data and File Formats

MinIO 的入门非常简单 — 只需几个简单的命令和一个 100 MB 的小二进制文件,您就可以立即启动并运行一个功能性开发环境。但是,为了在生产规模上利用 MinIO 的全部功能,我们鼓励专业人士更多地了解 MinIO 的广泛功能

阅读更多...

复制、数据整合和数据迁移

The Architect’s Guide to Data and File Formats

Parsec Labs 是一家工程师公司。大多数人都设计了存储系统,负责备份和复制,或者从事网络构建交换机的工作。其 Unified Data Mobility and Protection Appliance 成立于 2013 年,为大规模迁移、复制和备份数据提供了最直接的工具。

阅读更多...

充分利用 AIStor 的网络配置

The Architect’s Guide to Data and File Formats

AIStor 可以以分布式方式部署,从而有效利用多个物理机或虚拟机的计算和存储资源。这可以是在私有云或公共云环境中运行的 AIStor,例如使用 Amazon Web Services、Google Cloud Platform、Microsoft 的 Azure 平台等

阅读更多...

AIStor 更新和重启最佳做法

The Architect’s Guide to Data and File Formats

在现代世界中,保持系统运行不仅仅是赌注 - 它是没有商量余地的。当涉及到软件更新及其对您的系统意味着什么时 - 嗯,这要复杂得多。一方面,安全性是当今更新的主要驱动力,这也是没有商量余地的。需要尽快在所有系统中实施补丁,以保持最强的安全性

阅读更多...

AWS re:Invent 的创新技术

The Architect’s Guide to Data and File Formats

本月早些时候,Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re:Invent 大会。如果您从未参加过 re:Invent 会议,那么最能描述它的词是“巨大”——不仅从与会者人数(60,000 人)来看,还从涵盖的主题的广度来看

阅读更多...

关于 ROSA 的 AIStor

The Architect’s Guide to Data and File Formats

AIStor 是高性能、可互操作的云原生对象存储的先驱,具有多功能性和敏捷性。AIStor 可在无数平台上运行,例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。最近,业内出现了一种趋势,即让数据“更贴近”家庭

阅读更多...

为 AIStor 部署选择最佳硬件

The Architect’s Guide to Data and File Formats

事实是,AIStor 没有最佳的硬件配置。我们的客户根据其使用案例和要求选择硬件。如果 AIStor 有一个最佳硬件配置,那么我们会在设备上销售 AIStor,但这将剥夺您为工作选择最佳硬件的自由,并将您锁定在特定的外形规格中。

阅读更多...

介绍 MinLZ 压缩算法

The Architect’s Guide to Data and File Formats

存在不同类型的压缩算法和非常好的实现。在 MinIO,我们已经使用了 Snappy 的增强版本,它一直为我们服务良好。但随着时间的推移,我们发现了一些可能的改进,可以更好地对压缩数据进行编码

阅读更多...

AIStor 与 NVIDIA NIM™ 集成

The Architect’s Guide to Data and File Formats

基于 AIStor 强大的 AI 功能,MinIO 的 PromptObject 使用户能够通过自然语言查询与他们的数据进行交互,如此处所述。PromptObject 允许用户使用自然语言询问有关其数据内容的问题并提取信息,从而改变了用户与存储对象的交互方式,无需编写复杂的查询或代码

阅读更多...

MinIO AIStor: 利用英伟达™(NVIDIA®)BlueField-3 DPU 率先开发

The Architect’s Guide to Data and File Formats

Arm 架构正在彻底改变超大规模云,这得益于其总拥有成本 (TCO) 优势(更低的功耗和更低的冷却要求),从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例,利用其效率来满足数据密集型工作负载的需求

阅读更多...