MinIO-无旋钮可旋转,无按钮可按

The Architect’s Guide to Data and File Formats

“我需要的越少,感觉就越好。” 〜Charles Bukowski我们经常忘记从过去的成功项目中学习。如果您和我一样大,您将记住一个名为qmail的项目。由于其极简的设计(qmail安全保证),没有人会戳它的安全漏洞。系统管理员也喜欢它的简单性。我看到极简主义

阅读更多...

命令行访问Google Cloud Storage

The Architect’s Guide to Data and File Formats

自9月发布适用于Amazon S3和MinIO服务器的MinIO Client'mc'以来,我们收到了支持Google云存储,Red Hat Ceph和Open Stack Swift的大量请求。这是用于各种服务器实施的Amazon S3 API兼容性矩阵。Amazon S3:Amazon S3 V

阅读更多...

2016年2月发布Minio Client

The Architect’s Guide to Data and File Formats

这个新版本增加了对Solaris / Illumos和FreeBSD 64位Intel的支持。以下是此版本中所做更改的非详尽列表。已弃用并删除了cp和mirror的并行代码。现在所有的复制操作都是串行的,这解决了与会话文件丢失和整体代码复杂度有关的许多问题。

阅读更多...

PaaS中的存储:Minio和Deis

The Architect’s Guide to Data and File Formats

不管您是否注意到它,作为最终用户,存储都是我们今天使用的几乎所有软件的重要组成部分。但是,作为开发人员,重要的是能够以一种简单而又安全又快速的方式检索东西。如前所述,对象存储是实现此目标的一种好方法。我们也看到了

阅读更多...

使用BLAKE2在Golang中快速散列

The Architect’s Guide to Data and File Formats

在此博客中,我们想为纯SIM中的BLAKE2哈希算法提供一种优化的实现blake2b-simd,该算法利用了SIMD指令。与(非汇编)Go实施相比,它的速度提高了4倍,并且在高端CPU上,每个内核的散列速度可达到接近1 GB /秒。与标准SHA512相比

阅读更多...

将您的Node.js应用程序日志存储到Minio

The Architect’s Guide to Data and File Formats

日志记录仍然是开发人员关注的主要问题之一。通常,各种组件(如Web服务器,数据库)会将日志存储在不同的位置。当出现问题时,开发人员需要四处寻找相关的日志。将您的应用程序日志自动存储在预定义的位置不是很好。您可以使用Fluentd和

阅读更多...

Doctor:开源文档服务器

The Architect’s Guide to Data and File Formats

Doctor使用markdown(MD)格式进行文档编写,使用github进行版本控制。使用Doctor将来自多个存储库的多个MD文件聚合到一个文档站点中。Doctor根据Apache V2.0许可获得许可。观看现场演示:https://docs.minio.io docs.minio.io我们为什

阅读更多...

通过RabbitMQ发布Minio事件

The Architect’s Guide to Data and File Formats

简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第1部分介绍了使用RabbitMQ服务器通过AMQP发送存储桶通知。您可以将此设置与AWS S3&S

阅读更多...

minio / dsync:Go的分布式锁定和同步包

The Architect’s Guide to Data and File Formats

minio / dsync是用于在nnodes网络上进行分布式锁定的软件包。它在设计时考虑了简单性,并且提供了有限的可伸缩性(n <= 16)。每个节点都连接到所有其他节点,并且来自任何节点的锁定请求将广播到所有连接的节点。如果n / 2,则节点将成功获得锁

阅读更多...

通过Redis发布MinIO事件

The Architect’s Guide to Data and File Formats

简介Minio服务器支持针对以下目标AMQP,Elasticsearch,Redis,nats.io,PostgreSQL和Apache Kafka的Amazon S3兼容存储桶事件通知。本博客系列的第3部分介绍了使用Redis发送存储桶通知。配置Redis的步骤我在笔记本电脑上使用Ubuntu L

阅读更多...

为MinIO引入Webhooks

The Architect’s Guide to Data and File Formats

MinIO提供了与一系列后端系统的集成,使您能够为您的项目构建完整的解决方案。该团队最近整合了来自社区的请求请求,以添加Webhook支持,并希望向您介绍一下。首先,我们将看一下Webhooks是什么,它们可以与之联系的一些示例

阅读更多...

将MinIO云存储部署到Mesosphere DC / OS

The Architect’s Guide to Data and File Formats

容器编排正逐渐成为部署应用程序的默认方法。开发人员正在从头开始构建其现代应用程序,以在容器中运行,从而实现更快的部署和更高的弹性。甚至传统的应用程序也以各种方式采用容器,以获取这些优势。在准备好应用程序容器的众多特性中,它的方式

阅读更多...

调试Go例程泄漏

The Architect’s Guide to Data and File Formats

在开始调试Goroutines泄漏之前,让我先简要介绍一些基础知识,这些基础知识将使您对问题有更广阔的了解。并发编程。并发编程处理程序的并发执行,其中一次执行多个顺序的执行流,从而可以更快地执行计算,从而有助于更好地利用多核

阅读更多...

带Raspberry Pi的MinIO服务器规格

The Architect’s Guide to Data and File Formats

今天,我们将为您的MinIO服务器看一看IoT压力表。这是Alex Ellis用Raspberry Pi,Docker和MinIO构建的一个很棒的技巧。在向开放源代码MinIO项目贡献代码以启用网络挂钩之后,Alex希望可视化通过其服务器的流量。他的骇客显示物件上传的速度

阅读更多...

Go实施静态数据加密

The Architect’s Guide to Data and File Formats

简介加密网络流量已成为默认设置。有诸如SSH和TLS之类的标准化协议,以及诸如“让我们加密”之类的项目可以保护通过网络发送的数据。例如,TL​​S接收数据流,将该流分块为消息,并在通过网络发送消息之前对每个消息进行加密。TLS确保每封邮件都经过加密

阅读更多...

MinIO,云存储的ZFS

The Architect’s Guide to Data and File Formats

ZFS以将物理存储设备的边界汇集在一起​​来抽象化物理存储设备的边界而闻名。ZFS完全消除了手动处理物理存储的需要,也无需担心它们的单个容量。ZFS也是检测数据损坏并在有数据冗余的情况下进行恢复的能力的先驱。但是,正如我们已经讨论的那样,传统文件系统无法

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对Minio服务器的拒绝服务(DoS)漏洞,并已在RELEASE中修复。2018–05–25T19–49–13Z严重程度:中受影响的对象:签名V4身份验证的所有用户均受到影响。签名V2身份验证的用户不受影响。针对用户的建议操作:建议所有用户将其Minio部署升级到

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

内容提要:发现了违反SSE-C安全保证的问题,并已在RELEASE.2018–07–10T01–42–11Z中修复。严重性:低受影响的对象:使用S3 SSE-C API存储对象并使用同一客户端提供的密钥对不同对象至少两次的所有用户。对用户的建议操作:建议所有用户升级其Minio

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:在Minio服务器S3和Admin API上发现了另一位用户的欺骗身份验证的可能性,并已在RELEASE中修复。2019–02–20T22–44–29Z严重程度:中受影响的对象:所有使用多用户功能的用户受到影响。但是,仍然建议每个人都进行升级。对用户的建议操作:建议所有用户升级

阅读更多...

安全 资讯

The Architect’s Guide to Data and File Formats

简介:针对MinIO服务器的IAM实现,发现了两种不同的特权升级可能性,并已在RELEASE.2019-04-04T18-31-46Z中修复。严重性:高受影响的人:MinIO服务器的所有用户都受到影响。MinIO网关的用户不受影响。但是,仍然建议升级。针对用户的建议操作:所有用户

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

内容提要:发现了针对MinIO服务器的IAM实施的未经授权的存储桶访问可能性,并已在RELEASE.2019-06-15T23-0707Z中修复。严重性:高受影响的人:MinIO服务器和网关的IAM功能的所有用户都受到影响。强烈建议升级。对用户的建议操作:建议所有用户升级其Minio

阅读更多...

安全, 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的拒绝服务(DoS)可能性,并已在RELEASE中修复.2019-08-07T01-59-21Z。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-03-06T22-47-10Z或更高版本的所有用户都受到影响。此外,使用STS的MinIO网关版本R

阅读更多...

无摩擦加密

The Architect’s Guide to Data and File Formats

如果处理任何类型的数据,您都必须担心数据安全性。跨国银行是这样。对于中小型企业也是如此。加密永远都不应该是抵御恶意行为者的唯一防线,但它是每个组织都应考虑的最基本的安全最佳实践之一。但是,不是

阅读更多...

对象存储的新指标

The Architect’s Guide to Data and File Formats

通常,当人们考虑对象存储时,他们会考虑一件事-每TB / GB的价格。尽管是合法的成本度量标准,但它具有使对象存储成为一维并将其降级到存档用例的作用。此外,它扭曲了与企业技术堆栈这一日益重要的部分相关的价值。坦率地说,遗产

阅读更多...

TDWI与AB Periasamy的问答:成功的公司为何首先考虑数据

The Architect’s Guide to Data and File Formats

几个月前,TDWI的James Powell与MinIO联合创始人兼首席执行官AB Periasamy坐下来讨论了数据领域的趋势和挑战。原始采访(来自TDWI的Upside)可在此处找到,但出于后代考虑,我们将其包括在下面。上行空间:如果企业希望采用哪种技术或方法,那么它必须成为企业数据战略的一部分

阅读更多...

安全 咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的服务器端请求伪造(SSRF)漏洞,并已在RELEASE.2021-01-30T00-20-58Z中修复。严重性:中受影响的对象:MinIO服务器版本RELEASE.2019-12-17T23-16-33Z或更高版本的所有用户都受到影响。禁用MinIO浏览器UI的用户

阅读更多...

安全&咨询

The Architect’s Guide to Data and File Formats

简介:已发现针对MinIO服务器的签名验证绕过漏洞,并已在RELEASE.2021-03-17T02-33-02Z中修复。严重性:中受影响的对象:RELEASE.2021-03-17T02-33-02Z之前的MinIO服务器版本的所有用户。通过TLS访问MinIO的用户不受影响。对用户的建议操作:建

阅读更多...

增长、文化和下一阶段

The Architect’s Guide to Data and File Formats

当我们分享 B 轮融资的消息以及随之而来的里程碑估值时,我想分享一些关于我们的旅程、我们的商业吸引力、接下来会发生什么以及为什么文化现在比以往任何时候都重要(以及你如何成为一个一部分)。

阅读更多...

HDD 数据持久性:块级 RAID 与对象存储纠删码

The Architect’s Guide to Data and File Formats

在数据持久性、容错性和恢复时间方面,我们已经广泛发表了关于使用纠删码的对象存储如何比块存储 RAID 更好的方法的博客。存储技术领域的其他人开始意识到我们是对的,RAID,本质上是 1980 年代的技术,已经过时了,无法提供始终在线的数据驱动的云原生数据中心所需的数据保护。

阅读更多...

数据湖屋的颠覆性本质

The Architect’s Guide to Data and File Formats

1997 年,克莱顿·克里斯滕森 (Clayton Christensen) 在他的《创新者的困境》一书中确定了一种创新模式,该模式可跟踪现有企业和新进入者之间按细分市场划分的能力、成本和采用情况。

阅读更多...

如何使用Restic和MinIO进行备份

The Architect’s Guide to Data and File Formats

每个系统都需要备份,因为有无数种方法可以丢失本地文件系统数据和配置。这种损失可能是毁灭性的——可能导致收入损失、客户不满意,甚至代价高昂的诉讼。统计数据相当惨淡——遭受数据丢失事件的企业中有 60% 在六个月内关闭,而失去数据中心超过 10 天的公司中有 93% 在一年内申请破产。

阅读更多...

MinIO不适用小文件,是真的吗?

The Architect’s Guide to Data and File Formats

网上一些评论和提问经常会遇到三个问题,我们将这三个问题展开: MinIO不适用于小文件? MinIO小文件性能? MinIO是否是合小文件的读取场景? 首先,我们正面回答问题。 第一种观点是错误的,MinIO不仅非常适合小文件,还适合中型文件和大文件。

阅读更多...

minio和阿里云oss哪个好?

The Architect’s Guide to Data and File Formats

在回答这个问题前,我们首先要明白一个关于监管上的要求和产品上的区别。因此,如果在公有云产品选择上可以选择阿里云OSS、腾讯云的COS、华为云的OBS和AWS的S3,都是全球非常优秀的对象存储产品。

阅读更多...

离线部署的MinIO

The Architect’s Guide to Data and File Formats

网络有不同的部分,例如 DMZ、公共、私有、堡垒等。这实际上取决于您的组织和网络要求。在部署应用程序时,任何应用程序,我们都需要考虑类型以及它是否需要位于网络的特定部分。

阅读更多...

我如何知道我的MinIO集群复制是最新的?

The Architect’s Guide to Data and File Formats

客户可以在任何需要快速、弹性、可扩展对象存储的地方运行 MinIO。MinIO 包括多种类型的复制,以确保每个应用程序都使用最新的数据,无论它在哪里运行。在之前有关批量复制、站点复制和存储桶复制的文章中,我们详细介绍了各种可用的复制选项及其最佳实践。

阅读更多...

AI 的未来是开源的

The Architect’s Guide to Data and File Formats

想象一下,在未来,人工智能不会被锁在公司的金库里,而是由全球创新者社区一砖一瓦地在开放中构建的。协作,而不是竞争,推动进步,道德考虑与原始绩效同等重要。这不是科幻小说,而是人工智能发展核心正在酝酿的开源革命。

阅读更多...

调试 MinIO 安装

The Architect’s Guide to Data and File Formats

MinIO 部署形式多样。我们支持在任意版本的 Linux 上进行裸金属安装,支持在任何版本的 Kubernetes(包括 Red Hat OpenShift)上进行容器化安装,还支持在大大小小的环境中部署单个轻量级二进制文件。

阅读更多...

复制策略深入探讨

The Architect’s Guide to Data and File Formats

在之前的博客中,我们讨论了复制最佳实践和不同类型的复制,例如批量、站点和存储桶。但是,随着所有这些不同类型的复制类型的出现,人们不得不想知道在哪里使用哪种复制策略?

阅读更多...

使用GitOps自动化推动AI/ML工作流程

The Architect’s Guide to Data and File Formats

作为一名深耕自动化和人工智能领域的开发人员,我们逐渐认识到尖端工具和方法之间的显着协同作用,这些协同作用突破了可能性的界限。在这次探索中,我们想分享一个概念,它不仅彻底改变了我们的软件开发和基础设施管理方法,而且还打开了无尽创新的大门:GitOps。

阅读更多...

MinIO 突破了Boundary

The Architect’s Guide to Data and File Formats

随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据,有时他们需要以“老派”的方式做一些事情,因为根本没有其他方法。其中之一是堡垒主机。

阅读更多...

停止向供应商提供您的数据

The Architect’s Guide to Data and File Formats

组织管理其数据基础设施的方式正在发生重大转变。越来越多的公司认识到存储和计算分离的优势,从而获得更好的性能、成本节约和可扩展性。这一趋势是由 AI 和 ML 工作负载日益复杂所推动的,这些工作负载需要灵活、高性能的系统

阅读更多...

从 HDFS 迁移到 MinIO 企业对象存储

The Architect’s Guide to Data and File Formats

云原生、面向 Kubernetes 、基于微服务的架构推动了对 MinIO 等网络存储的需求。在云原生环境中,对象存储的优势很多 - 它允许独立于存储硬件对计算硬件进行弹性扩展。它使应用程序无状态,因为状态是通过网络存储的,并且通过降低操作复杂性,使应用程序能够实现比以往更高的规模

阅读更多...

MinIO 学习订阅服务

The Architect’s Guide to Data and File Formats

MinIO 的入门非常简单 — 只需几个简单的命令和一个 100 MB 的小二进制文件,您就可以立即启动并运行一个功能性开发环境。但是,为了在生产规模上利用 MinIO 的全部功能,我们鼓励专业人士更多地了解 MinIO 的广泛功能

阅读更多...

复制、数据整合和数据迁移

The Architect’s Guide to Data and File Formats

Parsec Labs 是一家工程师公司。大多数人都设计了存储系统,负责备份和复制,或者从事网络构建交换机的工作。其 Unified Data Mobility and Protection Appliance 成立于 2013 年,为大规模迁移、复制和备份数据提供了最直接的工具。

阅读更多...

充分利用 AIStor 的网络配置

The Architect’s Guide to Data and File Formats

AIStor 可以以分布式方式部署,从而有效利用多个物理机或虚拟机的计算和存储资源。这可以是在私有云或公共云环境中运行的 AIStor,例如使用 Amazon Web Services、Google Cloud Platform、Microsoft 的 Azure 平台等

阅读更多...

AIStor 更新和重启最佳做法

The Architect’s Guide to Data and File Formats

在现代世界中,保持系统运行不仅仅是赌注 - 它是没有商量余地的。当涉及到软件更新及其对您的系统意味着什么时 - 嗯,这要复杂得多。一方面,安全性是当今更新的主要驱动力,这也是没有商量余地的。需要尽快在所有系统中实施补丁,以保持最强的安全性

阅读更多...

AWS re:Invent 的创新技术

The Architect’s Guide to Data and File Formats

本月早些时候,Amazon 于 12 月 1 日至 5 日在内华达州拉斯维加斯举行了为期 5 天的 re:Invent 大会。如果您从未参加过 re:Invent 会议,那么最能描述它的词是“巨大”——不仅从与会者人数(60,000 人)来看,还从涵盖的主题的广度来看

阅读更多...

关于 ROSA 的 AIStor

The Architect’s Guide to Data and File Formats

AIStor 是高性能、可互操作的云原生对象存储的先驱,具有多功能性和敏捷性。AIStor 可在无数平台上运行,例如 Kubernetes、AWS、GCP、Azure、裸机 Linux 和许多其他环境。最近,业内出现了一种趋势,即让数据“更贴近”家庭

阅读更多...

为 AIStor 部署选择最佳硬件

The Architect’s Guide to Data and File Formats

事实是,AIStor 没有最佳的硬件配置。我们的客户根据其使用案例和要求选择硬件。如果 AIStor 有一个最佳硬件配置,那么我们会在设备上销售 AIStor,但这将剥夺您为工作选择最佳硬件的自由,并将您锁定在特定的外形规格中。

阅读更多...

介绍 MinLZ 压缩算法

The Architect’s Guide to Data and File Formats

存在不同类型的压缩算法和非常好的实现。在 MinIO,我们已经使用了 Snappy 的增强版本,它一直为我们服务良好。但随着时间的推移,我们发现了一些可能的改进,可以更好地对压缩数据进行编码

阅读更多...

AIStor 与 NVIDIA NIM™ 集成

The Architect’s Guide to Data and File Formats

基于 AIStor 强大的 AI 功能,MinIO 的 PromptObject 使用户能够通过自然语言查询与他们的数据进行交互,如此处所述。PromptObject 允许用户使用自然语言询问有关其数据内容的问题并提取信息,从而改变了用户与存储对象的交互方式,无需编写复杂的查询或代码

阅读更多...

MinIO AIStor: 利用英伟达™(NVIDIA®)BlueField-3 DPU 率先开发

The Architect’s Guide to Data and File Formats

Arm 架构正在彻底改变超大规模云,这得益于其总拥有成本 (TCO) 优势(更低的功耗和更低的冷却要求),从而实现了可持续的大规模高性能计算。AWS、Azure 和 GCP 等行业领导者正在采用 Arm 来驱动其用于 AI 训练的最新计算实例,利用其效率来满足数据密集型工作负载的需求

阅读更多...