使用MinIO了解大型银行的客户数据

介绍

文件管理是金融，电信，医疗，政府等各种受监管机构的核心要求。这些机构需要管理和保留数量不断增长的文档，而监管准则通常要求将这些文档存储很长的时间（7-10年）。

以KYC（了解您的客户）文档为例。与金融机构建立关系的任何人都需要提供KYC文件。只要存在这种关系，这些文件就会保存在机构中，甚至超过几年。

传统的文档管理系统完全不再能够提供此类用例所需的规模，成本效率和可靠性。这触发了向现代云原生解决方案的迁移。

在本文档中，我们将面对传统文档管理解决方案的各种挑战，然后介绍一些我们的客户开发的下一代解决方案。

挑战性

封闭式整体

传统的文档管理系统是整体的，封闭的系统。这意味着IT团队无法利用新的范式，例如关注点分离（即微服务），API访问，分解存储和计算等。添加功能或扩展此类系统仅意味着要购买新许可证。

此外，这些系统被构建为黑盒，几乎没有扩展性。因此，IT团队必须解决这些工具，以实现其预期的工作流程。

有限的系统集成能力

传统的文档管理系统本质上是封闭的，几乎没有API集成即可插入外部系统或插入其他工具。这将导致供应商锁定，系统管理的文档数量越多，摆脱系统的难度就越大。

这与本机API与其他系统集成以通过工具和技术的组合来构建强大功能的现代方法正交。

可扩展性

典型的文档管理系统使用与文件系统结合的数据库。众所周知，数据库和文件系统都难以处理大数据量。随着文档数量的增长，底层数据库和文件系统中的可伸缩性挑战总是会出现。

解

文档本质上是具有不同格式和大小的非结构化Blob，非常适合诸如MinIO之类的对象存储平台。MinIO具有无缝的可扩展性，与主要的现代数据平台的API集成以实现搜索，审核日志和其他重要功能，因此非常适合。

在这里，我们提出了一种高度可扩展的方法来构建现代的云原生文档存储。

让我们仔细看一下架构，其组件及其相互作用：

• 前端：基于React，Angular，Vue或Svelte的基于JS的现代框架为构建此类企业应用程序的前端提供了一个很好的起点。由于所有这些框架都是由API驱动的，因此很容易将它们与后端专用应用程序（例如身份和访问管理，数据库，对象存储）集成在一起。
  

• 文本/元数据搜索： 文档管理系统的一项关键要求是允许在整个文档目录中搜索特定的文档。该搜索可以基于文档元数据（如所有者名称，所有者ID，文档类型等），甚至基于文档本身的内容。无论哪种方式，任何文档元数据都可以发送到文本搜索工具，如MeiliSearch，Elastic。
  
  本质上，可以将MinIO配置为向文本搜索平台发送事件通知（带有对象元数据）。这样，搜索平台便具有所有文档元数据以及MinIO中指向实际文档的链接。然后，前端可以向用户发送文本查询平台查询并获取相关文档。
  
  除了简单的文本搜索之外，MinIO的对象数据和元数据还可以馈送到机器学习管道，如本博文所述。这不仅为分析和理解元数据提供了机会，而且还为分析和理解实际文档提供了机会，从而为团队提供了业务洞察力以供利用。
  

• Webhook：客户文档是安全的私有对象，对于合规性或审核团队来说，确保维护文档的详细审核日志非常重要。
  
  MinIO可以与各种目标系统集成以发送审计日志。MinIO Webhook集成允许与支持Webhooks的任何平台无缝集成，同时消除消息队列类型系统的依赖性。
  
  此外，MinIO可以确保在远程Webook目标离线时错过的事件在目标重新联机时稍后传送。等待交付的事件安全地存储在MinIO上，确保审核日志不会丢失任何条目。

• 对象存储：这是整个系统的基础。它为文档（及其多个版本），相关元数据，用户访问策略以及其他信息提供可扩展的持久性存储。与通用或旧式解决方案相比，MinIO对象存储具有几个独特的优势：

• 基于ILM的分层和归档：生命周期管理功能允许将数据从一个存储层自动移动到另一存储层（例如，从热/热到归档），甚至在不再需要某些对象后使它们过期。这使IT团队可以确保仅将经常访问的文档保留在快速层中，而将其他不经常访问的文档移至归档层，这可能使用具有成本效益的硬件实现几乎无限的存储。

• 主动-主动复制：高可用性和防止数据丢失对于文档管理系统至关重要。MinIO主动-主动复制在这里很方便。用户可以配置MinIO群集以将对象复制到远程MinIO群集。这意味着IT团队可以利用2 DC方法来确保数据完全免受DC故障的影响。

• Cohasset认证的对象锁定和对象保留：MinIO对象保留和锁定功能已通过Cohasset认证。这意味着IT团队可以确定MinIO软件是否向适当的监管机构投诉。

• 文档版本：MinIO对象版本控制允许无缝存储文档的多个版本。这非常适合现实情况，在这种情况下，由于旧版本中的问题，客户可能需要提供新文档。