使用 MinIO 和 CloudFabrix 重新思考可观察性

虽然数据的总体增长轨迹非同寻常，但真正引人注目的是日志文件的增长。作为数字企业的心跳，这些文件包含大量的情报——涵盖从安全到客户行为再到运营绩效的惊人范围。

然而，日志文件的增长给企业带来了特殊的挑战。它们本身不是“可读的”，它们需要机器智能。它们个体很小，但总的来说很大——随着时间的推移，大型组织的 PB 达到了 10 或 100。它们在整个组织中分布不均——通常存储在特定领域的可观察性应用层中。

反过来，企业希望简化这些挑战——同时保留完整的保真副本，启用新兴边缘并通过丰富日志文件和修剪不需要或不必要的字段来优化这些日志文件。

这些努力需要两种不同但高度互补的技术——日志智能和现代对象存储。这篇文章介绍了 MinIO 和 CloudFabrix 如何合作解决这一挑战。

CloudFabrix是以数据为中心的 AIOps 平台领域的先驱。他们发明了（正在申请专利）机器人数据自动化架构平台 (RDAF)。RDAF 为运营和分析系统提供集成、丰富和可操作的数据管道。RDAF 统一了操作系统的可观察性、AIOps 和自动化，并丰富了分析系统。这里的概念是创建可操作的情报，以做出更快更好的决策并加速 IT 规划和自主运营。

日志智能的当前挑战

通常的做法是收集和分析日志以使系统可观察，因为日志文件包含从全栈警报到事件的大部分数据。现有的日志智能解决方案有将数据湖变成数据沼泽的趋势。这些解决方案吸收重复和冗余的数据。更多的数据增加了复杂性、计算和存储成本——推动 TCO 更高（主要通过许可——想想 Splunk 索引器）。结果是平均识别时间 (MTTI) 和平均解决时间 (MTTR) 受到影响。

一种不同的方法

构建下一代日志智能服务服务于许多不同的目的。它实现了日志保留的网络安全要求。它可以通过优化安全事件和事件管理 (SIEM) 来防止安全漏洞。它还可以推动预测性业务分析、事件响应、云自动化和编排工作负载。

要解决数据沼泽问题，需要三件事：

1. 以自动化方式摄取流数据的能力

2. 可以聚合、转换、丰富、搜索、关联、路由和可视化数据的可观察性管道

3. 基于对象存储的高性能数据湖

CloudFabrix 解决方案的核心是机器人数据自动化结构 (RDAF)。RDAF 使用低代码工作流和数据机器人（包括 AI/ML 机器人）简化了重复数据集成、准备和转换活动的自动化。这个想法是利用 RDAF 来简化和加速 AIOps 的实施，降低成本并通过预构建的任何对任何集成（数据、应用程序、连接器）使流程民主化。机器人数据自动化平台允许使用推/拉/批处理机制来摄取数据。

一旦摄取，RDAF 可观察性管道就可以同时聚合、转换、丰富、搜索、关联、路由和可视化到不同的目的地。

虽然支持多个目的地，但其中一个目的地始终是 MinIO。MinIO 存储所有流数据的完整保真副本。存储在 MinIO 中的数据带有 UTC 时间戳，可以按需重播以满足任何安全或合规需求。此外，还可以使用通用搜索机器人搜索数据。

该解决方案是预先集成的，事实上，CloudFabrix 使用 MinIO 开发了它。

用例和工作负载

联合解决方案支持以下用例 -

• 日志摄取- 自带日志工具 (BYOL) 并以拉/推/批处理模式摄取数据

• 日志缩减和重放——使用关联技术最多可减少 40-80% 的日志量，并使用 UTC 时间戳、IP 地址和您选择的流的特定模式进行重放

• 日志路由——聚合日志、规范化、转换、丰富和路由到多个位置——数据湖、日志存储、分析平台、可组合仪表板等

• 日志丰富——使用来自 Infoblox 的 Geo-IP 或 DNS 查找、CVE（常见漏洞和暴露）源、TIP（威胁情报平台）源来丰富日志

• 日志预测分析——将日志转换为指标并使用大量回归模型进行异常检测

• Edge IoT，就地搜索- 可组合搜索通过仅收集和存储有价值的内容作为可观察性数据湖中的全保真副本来补充日志智能。这允许根据需要对安全漏洞和合规性需求进行就地搜索
  

回报

通过对日志智能采取明智的方法，企业可以为其较大的 IT 支出项目之一节省材料。这些将发生在多个领域，具体而言：

• 只需使用相关技术减少日志量，即可在不损失保真度的情况下减少多达 40% 的日志量。

• 通过在边缘和动态中使用可组合的就地搜索，将边缘到云的带宽和存储成本降低多达 80%。

• SEIM 许可成本最多可降低 40%，如下所示，并节省了 1 年的 TCO
  
  

• 优化摄取

• 流数据的推/拉安全摄取和静态数据的批量摄取优化了计算、网络和存储利用率
  

最终目标是加深对客户的洞察并提高业务成果，同时改进 MTTI 和 MMTR。这反过来又解决了各种合规性问题（PII 屏蔽、GDPR 治理、CCPA 要求）并增强了数据移入云环境的方式。

入门

入门非常简单，因为机器人数据自动化平台是基于微服务的，可以作为托管服务部署在 AWS 中，数据路径在本地或客户 VPC 或完全在本地。SaaS解决方案是自助式的，AWS 市场实例是托管的。它将与 MinIO AWS 市场实例一起使用。

与往常一样，如果您想在本地试用MinIO，可以在这里找到它。

集成的好处之一是它是一种轻便的提升。POC 可以使用不同的数据源进行，如 JSON、文件、Syslog (TCP/UDP)、Rsyslog、Fluentd、Filebeat、Webhook、开放遥测和云工具以及广泛的目标，如 SIEM、运营智能和视觉决策板。

检查一下，让我们知道您的想法。我们一直渴望获得有关此工作负载的反馈——它产生大量需要大规模性能的数据——使其成为我们的完美工作负载。