On-Prem Iceberg 案例： 成本、控制和性能

随着企业数据计划的扩展，许多企业发现云湖屋并不总是性能、合规性或成本的最佳选择。而这正是本地部署 Iceberg 架构的优势所在。在本篇博文中，我们将探讨云部署面临的关键挑战、将工作负载迁移至本地部署的案例，以及像癌症研究中心和野村证券这样的企业如何通过混合部署和本地部署 Iceberg 数据湖屋取得成功。

云挑战：成本与控制

让我们以现实为基础。在数百次企业对话中，谈到基于云的数据湖时，有两个问题始终是首要关注点：成本和控制。

云定价，尤其是在规模化的情况下，很少透明，也从不宽容。您需要为存储、API 调用、出口流量和复制付费；每一项都会悄悄地增加您的月度账单。添加一些用心良苦却又冗余的备份、基于区域的合规性以及孤立的团队环境，可能会导致基础设施进一步扩张，甚至导致云账单金额暴增。在 100TB 时可行的方案，到了 10PB 时就变得难以为继了。

控制是另一个不容忽视的问题。出于合规性和治理方面的考虑，一些最敏感的数据，例如病历、财务交易和专有模型，必须保留在本地。单靠加密是不够的。您需要真正的隔离、对象级访问控制和完全的可审计性。这些并非边缘情况，而是企业运营的核心。

为什么本地部署有意义

本地部署不再是一种权衡。它提供了所有方面的最佳选择：规模、性能、控制和成本效益。

借助现代化的软件定义对象存储，企业可以在几分钟内将 Iceberg Lakehouse 部署到任何地方，从笔记本电脑到大型数据中心。这是因为规模是双向的，软件定义存储可以并且应该根据工作负载进行定制。采用企业对象存储的企业可以线性且可预测地扩展，并升级其基础架构，而无需从头开始。“互换和删除”升级模型意味着您的架构可以跟上新技术和不断发展的工作负载。

其性能不言而喻。AIStor 提供超过 2.2 TiB/s 的吞吐量，最高可达 400GbE 网络，支持 12 个节点到 550 个节点。这并非空想，而是经过验证的。从训练 LLM 到提供分析仪表板，实际的 Iceberg 工作负载已经受益于这种性能水平。

从安全角度来看，本地部署意味着完全的数据主权。您可以控制硬件，定义命名空间边界，并设置策略，直至单个对象，以控制谁可以访问什么、何时访问以及如何访问。

从成本角度来看，两者简直天壤之别。没有出口流量费用，没有意外的 API 账单，只有简单的基础设施和可预测的 TCO，并且随着规模的扩大而不断优化。在 5,000 TB（或 5 PB）左右有一个明显的拐点， 此时云成本远远超过本地热数据的成本。这包括硬件、订阅和托管费用。正如您所见，当数据达到 20 或 30 PB 时，每年的成本增量高达数百万美元，而这还只是存储层的成本。

标准功率性能

本地性能的一个强大推动因素是 S3 over RDMA。

RDMA 消除了 TCP/IP 堆栈的开销，允许内存到内存的传输，并完全绕过 CPU。借助 400GbE 或 800GbE 网络，您的存储可以以 TB 级速度移动数据，使其成为 Iceberg 大规模元数据操作或需要低延迟访问的机器学习管道的理想选择。

这不仅仅关乎速度，更关乎标准。正如 AIStor 紧密遵循 S3 API 并支持 Iceberg、Hudi 和 Delta Lake 等开放表格式一样，我们将以太网上的 RDMA 视为下一代数据基础设施的开放基础。多供应商、云原生且面向未来的解决方案（例如 S3 over RDMA）使供应商能够专注于为客户提供创新解决方案，而不是重复劳动。标准使企业能够聘用具有广泛市场需求技能的员工，而不是保留利基或专有技能。

现实世界的架构

以世界上最大的私人癌症中心为例。他们运营着一个本地部署的 Iceberg 数据湖，用于支持癌症研究。他们的数据湖采集从基因组文件到临床试验元数据的所有内容。以前，数据需要数周或数月才能到达研究人员手中。现在只需几分钟或几小时。不再需要 ETL 管道。不再需要离线数据孤岛。只需快速、可靠地访问最新数据集。

或者以野村证券 (Nomura) 为例，它采用了混合方法。一些极其敏感的数据使用 AIStor 本地存储，而不太重要的工作负载则使用云端的 S3。一切都通过 Kubernetes 进行编排，并通过 Spark、Dremio 和 Jupyter 等工具以及 CI/CD 工具和流水线提供服务，从而保持平台的敏捷性和开发人员友好性。

这些不是演示。这些是解决 PB 级实际问题的生产部署。

价值实现时间和总体拥有成本

本地部署 Iceberg 方案最容易被低估的优势之一是其快速交付价值的能力。在受访客户中，36% 表示在三个月内就看到了价值，一半的客户在一年内就获得了回报。其余客户在接受调查时仍在实施中，但我们预计他们也能取得类似甚至更佳的成果。

这种速度之所以能够实现，是因为其构建模块非常简单：标准 2U 服务器、NVMe 硬盘、256GB RAM 和高速网卡。结合软件定义对象存储和 Iceberg 等开放格式，您将获得一个快速部署且易于扩展的架构。Iceberg 允许您选择部署模型：如果您重视控制，则选择本地部署；如果您需要弹性，则选择云部署；如果您同时需要两者，则选择混合部署。

有了 AIStor 和 Iceberg，您不仅仅是购买软件；您还可以构建一个反映您的优先事项的数据平台：性能、治理和成本效益。

PB 已经超越了 TB。是时候进行相应的架构设计了。