遣返人工智能工作负载： 云计算成本飙升的内部解决方案

云曾经承诺无限的可扩展性、灵活性和效率。但随着生成式 AI 的兴起，许多组织正在以前所未有的云账单形式经历粗暴的觉醒。根据 Tangoe 最近的报告，由于 AI 的计算需求以及 GPU 和 TPU 使用成本的上升，近四分之三的企业发现他们的云账单“无法管理”。对于在 AI 驱动型世界中努力证明云费用合理的企业，有一种解决方案：将选定的 AI 工作负载遣返到本地基础设施。

遣返的理由

由于云提供商对高性能计算资源收取额外费用，因此在云中运行高级工作负载会很快导致费用飙升。根据我们的研究（我们稍后将预览），39% 的受访者非常担心或非常担心与在云中运行人工智能和/或机器学习工作负载相关的成本。遣返（将选定的工作负载从云迁移回本地基础设施）可能是解决这种日益增长的焦虑的解决方案，尤其是对于使用模式可变且不可预测的 AI 工作负载。通过将这些工作负载引入本地，拥有足够基础设施的公司可以避免隐藏的云成本，例如出口费用、存储检索费用和闲置资源费用，这些费用通常会让组织措手不及。此策略对于在商用或现成硬件上高效运行的软件特别有效。大多数 AI 应用程序（包括机器学习和数据处理工作流程）不需要定制的高端服务器或专用硬件，使其成为遣返的理想选择。利用商用硬件，公司能够以经济实惠的方式处理要求苛刻的 AI 工作负载，减少对云提供商高价基础设施的依赖，同时保持灵活性和对其环境的控制。

遣返 AI 工作负载的主要优势

1 . 成本可预测性和控制 在云中，基于消耗的计费模型使得预测成本变得困难。相比之下，本地基础设施提供固定成本模型，有可能随着时间的推移分摊硬件成本，从而实现更大的可预测性。我们发现，客户可以通过遣返节省 50% 的云成本。

2 . 增强的性能 高性能 GPU 和低延迟网络对于 AI 至关重要。通过在本地托管工作负载，公司可以更好地控制这些因素，确保 AI 模型能够尽可能高效地运行。由于对外部云网络的依赖较少，组织可以潜在地减少延迟并提高性能，这是实时 AI 应用程序的关键要素。

3 . 改进的数据安全性和治理 AI 和机器学习应用程序依赖于大量数据，这些数据通常具有敏感性。虽然云提供商提供了强大的安全措施，但将数据遣返到本地环境可以对数据治理提供更精细的控制。组织可以通过将信息保存在自己的防火墙内来实施更严格的访问控制并降低数据泄露的风险。

4 . 减少影子 IT 并加强问责制 将工作负载遣返有助于解决影子 IT 问题，即各部门独立启动云资源，从而增加意外成本。本地基础设施需要集中审批和监督，使组织更容易确保资源得到有效和透明的使用。

何时遣返：确定适合本地部署的最佳 AI 工作负载

并非所有 AI 工作负载都是遣返的理想候选项。需要大量计算能力的高优先级、实时或任务关键型应用程序通常非常适合本地基础设施。批处理和模型训练任务通常需要在设定的持续时间内使用高强度计算资源，在专用的本地环境中也往往表现良好。相反，动态或临时工作负载仍可能受益于云的灵活性。确定哪些工作负载最适合本地部署可以为组织节省大量时间和金钱，而不会牺牲性能或可扩展性。在考虑您的基础设施时，最好通过选择可在任何地方运行的软件来灵活地选择运行工作负载的环境。

对 AI 工作负载采用混合方法

遣返 AI 工作负载不是一个 “全有或全无” 的解决方案。融合了云和本地环境优势的混合策略是理想的选择，使公司能够在最有价值的地方利用每个选项的优势。通过在本地运行可预测的高强度 AI 工作负载并使用云执行更灵活的任务，组织可以优化成本和性能。