使用亚马逊 S3 连接器为 PyTorch 和 MinIO 创建地图式数据集
在深入研究 Amazon 的 PyTorch S3 连接器之前,有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外,许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。
阅读更多...
在深入研究 Amazon 的 PyTorch S3 连接器之前,有必要介绍一下它要解决的问题。许多 AI 模型需要使用无法放入内存的数据进行训练。此外,许多为计算机视觉和生成式 AI 构建的真正有趣的模型使用的数据甚至无法容纳在单个服务器附带的磁盘驱动器上。
阅读更多...
我们以前已经说过,但值得重复一遍。云是一种运营模式,而不是物理位置。这就是为什么您会在公共云、私有云和边缘到处都能找到 MinIO 的原因
阅读更多...
AI 计划通常是许多希望从数据中提取价值的组织的首要任务。但是,在聘请高技能的 AI/ML 工程师之前,需要建立管理和优化数据的关键基础
阅读更多...
特斯拉最近宣布开源其特斯拉以太网传输协议 (TTPoE),这是一种尖端网络结构,专为 AI/ML 数据中心环境中的高速、低延迟数据传输而设计,从而掀起了波澜
阅读更多...
Dell 通常专注于文件管理器游戏,但他们涉足对象存储,并且有一个非常古老的产品 ECS。这是有道理的,它是磁带的升级版,不适合 HDFS 现代化或数据库工作负载等动态工作负载
阅读更多...
这篇文章于 2024 年 7 月 29 日首次出现在 The New Stack 上。人工智能正处于软件行业的完美风暴中,现在马克·扎克伯格 (Mark Zuckerberg) 正在呼吁开源 AI
阅读更多...
在现代数据湖中,目录是高效组织和查询数据的支柱。最近的新闻报道,包括 Databricks 收购 Tabular 和 Snowflake 开源 Polaris,都给目录带来了“它”的时刻
阅读更多...
随着银行、医疗保健、石油和天然气等关键行业的企业从云端遣返数据,有时他们需要以“老派”的方式做一些事情,因为根本没有其他方法。其中之一是堡垒主机。
阅读更多...
我之前写过关于现代数据湖参考架构的文章,解决了每个企业面临的挑战——更多的数据、老化的Hadoop工具(特别是HDFS)以及对RESTful API(S3)和性能的更大需求——但我想填补一些空白
阅读更多...
作为 MinIO 专注于 AI 集成的开发人员,我一直在探索如何将我们的工具无缝集成到现代 AI 架构中,以提高效率和可扩展性。
阅读更多...