阿里云对象存储新功能/规格:OSS Connector for AI/ML 助力 PyTorch 训练框架

35阅读
0评论
0点赞

全新发布的OSS Connector for AI/ML高性能客户端,专为PyTorch训练任务设计,可高效访问阿里云对象存储服务中的数据。该客户端兼容PyTorch DataLoader,支持构建Map-style和Iterable-style数据集,并内置预读和并发优化机制,显著提升数据处理效率。

高性能客户端助力 PyTorch 训练框架

适用客户

适用于使用 PyTorch 框架进行大规模模型训练的企业和个人开发者。

新增功能与规格

  • OSS Connector for AI/ML 是一个专为 PyTorch 训练任务设计的高性能客户端,能够高效访问阿里云对象存储服务(OSS)中的数据。
  • 该客户端与 PyTorch DataLoader 兼容,支持构建适用于随机访问和流式顺序访问的 Map-style dataset 和 Iterable-style dataset。
  • 训练数据可以直接从 OSS 读入系统内存,无需预先保存到本地文件系统,从而显著提升数据处理效率。
  • 内置预读和并发优化机制,充分发挥 OSS 的高吞吐量优势,避免传统 FUSE 客户端的性能瓶颈。

产品文档

查看详细

评论(0)
暂无评论,期待您的发言...
发表评论