努力替代CUDA!摩尔线程Torch
作者:休闲 来源:娱乐 浏览: 【大 中 小】 发布时间:2024-12-23 18:34:41 评论数:
10月31日消息,努力摩尔线程宣布,替代针对PyTorch深度学习框架的线程MUSA插件“Torch-MUSA”,迎来重大更新新版本v1.3.0,努力全面兼容PyTorch 2.2.0。替代
新版进一步提升了PyTorch在摩尔线程GPU MUSA架构上的线程模型性能与覆盖度,能更友好地支持模型迁移到摩尔线程GPU。努力
PyTorch是替代全球广泛使用的深度学习框架,在自然语言处理、线程计算机视觉、努力推荐系统等多个领域展现出了强大的替代应用能力。
摩尔线程Torch-MUSA专为PyTorch提供MUSA后端加速支持,线程使得用户能够在MUSA架构上流畅运行深度学习模型,努力充分发挥国产全功能GPU的替代强大计算能力。
自发布以来,线程Torch-MUSA已历经多个版本的迭代,不断提升兼容性与性能。
Torch-MUSA v1.0.0版本开始,率先支持了PyTorch 2.0,带来了显著的计算加速和易用性。
经过持续的开发与优化,最新发布的v1.3.0版本已全面支持PyTorch 2.2.0,极大提升了模型训练与推理的效率,满足了更多高性能深度学习任务的需求。
目前,Torch-MUSA已完全开源,开发者可通过访问GitHub获取源代码。
摩尔线程鼓励开发者积极参与该项目的开发与改进,通过提交问题报告(issue)或代码修改申请(pull request)等方式,共同促进Torch-MUSA以及MUSA软件生态的持续进步和发展。
▼ Torch-MUSA开源地址:
https://github.com/MooreThreads/torch_musa
▼ 功能特性
在Torch-MUSA中,用户只需指定torch.device("musa"),即可轻松将现有的PyTorch模型迁移到MUSA架构的GPU上运行,无需大幅修改代码。
Torch-MUSA完全兼容PyTorch的自动微分和动态图机制,支持多种常用的神经网络模块及优化算法,并加速了关键深度学习算子的计算。
此外,Torch-MUSA还支持多种PyTorch特性,包括DDP、JIT、FSDP、Profiler、Extension等。
▼ 版本迭代
v1.1.0:
初次发布,支持PyTorch 2.0,提供基础张量操作和常见神经网络层的MUSA加速。
v1.2.0:
进一步扩展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA专有特性如compare_tool、musa_converter,帮助用户更快的定位模型精度问题。
v1.3.0:
支持PyTorch2.2.0,性能进一步提升,支持FSDP,支持更复杂的模型和更大规模的数据处理。
▼ 未来计划
Torch-MUSA将继续跟进PyTorch的版本更新,计划支持更高版本的PyTorch。