ModelArts提供了如下能力：

丰富的官方预置镜像，满足用户的需求。
支持基于预置镜像自定义制作专属开发环境，并保存使用。
丰富的教程，帮助用户快速适配分布式训练，使用分布式训练极大减少训练时间。
分布式训练调测的能力，可在PyCharm/VSCode/JupyterLab等开发工具中调试分布式训练。

约束限制

开发环境指的是ModelArts提供的新版Notebook，不包括旧版Notebook。
总览页面打开的CodeLab不支持此项功能，但是如果用户在AI Hub中打开了可用的案例，会自动跳转到CodeLab中，此时是可以使用这项功能的。
如果切换了Notebook的规格，那么只能在Notebook进行单机调测，不能进行分布式调测，也不能提交远程训练任务。
当前仅支持Pytorch和MindSpore AI框架，如果MindSpore要进行多机分布式训练调试，则每台机器上都必须有8张卡。
本文档提供的调测代码中涉及到的OBS路径，请用户替换为自己的实际OBS路径。
本文档提供的调测代码是以Pytorch为例编写的，不同的AI框架之间，整体流程是完全相同的，只需要修改个别的参数即可。

相关章节

单机多卡数据并行-DataParallel(DP)：介绍单机多卡数据并行分布式训练原理和代码改造点。
多机多卡数据并行-DistributedDataParallel(DDP)：介绍多机多卡数据并行分布式训练原理和代码改造点。
分布式调测适配及代码示例：提供了分布式训练调测具体的代码适配操作过程和代码示例。
分布式训练完整代码示例：针对Resnet18在cifar10数据集上的分类任务，给出了分布式训练改造(DDP)的完整代码示例，供用户学习参考。
基于开发环境使用SDK调测训练作业：介绍如何在ModelArts的开发环境中，使用SDK调测单机和多机分布式训练作业。

父主题： 分布式训练

同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家