华为云AI开发平台ModelArts训练容错检查_云淘科技
用户在训练模型过程中，存在因硬件故障而产生的训练失败场景。针对硬件故障场景，ModelArts提供容错检查功能，帮助用户隔离故障节点，优化用户训练体验。 容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一…
华为云AI开发平台ModelArts训练模式选择_云淘科技
针对MindSpore类引擎，ModelArts提供训练模式选择，支持用户根据实际场景获取不同的诊断信息。 在训练作业创建页面，支持普通模式、高性能模式和故障诊断模式，默认设置为普通模式。普通模式的调测信息可参考查看训练日志。 针对于新增的…
华为云AI开发平台ModelArts断点续训练和增量训练_云淘科技
什么是断点续训练和增量训练 断点续训练是指因为某些原因（例如容错重启、资源抢占、作业卡死等）导致训练作业还未完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 增量训练是指增加新的训练数…
华为云AI开发平台ModelArts模型开发简介_云淘科技
AI模型开发的过程，称之为Modeling，一般包含两个阶段： 开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，…
华为云AI开发平台ModelArts查看训练作业详情_云淘科技
登录ModelArts管理控制台。 在左侧导航栏中，选择“训练管理 > 训练作业”，进入“训练作业”列表。 在“训练作业”列表中，单击作业名称，进入训练作业详情页 在训练作业详情页的左侧，可以查看此次训练作业的基本信息和算法配置的相关…
华为云AI开发平台ModelArts多机多卡数据并行-DistributedDataParallel(DDP)_云淘科技
本章节介绍基于Pytorch引擎的多机多卡数据并行训练。 训练流程简述 相比于DP，DDP能够启动多进程进行运算，从而大幅度提升计算资源的利用率。可以基于torch.distributed实现真正的分布式计算，具体的原理此处不再赘述。大致的…
华为云AI开发平台ModelArts可视化训练作业介绍_云淘科技
ModelArts支持在新版开发环境中开启TensorBoard和MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 ModelArts可视化作业支持…
华为云AI开发平台ModelArtsAscend场景日志说明_云淘科技
Ascend场景日志说明 使用Ascend资源运行训练作业时，会产生Ascend相关日志。Ascend训练场景下会生成device日志、plog日志、proc log单卡训练日志、MindSpore日志、普通日志。 其中，Ascend训练场…
华为云AI开发平台ModelArts分布式训练完整代码示例_云淘科技
以下对resnet18在cifar10数据集上的分类任务，给出了分布式训练改造(DDP)的完整代码示例。 训练启动文件main.py内容如下（若需要执行单机单卡训练任务，则将分布式改造的代码删除）： import datetime impo…
华为云AI开发平台ModelArts如何查看训练作业日志_云淘科技
在训练作业详情页，训练日志窗口提供日志预览、日志下载、日志中搜索关键字、系统日志过滤能力。 预览 系统日志窗口提供训练日志预览功能，并支持查看不同计算节点日志，您可以通过右侧下拉框选择目标节点预览。 图1 查看不同计算节日志 当日志文件过大…
