华为云AI开发平台ModelArts可视化训练作业介绍_云淘科技
ModelArts支持在新版开发环境中开启TensorBoard和MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 ModelArts可视化作业支持…
华为云AI开发平台ModelArtsAscend场景日志说明_云淘科技
Ascend场景日志说明 使用Ascend资源运行训练作业时，会产生Ascend相关日志。Ascend训练场景下会生成device日志、plog日志、proc log单卡训练日志、MindSpore日志、普通日志。 其中，Ascend训练场…
华为云AI开发平台ModelArts分布式训练完整代码示例_云淘科技
以下对resnet18在cifar10数据集上的分类任务，给出了分布式训练改造(DDP)的完整代码示例。 训练启动文件main.py内容如下（若需要执行单机单卡训练任务，则将分布式改造的代码删除）： import datetime impo…
华为云AI开发平台ModelArts如何查看训练作业日志_云淘科技
在训练作业详情页，训练日志窗口提供日志预览、日志下载、日志中搜索关键字、系统日志过滤能力。 预览 系统日志窗口提供训练日志预览功能，并支持查看不同计算节点日志，您可以通过右侧下拉框选择目标节点预览。 图1 查看不同计算节日志 当日志文件过大…
华为云AI开发平台ModelArts基于训练作业启动PyTorch DDP训练示例_云淘科技
本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例： 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过torch….
华为云AI开发平台ModelArts如何通过训练日志定位问题_云淘科技
在ModelArts中训练作业遇到问题时，可首先查看日志，多数场景下的问题可以通过日志报错信息直接定位。 ModelArts提供了训练作业失败定位与分析功能，如果训练作业运行失败，ModelArts会自动识别导致作业失败的原因，在训练日志界…
华为云AI开发平台ModelArts基于训练作业启动PyTorch DDP on Ascend加速卡训练示例_云淘科技
本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时，需要配置如下参数。 表1 创建训练作业的配置说明…
华为云AI开发平台ModelArts什么是训练作业日志_云淘科技
训练日志定义 训练日志用于记录训练作业运行过程和异常信息，为快速定位作业运行中出现的问题提供详细信息。用户代码中的标准输出、标准错误信息会在训练日志中呈现。在ModelArts中训练作业遇到问题时，可首先查看日志，多数场景下的问题可以通过日…
华为云AI开发平台ModelArts开发自定义脚本_云淘科技
当您使用预置框架创建算法时，您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时，您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数和训练输出路径参数。这四种输入…
华为云AI开发平台ModelArts查看训练作业资源利用率_云淘科技
如何查看训练作业资源使用详情 用户可以通过资源占用情况窗口查看计算节点的资源使用情况，最多可显示最近三天的数据。在资源占用情况窗口打开时，会定期向后台获取最新的资源使用率数据并刷新。 操作一：如果训练作业使用多个计算节点，可以通过实例名称的…
