华为云AI开发平台ModelArts训练业务昇腾迁移通用指导_云淘科技
简介 昇腾迁移快速入门案例 环境准备 训练业务代码适配昇腾PyTorch代码适配 Pytorch迁移精度调优 PyTorch迁移性能调优 训练网络迁移总结 常见问题 父主题: 昇腾应用教程 同意关联代理商云淘科技,购买华为云产品更优惠(QQ…
共4项
简介 昇腾迁移快速入门案例 环境准备 训练业务代码适配昇腾PyTorch代码适配 Pytorch迁移精度调优 PyTorch迁移性能调优 训练网络迁移总结 常见问题 父主题: 昇腾应用教程 同意关联代理商云淘科技,购买华为云产品更优惠(QQ…
前提条件 要迁移的训练任务代码在GPU上多次训练稳定可收敛。训练业务代码和数据,应该确保在GPU环境中能够运行,并且训练任务有稳定的收敛效果。 本文只针对基于PyTorch的训练脚本迁移。这里假设用户使用的是基于PyTorch的训练代码进行…
基于Pytorch Adapter完成代码迁移适配后,用户需要进一步验证精度是否达标。迁移过程精度偏差的来源,一方面是昇腾设备部分算子的实现和CUDA算子有差异,另外一方面则是硬件方面的差异,如Ascend Snt9芯片上的Matmul和C…
确保算法在GPU训练时,持续稳定可收敛。避免在迁移过程中排查可能的算法问题,并且要有好的对比标杆。如果是NPU上全新开发的网络参考Pytorch迁移精度调优,排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别,有助于在迁移过程中问…