华为云AI开发平台ModelArts迁移评估_云淘科技
推理迁移包括模型迁移、业务迁移、精度性能调优等环节，是否能满足最终的迁移效果需要进行系统的评估。如果您仅需要了解迁移过程，可以先按照本文档的指导进行操作并熟悉迁移流程。如果您有实际的项目需要迁移，建议填写附录中的推理业务迁移评估表，并将该调…
华为云AI开发平台ModelArts性能调优总体原则和思路_云淘科技
PyTorch在昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Python与C++调用CANN层接口Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替…
华为云AI开发平台ModelArts精度问题处理_云淘科技
设置高精度并重新转换模型 在转换模型时，默认采用的精度模式是fp16，如果转换得到的模型和标杆数据的精度差异比较大，可以使用fp32精度模式提升模型的精度（这块无需全换成fp32，fp32相对于fp16性能较差，所以一般检测出来哪个模型精度…
华为云AI开发平台ModelArts训练profiling工具使用_云淘科技
五板斧操作之后，如果性能仍然不满足要求，便需要通过profiling工具采集性能数据，基于数据分析是哪个环节、哪个算子导致的性能消耗，进而做性能优化。 目前有两种方式采集训练profiling数据：Ascend PyTorch Profil…
华为云AI开发平台ModelArts创建训练任务_云淘科技
针对专属池场景，应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如未完成，请参考使用委托授权。针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选…
华为云AI开发平台ModelArts如何保证训练和调试时文件路径保持一致_云淘科技
云上挂载路径 Notebook中挂载SFS后，SFS默认在“/home/ma-user/work”路径下。在创建训练作业时，可在云上挂载路径中“/home/ma-user/work”，使得训练环境下SFS也在“/home/ma-user/w…
华为云AI开发平台ModelArts动态shape_云淘科技
在某些推理场景中，模型输入的shape可能是不固定的，因此需要支持用户指定模型的动态shape，并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题，因为CPU算子支持动态shape；而在Ascend场…
华为云AI开发平台ModelArts优化算子下发_云淘科技
当发现NPU上有大量相邻算子之间有时间间隙出现时，代表算子下发的速度太慢导致NPU空等，NPU算力没有充分发挥，如下图所示。 图1 算子之间的时间间隙 优化该场景有三个思路： 加速算子下发。常用的优化方法有进程绑核（详见性能调优五板斧）、启…
华为云AI开发平台ModelArts上传算法至SFS_云淘科技
下载Swin-Transformer代码。 git clone –recursive https://github.com/microsoft/Swin-Transformer.git 修改lr_scheduler.py文件，把第27行：…
华为云AI开发平台ModelArts优化算子执行_云淘科技
优化算子执行有两个思路： 减少不必要的算子执行。比如减少不必要的格式转换算子和存储转连续算子。 加速慢算子的执行速度。遇到此类问题，尝试基于AOE调优（详见性能调优五板斧）或者联系华为工程师分析处理。 图1 优化思路 减少不必要的算子执行 …
