针对专属池场景,应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台,检查当前账号是否已完成访问授权的配置。如未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选…
在某些推理场景中,模型输入的shape可能是不固定的,因此需要支持用户指定模型的动态shape,并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题,因为CPU算子支持动态shape;而在Ascend场…
性能调优总体原则和思路 性能调优五板斧 训练profiling工具使用 优化算子下发 优化算子执行 父主题: 训练业务昇腾迁移通用指导 同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851) 内容没看懂? 不太想学习?想快速…
ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 …
性能调优相对来说门槛较高,对PyTorch以及昇腾AI处理器的理解越深刻,越能发挥昇腾AI处理器的计算能力,从而提高训练性能。一般情况下,通过对PyTorch代码做profiling,从而基于数据分析,调整代码,尽可能发挥硬件能力,但在做p…
对于中小规模团队,管理员往往希望对ModelArts资源进行主导分配,全局控制,而对于普通开发者只需关注自己实例的生命周期控制。对于开发者帐号,一般不会具有te_admin的权限,相应的权限也需要主帐号进行统一配置。本章节以使用Notebo…
设置高精度并重新转换模型 在转换模型时,默认采用的精度模式是fp16,如果转换得到的模型和标杆数据的精度差异比较大,可以使用fp32精度模式提升模型的精度(这块无需全换成fp32,fp32相对于fp16性能较差,所以一般检测出来哪个模型精度…
PyTorch在昇腾AI处理器的加速实现方式是以算子为粒度进行调用(OP-based),即通过Python与C++调用CANN层接口Ascend Computing Language(AscendCL)调用一个或几个亲和算子组合的形式,代替…
此处介绍如何通过编写 Dockerfile 文件制作自定义镜像的操作步骤 。 目标:构建安装好如下软件的容器镜像,并使用 ModelArts 训练服务运行。 ubuntu-18.04 cann-6.3.RC2 (商用版本) python-3…
合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心…