华为云AI开发平台ModelArtsMindSpore日志提示“ retCode=0x91, [the model stream execute failed]”_云淘科技

问题现象

使用mindspore进行训练时,出现如下报错:

[ERROR] RUNTIME(3002)model execute error, retCode=0x91, [the model stream execute failed]

原因分析

出现该问题的可能原因如下:

数据读入的速度跟不上模型迭代的速度。

处理方法

减少预处理shuffle操作。

dataset = dataset.shuffle(buffer_size=x)

关闭数据预处理开关,可能会影响性能。

NPURunConfig(enable_data_pre_proc=Flase)

建议与总结

在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。

直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。

父主题: 云上迁移适配故障

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家