华为云AI开发平台ModelArts超过最大递归深度导致训练作业失败_云淘科技
问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练…
华为云AI开发平台ModelArts日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”_云淘科技
问题现象 使用pandas读取csv数据表时，日志报出如下错误导致训练作业失败： pandas.errors.ParserError: Error tokenizing data. C error: Expected 4 field 原因分…
华为云AI开发平台ModelArts使用预置算法训练时，训练失败，报“bndbox”错误_云淘科技
问题现象 使用预置算法创建训练作业，训练失败，日志中出现如下报错。 KeyError: ‘bndbox’ 原因分析 用于训练的数据集中，使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法：…
华为云AI开发平台ModelArts训练作业状态显示“审核作业初始化”_云淘科技
问题现象 当创建训练作业的“算法来源”选择“自定义”镜像创建训练作业时，训练作业状态显示审核作业初始化。 原因分析 自定义镜像首次运行时，需要先审核镜像，通过审核之后才可创建作业，即当前状态为审核作业初始化。 父主题： 业务代码问题 同意关…
华为云AI开发平台ModelArts训练作业失败，如何使用开发环境调试训练代码？_云淘科技
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VsCode）联接云上环境调试…
华为云AI开发平台ModelArts训练作业进程异常退出_云淘科技
问题现象 训练作业运行失败，日志中出现如下类似报错： [Modelarts Service Log]Training end with return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动…
华为云AI开发平台ModelArts日志提示“ ‘(slice(0, 13184, None), slice(None, None, None))’ is an invalid key”_云淘科技
问题现象 训练过程中出现如下报错： TypeError: ‘(slice(0, 13184, None), slice(None, None, None))’ is an invalid key 原因分析 出现该问题的可能原因如下： 切分数…
华为云AI开发平台ModelArts训练作业进程被kill_云淘科技
问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限…
华为云AI开发平台ModelArts日志报错“DataFrame.dtypes for data must be int, float or bool”_云淘科技
问题现象 训练过程中出现如下报错： DataFrame.dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。 处…
华为云AI开发平台ModelArts日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”_云淘科技
问题现象 在pytorch训练时，出现如下报错： RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a…
