共389项
问题现象 多机或多卡使用“tf.variable”会造成以下错误：WARNING:tensorflow:Gradient is None for variable:v0/tower_0/UNET_v7/sub_pixel/Variable:…
问题现象 训练作业的状态“运行失败”，查看训练作业的“日志”，存在NCCL的报错，例如“NCCL timeout”、“NCCL WARN Bootstrap : no socket interface found”或“NCCL INFO C…
问题现象 通过用户自定义镜像创建AI应用失败。 原因分析 可能原因如下： 导入AI应用使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子帐号，没有主帐号SWR的权限 使用的是非自己帐号的镜…
出现此问题时，表示数据不满足数据管理模块的要求，导致数据集发布失败，无法执行自动学习的下一步流程。 请根据如下几个要求，检查您的数据，将不符合要求的数据排除后再重新启动自动学习的训练任务。 ModelArts.4710 OBS权限问题 Mo…
问题现象 使用Notebook运行代码，报错： FileNotFoundError: [Error 2] No usable temporary directory found in [‘/tmp’, ‘/var/tmp’, ‘/usr/t…
问题现象 在训练创建后出现“系统容器异常退出”的故障。 图1 错误日志 原因分析 出现该问题的可能原因如下： OBS相关错误。 OBS文件不存在。The specified key does not exist。 用户OBS权限不足。 OB…
问题现象 在使用pytorch启动多进程的时候，出现如下报错： RuntimeError: Cannot re-initialize CUDA in forked subprocess 原因分析 出现该问题的可能原因如下： multipro…
问题现象 使用旧版训练的自定义镜像创建训练作业，出现如下报错，提示找不到运行的主文件：no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。 处理方法 需要排查执行命…
问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments… 图1 在线服务报错 原因分析 根据报错日志分析，模型目录下存在多余文件“/home/mind/model/v…
训练作业创建成功，但是在运行过程中，由于一些故障导致作业运行失败。 首次请检查您的帐户是否欠费。如果帐号状态正常。请针对不同类型的作业进行排查。 针对图像分类、声音分类、文本分类的作业，排查思路请参见确保OBS中的数据存在、检查OBS的访问…
