华为云AI开发平台ModelArts普通日志说明_云淘科技

普通日志中包含训练进程日志、pip-requirement.txt安装日志和ModelArts平台日志。

普通日志类型

表1 普通日志类型

日志类型

说明

训练进程日志

用户训练代码的标准输出。

pip-requirement.txt安装日志

如果用户有定义pip-requirement.txt文件,会产生pip包安装日志。

ModelArts平台日志

ModelArts平台产生的系统日志,主要用于运维人员定位平台问题。

普通日志的文件格式

普通日志的文件格式如下,其中task id为训练作业中的节点id。

统一日志格式:modelarts-job-[job id]-[task id].log
样例:log/modelarts-job-95f661bd-1527-41b8-971c-eca55e513254-worker-0.log

单机训练作业只会生成一个日志文件,单机作业的task id默认为worker-0。
分布式场景下有多个节点日志文件并存,通过task id区分不同节点,例如:worker-0,worker-1等。

训练进程日志、pip-requirement.txt安装日志和ModelArts平台日志都包含在普通日志文件modelarts-job-[job id]-[task id].log中

ModelArts平台日志

ModelArts平台日志可以通过关键字在训练的普通日志文件modelarts-job-[job id]-[task id].log中筛查,筛查关键字有:[ModelArts Service Log]或Platform=ModelArts-Service。

类型一:[ModelArts Service Log] xxx

[ModelArts Service Log][init] download code_url: s3://dgg-test-user/snt9-test-cases/mindspore/lenet/

类型二:time=“xxx” level=“xxx” msg=“xxx” file=“xxx” Command=xxx Component=xxx Platform=xxx

time="2021-07-26T19:24:11+08:00" level=info msg="start the periodic upload task, upload period = 5 seconds " file="upload.go:46" Command=obs/upload Component=ma-training-toolkit Platform=ModelArts-Service

父主题: 查看训练作业日志

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家