华为云AI开发平台ModelArts旧版训练迁移至新版训练注意事项_云淘科技
新版训练和旧版训练的差异主要体现在以下3点:
新旧版创建训练作业方式差异
新旧版训练代码适配的差异
新旧版训练预置引擎差异
新旧版创建训练作业方式差异
旧版训练支持使用自定义算法、使用预置算法、使用常用框架、使用自定义镜像方式创建训练作业。
新版训练支持使用市场订阅算法和自定义算法创建训练作业。
新版训练的创建方式有了更明确的类别划分,不影响用户的原有的训练作业,只是选择方式存在区别。
旧版中使用自定义算法和使用常用框架创建训练作业的用户,可以在新版训练中使用预置框架方式创建训练作业。
旧版中使用预置算法的用户,可以在新版训练中使用订阅算法创建训练作业。
旧版中使用自定义镜像创建训练作业的用户,可以在新版训练中使用自定义镜像创建训练作业。
新旧版训练代码适配的差异
旧版训练中,用户需要在输入输出数据上做如下配置:
#解析命令行参数 import argparse parser = argparse.ArgumentParser(description='MindSpore Lenet Example') parser.add_argument('--data_url', type=str, default="./Data", help='path where the dataset is saved') parser.add_argument('--train_url', type=str, default="./Model", help='if is test, must provide\ path where the trained ckpt file') args = parser.parse_args() ... #下载数据参数至容器本地,在代码中使用local_data_path代表训练输入位置 mox.file.copy_parallel(args.data_url, local_data_path) ... #上传容器本地数据至obs路径 mox.file.copy_parallel(local_output_path, args.train_url)
新版训练中,用户配置输入输出数据,无需书写下载数据的代码,在代码中把arg.data_url和arg.train_url当做本地路径即可,详情参考开发自定义脚本。
#解析命令行参数 import argparse parser = argparse.ArgumentParser(description='MindSpore Lenet Example') parser.add_argument('--data_url', type=str, default="./Data", help='path where the dataset is saved') parser.add_argument('--train_url', type=str, default="./Model", help='if is test, must provide\ path where the trained ckpt file') args = parser.parse_args() ... # 下载的代码无需设置,后续涉及训练数据和输出路径数据使用data_url和train_url即可 #下载数据参数至容器本地,在代码中使用local_data_path代表训练输入位置 #mox.file.copy_parallel(args.data_url, local_data_path) ... #上传容器本地数据至obs路径 #mox.file.copy_parallel(local_output_path, args.train_url)
新旧版训练预置引擎差异
新版的预置训练引擎默认安装Moxing2.0.0及以上版本。
新版的预置训练引擎统一使用了Python3.7及以上版本。
新版镜像修改了默认的HOME目录,由“/home/work”变为“/home/ma-user”,请注意识别训练代码中是否有“/home/work”的代码。
提供预置引擎类型有差异。新版的预置引擎在常用的训练引擎上进行了升级。
如果您需要使用旧版训练引擎,单击显示旧版引擎即可选择旧版引擎。新旧版支持的预置引擎差异请参考表1。详细的训练引擎版本说明请参考新版训练和旧版训练分别支持的AI引擎。
工作环境 |
预置训练I引擎与版本 |
旧版训练 |
新版训练 |
---|---|---|---|
TensorFlow |
Tensorflow-1.8.0 |
√ |
x |
Tensorflow-1.13.1 |
√ |
后续版本支持 |
|
Tensorflow-2.1.0 |
√ |
√ |
|
MXNet |
MXNet-1.2.1 |
√ |
x |
Caffe |
Caffe-1.0.0 |
√ |
x |
Spark_MLlib |
Spark-2.3.2 |
√ |
x |
Ray |
RAY-0.7.4 |
√ |
x |
XGBoost-Sklearn |
XGBoost-0.80-Sklearn-0.18.1 |
√ |
x |
PyTorch |
PyTorch-1.0.0 |
√ |
x |
PyTorch-1.3.0 |
√ |
x |
|
PyTorch-1.4.0 |
√ |
x |
|
PyTorch-1.8.0 |
x |
√ |
|
Ascend-Powered-Engine |
Mindspore-1.1.1 |
√ |
x |
Mindspore-1.3.0 |
x |
√ |
|
Tensorflow-1.15 |
√ |
√ |
|
MPI |
MindSpore-1.3.0 |
x |
√ |
Horovod |
horovod_0.20.0-tensorflow_2.1.0 |
x |
√ |
horovod_0.22.1-pytorch_1.8.0 |
x |
√ |
|
MindSpore-GPU |
MindSpore-1.1.0 |
√ |
x |
MindSpore-1.2.0 |
√ |
x |
父主题: 准备算法
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家