华为云AI开发平台ModelArtsModelArts支持的AI框架_云淘科技
ModelArts的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。
开发环境Notebook
开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。
镜像名称 |
镜像描述 |
适配芯片 |
支持SSH远程开发访问 |
支持在线JupyterLab访问 |
---|---|---|---|---|
pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 |
CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.8 |
CPU/GPU |
是 |
是 |
mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 |
CPU and GPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 and cuda 10.1 |
CPU/GPU |
是 |
是 |
mindspore1.7.0-py3.7-ubuntu18.04 |
CPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 |
CPU |
是 |
是 |
pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 |
CPU and GPU general algorithm development and training, preconfigured with AI engine PyTorch1.10 and cuda10.2 |
CPU/GPU |
是 |
是 |
tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 |
CPU、GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow2.1 |
CPU/GPU |
是 |
是 |
tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 |
GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow1.13.1 |
GPU |
是 |
是 |
conda3-ubuntu18.04 |
Clean user customized base image only include conda |
CPU |
是 |
是 |
pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 |
CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.4 |
CPU/GPU |
是 |
是 |
conda3-cuda10.2-cudnn7-ubuntu18.04 |
Clean user customized base image include cuda10.2, conda |
CPU |
是 |
是 |
tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 |
Ascend+ARM算法开发和训练基础镜像,AI引擎预置TensorFlow和MindSpore |
Ascend |
是 |
是 |
modelbox1.3.0-tensorrt7.1.3-cuda10.2-cudnn8-euler2.9.6 |
AI应用开发基础镜像,预置AI应用编排引擎ModelBox、AI引擎TensorRT,仅支持SSH连接 |
GPU |
是 |
否 |
modelbox1.3.0-libtorch1.9.1-cuda10.2-cudnn8-euler2.9.6 |
AI应用开发基础镜像,预置AI应用编排引擎ModelBox、AI引擎LibTorch,仅支持SSH连接 |
GPU |
是 |
否 |
spark2.4.5-ubuntu18.04 |
CPU algorithm development and training, prebuilt PySpark 2.4.5 and is able to attach to preconfigured spark cluster including MRS and DLI. |
CPU |
否 |
是 |
mindstudio5.0.rc1-ascend-cann5.1.0-euler2.8.3-aarch64 |
Ascend算子开发基础镜像,预置专业级算子开发工具MindStudio,仅支持SSH连接 |
Ascend |
是 |
否 |
mlstudio-pyspark2.3.2-ubuntu16.04 |
CPU算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测MLStudio工具,并预置PySpark2.3.2 |
CPU |
否 |
是 |
mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 |
Ascend+ARM algorithm development and training. MindSpore is preset in the AI engine. |
Ascend |
是 |
是 |
mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 |
Ascend+ARM algorithm development and training. MindSpore is preset in the AI engine. |
Ascend |
是 |
是 |
mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 |
Ascend+ARM算法开发和训练基础镜像,AI引擎预置MindSpore |
Ascend |
是 |
是 |
tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 |
Ascend+ARM算法开发和训练基础镜像,AI引擎预置TensorFlow |
Ascend |
是 |
是 |
mlstudio-pyspark2.4.5-ubuntu18.04 |
CPU算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测MLStudio工具,并预置PySpark2.4.5 |
CPU |
否 |
是 |
mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 |
GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU |
GPU |
是 |
是 |
rlstudio1.0.0-ray1.3.0-cuda10.1-ubuntu18.04 |
CPU、GPU强化学习算法开发和训练基础镜像,预置AI引擎 |
CPU/GPU |
是 |
是 |
mindquantum0.9.0-mindspore2.0.0-cuda11.6-ubuntu20.04 |
MindSpore2.0.0 and MindQuantum0.9.0 |
CPU |
是 |
是 |
mindspore1.2.0-openmpi2.1.1-ubuntu18.04 |
CPU算法开发和训练基础镜像,预置AI引擎MindSpore-CPU |
CPU |
是 |
是 |
cylp0.91.4-cbcpy2.10-ortools9.0-cplex20.1.0-ubuntu18.04 |
CPU运筹优化求解器开发基础镜像,预置cylp,cbcpy,ortools及cplex |
CPU |
是 |
是 |
训练作业
当前ModelArts同时存在新版训练和旧版训练。新版训练和旧版训练的预置训练引擎存在差异。ModelArts推荐您使用新版训练创建训练作业。在创建训练作业时,优先使用新版的预置引擎,如果您需要的引擎仅在旧版支持,也支持您在新版训练中使用旧版预置引擎。
新版预置引擎命名格式如下:
-[cpu | ]---
工作环境 |
适配芯片 |
系统架构 |
系统版本 |
AI引擎与版本 |
支持的cuda或Ascend版本 |
---|---|---|---|---|---|
TensorFlow |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
cuda10.1 |
PyTorch |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
cuda10.2 |
Ascend-Powered-Engine |
Snt9 |
aarch64 |
Euler2.8 |
mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64 |
5.1.0 |
tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64 |
5.1.0 |
||||
MPI |
GPU |
x86_64 |
Ubuntu18.04 |
mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 |
cuda_10.1 |
Horovod |
GPU |
x86_64 |
ubuntu_18.04 |
horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
cuda_10.1 |
horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
cuda_10.2 |
不同区域支持的AI引擎有差异,请以实际环境为准。
推理支持的AI引擎
在ModelArts创建AI应用时,若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。
标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见推理基础镜像列表。
推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
待下线的基本镜像不再维护。
统一镜像Runtime的命名规范: – – – –
模型使用的引擎类型 |
支持的运行环境(Runtime) |
注意事项 |
---|---|---|
TensorFlow |
python3.6 python2.7(待下线) tf1.13-python3.6-gpu tf1.13-python3.6-cpu tf1.13-python3.7-cpu tf1.13-python3.7-gpu tf2.1-python3.7(待下线) tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64(推荐) |
python2.7、python3.6的运行环境搭载的TensorFlow版本为1.8.0。 |
Spark_MLlib |
python2.7(待下线) python3.6(待下线) |
python2.7以及python3.6的运行环境搭载的Spark_MLlib版本为2.3.2。 |
Scikit_Learn |
python2.7(待下线) python3.6(待下线) |
python2.7以及python3.6的运行环境搭载的Scikit_Learn版本为0.18.1。 |
XGBoost |
python2.7(待下线) python3.6(待下线) |
python2.7以及python3.6的运行环境搭载的XGBoost版本为0.80。 |
PyTorch |
python2.7(待下线) python3.6 python3.7 pytorch1.4-python3.7 pytorch1.5-python3.7(待下线) pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64(推荐) |
python2.7、python3.6、python3.7的运行环境搭载的PyTorch版本为1.0。 |
MindSpore |
aarch64(推荐) |
aarch64只能用于运行在Snt3芯片上。 |
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家