华为云AI开发平台ModelArts使用基础镜像构建新的训练镜像_云淘科技

ModelArts平台提供了Tensorflow,Pytorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。

基于训练基础镜像构建新镜像的操作步骤

您可以参考如下步骤基于训练基础镜像来构建新镜像。

安装Docker。如果docker images命令可以执行成功,表示Docker已安装,此步骤可跳过。

以linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。

curl -fsSL get.docker.com -o get-docker.sh
sh get-docker.sh

准备名为 context 的文件夹。

mkdir -p context

准备可用的 pip 源文件 pip.conf 。本示例使用华为开源镜像站提供的 pip 源,其 pip.conf 文件内容如下。

[global]
index-url = https://repo.huaweicloud.com/repository/pypi/simple
trusted-host = repo.huaweicloud.com
timeout = 120

在华为开源镜像站 https://mirrors.huaweicloud.com/home 中,搜索 pypi ,可以查看 pip.conf 文件内容。

参考如下Dockerfile文件内容来基于ModelArts提供的训练基础镜像来构建一个新镜像。将编写好的 Dockerfile 文件放置在 context 文件夹内。训练基础镜像地址请参见训练基础镜像列表。

FROM {ModelArts提供的训练基础镜像地址}

# 配置pip
RUN mkdir -p /home/ma-user/.pip/
COPY --chown=ma-user:ma-group pip.conf /home/ma-user/.pip/pip.conf

# 设置容器镜像预置环境变量
# 将python解释器路径加入到PATH环境变量中
# 请务必设置PYTHONUNBUFFERED=1, 以免日志丢失
ENV PATH=${ANACONDA_DIR}/envs/${ENV_NAME}/bin:$PATH \
    PYTHONUNBUFFERED=1

RUN /home/ma-user/anaconda/bin/pip install --no-cache-dir numpy

构建新镜像。在Dockerfile文件所在的目录执行如下命令构建容器镜像training:v1。

docker build . -t training:v1

将构建好的新镜像上传至SWR(参考如何登录并上传镜像到SWR)。
参考使用自定义镜像创建训练作业(CPU/GPU)章节在ModelArts上使用。

父主题: 准备训练镜像

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家