华为云AI开发平台ModelArts使用基础镜像构建新的训练镜像_云淘科技
ModelArts平台提供了Tensorflow,Pytorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。
基于训练基础镜像构建新镜像的操作步骤
您可以参考如下步骤基于训练基础镜像来构建新镜像。
安装Docker。如果docker images命令可以执行成功,表示Docker已安装,此步骤可跳过。
以linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。
curl -fsSL get.docker.com -o get-docker.sh sh get-docker.sh
准备名为 context 的文件夹。
mkdir -p context
准备可用的 pip 源文件 pip.conf 。本示例使用华为开源镜像站提供的 pip 源,其 pip.conf 文件内容如下。
[global] index-url = https://repo.huaweicloud.com/repository/pypi/simple trusted-host = repo.huaweicloud.com timeout = 120
在华为开源镜像站 https://mirrors.huaweicloud.com/home 中,搜索 pypi ,可以查看 pip.conf 文件内容。
参考如下Dockerfile文件内容来基于ModelArts提供的训练基础镜像来构建一个新镜像。将编写好的 Dockerfile 文件放置在 context 文件夹内。训练基础镜像地址请参见训练基础镜像列表。
FROM {ModelArts提供的训练基础镜像地址} # 配置pip RUN mkdir -p /home/ma-user/.pip/ COPY --chown=ma-user:ma-group pip.conf /home/ma-user/.pip/pip.conf # 设置容器镜像预置环境变量 # 将python解释器路径加入到PATH环境变量中 # 请务必设置PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=${ANACONDA_DIR}/envs/${ENV_NAME}/bin:$PATH \ PYTHONUNBUFFERED=1 RUN /home/ma-user/anaconda/bin/pip install --no-cache-dir numpy
构建新镜像。在Dockerfile文件所在的目录执行如下命令构建容器镜像training:v1。
docker build . -t training:v1
将构建好的新镜像上传至SWR(参考如何登录并上传镜像到SWR)。
参考使用自定义镜像创建训练作业(CPU/GPU)章节在ModelArts上使用。
父主题: 准备训练镜像
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家