华为云AI开发平台ModelArts使用Notebook进行代码调试_云淘科技
背景信息
Notebook使用涉及到计费,具体收费项如下:
处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
创建Notebook时,如果选择使用云硬盘EVS存储配置,云硬盘EVS会一直收费,建议及时停止并删除Notebook,避免产品不必要的费用。
在创建Notebook时,默认会开启自动停止功能,在指定时间内停止运行Notebook,避免资源浪费。
只有处于“运行中”状态的Notebook,才可以执行打开、停止操作。
一个账户最多创建10个Notebook。
创建Notebook实例
注册镜像。登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址拷贝到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型勾选“GPU”,如图所示。
图1 注册镜像
图2 选择自有镜像
登录ModelArts管理控制台,在左侧导航栏中选择“开发环境 > Notebook”,进入“Notebook”新版管理页面。
图3 进入Notebook
单击“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。
填写Notebook基本信息,包含名称、描述、是否自动停止,详细参数请参见表1。
图4 Notebook基本信息
参数名称 |
说明 |
---|---|
“名称” |
Notebook的名称。只能包含数字、大小写字母、下划线和中划线,长度不能超过64位且不能为空。 |
“描述” |
对Notebook的简要描述。 |
“自动停止” |
默认开启,且默认值为“1小时”,表示该Notebook实例将在运行1小时之后自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 |
填写Notebook详细参数,如镜像、资源规格等。
图5 Notebook实例的详细参数
镜像:选择已上传的自定义镜像。
资源池类型:按实际情况选择已创建的专属资源池。
规格:选择1 GPU规格。
存储配置:选择“云硬盘EVS”作为存储位置。
若需要通过VS Code连接Notebook方式进行代码调试,则需开启”SSH远程开发”并选择密钥对,请参考VS Code连接Notebook方式介绍。
参数填写完成后,单击“立即创建”进行规格确认。
参数确认无误后,单击“提交”,完成Notebook的创建操作。
进入Notebook列表,正在创建中的Notebook状态为“创建中”,创建过程需要几分钟,请耐心等待。当Notebook状态变为“运行中”时,表示Notebook已创建并启动完成。
若创建Notebook启动失败,建议按照线下容器镜像构建及调试调试要点进行检查。
在Notebook列表,单击实例名称,进入实例详情页,查看Notebook实例配置信息。
图6 查看Notebook实例详情
挂载OBS并行文件系统:单击“添加数据存储”,设置挂载参数。
设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器“的/data/”目录下创建该文件夹,用来挂载OBS文件系统。
选择存放OBS并行文件系统下的文件夹,单击“确定”。
图7 动态挂载OBS
挂载成功后,可以在Notebook实例详情页查看到挂载结果。
图8 挂载成功
代码调试。
打开Notebook,打开Terminal,进入步骤7中挂载的目录。
cd /data/demo
执行训练命令:
/home/ma-user/anaconda3/envs/pytorch/bin/python main.py -a resnet50 -b 128 --epochs 5 dog_cat_1w/
告警”RequestsDependencyWarning: urllib3 (1.26.8) or chardet (5.0.0)/charset_normalizer (2.0.12) doesn’t match a supported version!”不影响训练,可忽略。
Notebook中调试完后,若镜像有修改,可参考如何保存Notebook镜像环境保存镜像,用于后续训练。
父主题: 单机单卡
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家