华为云AI开发平台ModelArts创建算法工程_云淘科技
ma-cli是基于cookiecutter开发的用于管理工程的命令行工具,它支持创建一个算法模板工程并一键式安装ModelArts算法套件等。
了解算法工程模板
算法工程模板结构如下:
your-project-name ├── algorithms -- algorithm toolkit folder │ ├──custom ├── data -- data folder, │ └── raw -- the original, immutable data dump. ├── docs -- doc for your project ├── model_zoo -- pretrained model zoo folder ├── project-slug -- user's source code in this project. ├── config_ma.py -- ModelArts related configuration, authentications, temp obs bucket, proxy, etc. ├── manage.py -- CLI entry ├── README.md ├── requirement.txt -- The requirements file for reproducing the environment └── setup.py -- makes project pip installable (pip install -e .) so project-slug can be imported
其中:
– algorithms:算法默认下载路径。
– data:数据集默认下载路径。
– docs:使用文档目录。
– model_zoo:模型默认下载路径。
– config_ma.py:创建工程时输入的配置信息,如果在算法内的config.py里填写了同样的信息,那么算法config.py的优先级高于config_ma.py。
– manage.py:算法工程命令行入口。
使用ma-cli创建工程
场景一:在JupyterLab的Terminal里使用ma-cli创建工程
打开JupyterLab的Terminal。
图1 打开Terminal
执行ma-cli createproject命令创建工程,用户可按照提示交互式输入project_name,此处以water_meter为例。
ma-cli createproject
图2 创建算法工程
执行cd {project_name}命令切换到工程目录下。
cd {project_name}
根据界面提示输入相关参数。
author_name [Your name/organization/company/team]: 自定义,例如:modelarts-algorithms-test huaweicloud_region_name [cn-north-4]: 此参数可以忽略,系统会自动识别Notebook所在区域。 obs_bucket :自定义OBS桶路径,该OBS桶必须与Notebook在同一个区域。 Select install_asset:
图3 创建算法工程参数设置
场景二:在JuputerLab的 Ipynb文件里使用ma-cli创建工程
在JuputerLab的 Ipynb文件里执行命令,需要在命令前加!符号,例如:
!ma-cli createproject -sc
输入如下命令并执行,获取需要填写的参数信息。
!ma-cli createproject -sc
图4 创建算法工程
在上方导航栏单击,新建代码行,并输入如下命令创建工程,样例代码如下。
context = { "project_name": "modelarts_algo_project", "project_slug": "modelarts_algo_project", "author_name": "Your name/organization/company/team", "huaweicloud_region_name": "cn-north-4", "obs_bucket": "obs://bucket_name/bucket_directory", "install_asset": "skip" } !ma-cli createproject --context f"{context}"
“author_name” 替换成自定义名称。
“obs_bucket”替换成实际的OBS桶路径。
图5 创建工程
切换工作目录为创建的工程目录。此命令没有结果输出。
import os # set project_dir to your project path project_dir = '/home/ma-user/work/modelarts_algo_project' os.chdir(project_dir)
图6 切换工作目录
通过python manage.py -h查看算法开发套件支持的命令及其用法。
!python manage.py -h
图7 查看算法开发套件支持的命令及其用法
查看如何使用ma-cli
系统提供了内置的help,通过以下命令可以查看如何使用ma-cli和ma-cli createproject相关命令。
查看如何使用ma-cli
ma-cli -h
查看如何使用ma-cli createproject
ma-cli createproject -h
父主题: 算法开发套件
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家