华为云AI开发平台ModelArts创建算法工程_云淘科技

ma-cli是基于cookiecutter开发的用于管理工程的命令行工具,它支持创建一个算法模板工程并一键式安装ModelArts算法套件等。

了解算法工程模板

算法工程模板结构如下:

your-project-name
├── algorithms              -- algorithm toolkit folder
│   ├──custom                        
├── data                    -- data folder,
│   └── raw                 -- the original, immutable data dump.
├── docs                    -- doc for your project
├── model_zoo               -- pretrained model zoo folder
├── project-slug            -- user's source code in this project. 
├── config_ma.py            -- ModelArts related configuration, authentications, temp obs bucket, proxy, etc.
├── manage.py               -- CLI entry
├── README.md 
├── requirement.txt         -- The requirements file for reproducing the  environment
└── setup.py                -- makes project pip installable (pip install -e .) so project-slug can be imported

其中:

– algorithms:算法默认下载路径。

– data:数据集默认下载路径。

– docs:使用文档目录。

– model_zoo:模型默认下载路径。

– config_ma.py:创建工程时输入的配置信息,如果在算法内的config.py里填写了同样的信息,那么算法config.py的优先级高于config_ma.py。

– manage.py:算法工程命令行入口。

使用ma-cli创建工程

场景一:在JupyterLab的Terminal里使用ma-cli创建工程

打开JupyterLab的Terminal。

图1 打开Terminal

执行ma-cli createproject命令创建工程,用户可按照提示交互式输入project_name,此处以water_meter为例。

ma-cli createproject

图2 创建算法工程

执行cd {project_name}命令切换到工程目录下。

cd {project_name}

根据界面提示输入相关参数。

author_name [Your name/organization/company/team]: 自定义,例如:modelarts-algorithms-test
huaweicloud_region_name [cn-north-4]: 此参数可以忽略,系统会自动识别Notebook所在区域。  
obs_bucket :自定义OBS桶路径,该OBS桶必须与Notebook在同一个区域。
Select install_asset:

图3 创建算法工程参数设置

场景二:在JuputerLab的 Ipynb文件里使用ma-cli创建工程

在JuputerLab的 Ipynb文件里执行命令,需要在命令前加!符号,例如:

!ma-cli createproject -sc

输入如下命令并执行,获取需要填写的参数信息。

!ma-cli createproject -sc

图4 创建算法工程

在上方导航栏单击,新建代码行,并输入如下命令创建工程,样例代码如下。

context = {
    "project_name": "modelarts_algo_project",
    "project_slug": "modelarts_algo_project",
    "author_name": "Your name/organization/company/team",
    "huaweicloud_region_name": "cn-north-4",
    "obs_bucket": "obs://bucket_name/bucket_directory",
    "install_asset": "skip"
}
!ma-cli createproject --context f"{context}"

“author_name” 替换成自定义名称。

“obs_bucket”替换成实际的OBS桶路径。

图5 创建工程

切换工作目录为创建的工程目录。此命令没有结果输出。

import os
# set project_dir to your project path
project_dir = '/home/ma-user/work/modelarts_algo_project'
os.chdir(project_dir)

图6 切换工作目录

通过python manage.py -h查看算法开发套件支持的命令及其用法。

!python manage.py -h

图7 查看算法开发套件支持的命令及其用法

查看如何使用ma-cli

系统提供了内置的help,通过以下命令可以查看如何使用ma-cli和ma-cli createproject相关命令。

查看如何使用ma-cli

ma-cli -h

查看如何使用ma-cli createproject

ma-cli createproject -h

父主题: 算法开发套件

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家