华为云AI开发平台ModelArts使用现有数据集测试现有模型_云淘科技

AI开发平台ModelArts

5 月 05, 2023

108 0

为了评估模型的准确性，通常会基于标准数据集来测试模型。算法套件当前发布了五种mini数据集，包括coco2017_sample，imagenet2012_sample，cityscapes_custom_sample，coco_stuff和icdar_det。

本章节将介绍如何基于已有数据集测试现有模型。

Step0 准备环境

使用前需要先准备开发环境。

参考准备开发环境章节创建并打开Notebook实例。
参考创建算法工程章节创建算法工程。

Step1 安装算法套件

安装ivgPose算法套件。

python manage.py install algorithm ivgPose

Step2 安装数据集

安装coco数据集。

python manage.py install dataset coco2017_sample

Step3 安装预训练模型

默认下载到当前工程的./model_zoo/{算法类型}目录下。

python manage.py install model ivgPose:body/simplepose_resnet50_coco_256x192

Step4 修改配置文件

打开预训练模型对应算法资产的配置文件路径，如./algorithms/ivgPose/config/sample/config.py。按需进行验证相关参数的修改，如修改数据集路径data_root为下载的mini数据集路径./data/raw/coco2017_sample、指定验证阶段使用的验证数据集路径等。如下述代码所示。

 
alg_cfg = dict(
    cfg=f'{work_dir}/config/sample/{alg_name}.py',
    data_root='data/raw/coco2017_sample',
    load_from=f'model_zoo/{alg_type}/body/{alg_name}.pth.tar',
    pretrained=f'model_zoo/{alg_type}/backbone/resnet50_imagenet_224x224.pth',
    img_file=f'{work_dir}/algorithm/examples/images/body/coco_000000013729.jpg',
    bbox_file=f'{work_dir}/algorithm/examples/images/body/bboxes.json'
)
    evaluate_args=dict(
        cfg=alg_cfg['cfg'],
        output_dir=run_dir,
        data_root=alg_cfg['data_root'],
        load_from=alg_cfg['load_from'],
        gpus=None,
        samples_per_gpu=None,
    ),

Step5 本地验证

在terminal中执行下述测试命令，其中：–cfg为该预训练模型对应算法资产的配置文件路径，–load_from的值为待测试的模型路径。

python manage.py run --cfg algorithms/ivgPose/config/sample/config.py --pipeline evaluate --load_from ./model_zoo/ivgPose/body/simplepose_resnet50_coco_256x192.pth.tar

运行完毕后，在交互式输出界面或config.py配置的{run_dir}目录下的test.log可以看到验证过程的日志和结果。如下述信息所示：

ivgpose-utils.py 133: Test: AP:0.735012 | AP .5:0.925143 | AP .75:0.813647 | AP (M):0.705874 | AP (L):0.778985 | AR:0.764798 | AR .5:0.933879 | AR .75:0.832966 | AR (M):0.732641 | AR (L):0.813304 | elapsed:00:28

父主题： 使用样例

同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）

内容没看懂？不太想学习？想快速解决？有偿解决：联系专家