华为云AI开发平台ModelArts垃圾分类(使用新版自动学习实现图像分类)_云淘科技

随着科技发展与人们生活质量的快速提升,生活垃圾分类成为当下越来越热门的话题,常见的生活垃圾分为厨余垃圾蛋壳、厨余垃圾水果果皮、可回收物塑料玩具、可回收物纸板箱、其他垃圾烟蒂、其他垃圾一次性餐盒、有害垃圾干电池、有害垃圾过期药物等。人工识别效率低下、费时费力,AI技术显然可以为此贡献一份力量。

该案例介绍了华为云一站式开发平台ModelArts的自动学习功能实现的常见生活垃圾分类,让您不用编写代码也可以实现生活垃圾分类。

本案例只适用于新版自动学习功能。

该案例进行前,请仔细阅读准备工作中罗列的要求,提前完成准备工作。使用新版自动学习功能完成模型构建的步骤如下所示:

创建OBS桶
准备数据集
配置委托访问授权
创建图像分类项目
运行工作流
预测分析
清除资源

准备工作

注册华为帐号并开通华为云、实名认证

注册华为帐号并开通华为云
进行实名认证

个人用户推荐使用人脸识别认证。
若无中国大陆身份证,可使用其他证件认证,并需等待三个工作日审核。

步骤1:创建OBS桶

登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。例如,创建名称为“dataset-exeml”的OBS桶。

图1 创建桶

创建桶的区域需要与ModelArts所在的区域一致。例如:当前ModelArts在华北-北京四区域,在对象存储服务创建桶时,请选择华北-北京四。请参考查看OBS桶与ModelArts是否在同一区域检查您的OBS桶区域与ModelArts区域是否一致。
请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。

在桶列表页面,单击桶名称,进入该桶的概览页面。

图2 桶列表

单击左侧导航的“对象”,在对象页面单击“新建文件夹”,创建OBS文件夹。具体请参见新建文件夹章节。

图3 新建文件夹

步骤2:准备训练数据集

单击8类常见生活垃圾图片数据集,进入AI Gallery数据集详情页,单击右侧“下载”。
选择对应的云服务区域例如:华北-北京四,需要确保您选择的区域与您的管理控制台所在的区域一致。
进入“下载详情”页面,填写以下参数。

下载方式:ModelArts数据集。
目标区域:华北-北京四。
数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。
数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。
数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。

图4 下载详情

完成参数填写,单击“确定”,自动跳转至AI Gallery个人中心“我的下载”页签,单击按钮,查看下载进度,等待5分钟左右下载完成,单击展开下载详情,可以查看该数据集的“目标位置”。

图5 等待下载完成

步骤3:配置委托访问授权

ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。

使用华为云帐号登录ModelArts管理控制台,在左侧导航栏单击“全局配置”,进入“全局配置”页面,单击“添加授权”。
在弹出的“访问授权”窗口中,参数选择如下:

授权对象类型:所有用户
委托选择:新增委托
权限配置:普通用户

选择完成后勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。

图6 配置委托访问授权

完成配置后,在ModelArts控制台的全局配置列表,可查看到此帐号的委托配置信息。

图7 查看委托配置信息

步骤4:创建新版自动学习图像分类项目

确保数据集创建完成且可正常使用后,在ModelArts控制台,左侧导航栏选择“自动学习”,进入自动学习总览页面。

图8 创建项目

单击选择“图像分类”创建项目。完成参数填写:

计费模式:按需计费。
名称:自定义您的项目名称。
描述:自定义描述您的项目详情,例如垃圾分类。
数据集:下拉选择已下载的数据集(步骤2中已成功导入的数据集,默认为下拉数据集列表中的第一个数据集)。
输出路径:选择您步骤1创建好的OBS文件夹下的路径,用来存储训练模型等相关文件。
训练规格:根据您的实际需要选择对应的训练规格。根据您选择的资源规格不同,收费标准不同,价格详情请参见价格详情。

图9 创建图像分类

参数填写完成,单击“创建项目”。

步骤5:运行工作流

项目完成创建之后,会自动跳转到新版自动学习的运行总览页面。同时您的工作流会自动从数据标注节点开始运行。您需要做的是:

观察数据标注节点,待数据标注节点变为橘色即为“等待操作”状态。双击数据标注节点,打开数据标注节点的运行详情页面,单击“继续运行”。
在弹出的窗口中,单击“确定”,工作流会开始继续运行。
当工作流运行到“服务部署”节点,状态会变为“等待输入”,您需要填写以下两个输入参数,其他参数保持默认。

计算节点规格:根据您的实际需求选择相应的规格,不同规格的配置费用不同,选择好规格后,配置费用处会显示相应的费用。
是否自动停止:为了避免资源浪费,建议您打开该开关,根据您的需求,选择自动停止时间,也可以自定义自动停止的时间。

图10 用户输入

只有华北-北京四支持限时免费规格,且每个用户只限创建一个基于免费规格的实例。

参数填写完毕之后,单击运行状况右边的“继续运行”,单击确认弹窗中的“确定”即可继续完成工作流的运行。

图11 继续运行

步骤6:预测分析

运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。

在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“部署上线>在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。
在服务详情页,单击选择“预测”页签。

图12 上传预测图片

单击“上传”选择一张需要预测的图片,单击“预测”,即可在右边的预测结果显示区查看您的预测结果。

图13 预测样例图

图14 查看预测结果

本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。

ModelArts的AI Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI Gallery的资产集市中获取。

步骤5:清除相应资源

在完成预测之后,建议关闭服务,以免产生不必要的计费。

停止运行服务

预测完成后,单击页面右上角的“停止”,即可停止该服务。
单击左上角返回在线服务,在对应的服务名称所在行,单击选择操作列的“更多>停止”,停止该服务。

图15 停止服务

清除OBS中的数据。

在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。
在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,单击桶名称,进入OBS桶详情。
在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,在操作列单击“更多”,选择“删除”,即可删除相应的存储对象。

常见问题

创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。
数据校验节点失败。

请查看您的数据集是否符合规范,数据集规范请参考数据集要求与上传规范。

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家