华为云AI开发平台ModelArtsStep4 使用保存成功的镜像用于推理部署_云淘科技

将Step2 在Notebook中调试模型的自定义镜像导入到AI应用中,并部署为在线服务。

登录ModelArts控制台,在左侧导航栏中选择“AI应用管理 > AI应用”,单击“创建”,进入创建AI应用。
设置AI应用的参数,如图1所示。

元模型来源:从容器镜像中选择。
容器镜像所在的路径:单击选择镜像文件。具体路径查看5SWR地址。
容器调用接口:选择HTTPS。
host:设置为8443。
部署类型:选择在线服务。

图1 设置AI应用参数

填写启动命令,启动命令内容如下:

sh /home/ma-user/infer/run.sh

填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。

图2 填写apis定义

apis定义具体内容如下:

[{
	"url": "/",
	"method": "post",
	"request": {
		"Content-type": "multipart/form-data",
		"data": {
			"type": "object",
			"properties": {
				"images": {
					"type": "file"
				}
			}
		}
	},
	"response": {
		"Content-type": "applicaton/json",
		"data": {
			"type": "object",
			"properties": {
				"result": {
					"type": "integer"
				}
			}
		}
	}
}]

apis定义提供AI应用对外Restfull api数据定义,用于定义AI应用的输入、输出格式。

创建AI应用填写apis。在创建的AI应用部署服务成功后,进行预测时,会自动识别预测类型。
创建AI应用时不填写apis。在创建的AI应用部署服务成功后,进行预测,需选择“请求类型”。“请求类型”可选择“application/json”或“multipart/form-data”。请根据元模型,选择合适的类型。

选择“application/json”时,直接填写“预测代码”进行文本预测。
选择“multipart/form-data”时,需填写“请求参数”,请求参数取值等同于使用图形界面的软件进行预测(以Postman为例)Body页签中填写的“KEY”的取值,也等同于使用curl命令发送预测请求上传数据的参数名。

设置完成后,单击“立即创建”,等待AI应用状态变为“正常”。
单击新建的AI应用名称左侧的小三角形,展开AI应用的版本列表。在操作列单击“部署 > 在线服务”,跳转至在线服务的部署页面。
在部署页面,参考如下说明填写关键参数。

“名称”:自定义一个在线服务的名称,也可以使用默认值。

“资源池”:选择“公共资源池”。

“AI应用来源”和“选择AI应用及版本”:会自动选择AI应用和版本号。

“计算节点规格”:在下拉框中选择“限时免费”资源,勾选并阅读免费规格说明。

其他参数可使用默认值。

若限时免费资源售罄,建议选择收费CPU资源进行部署。当选择收费CPU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。

参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。
进入“部署上线 > 在线服务”页面,等待服务服务状态变为“运行中”时,表示服务部署成功。单击操作列的“预测”,进入服务详情页的“预测”页面。上传图片,预测结果。

图3 预测

父主题: 无需构建直接在开发环境中调试并保存镜像用于推理

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家