华为云AI开发平台ModelArtsStep4 使用保存成功的镜像用于推理部署_云淘科技
将Step2 在Notebook中调试模型的自定义镜像导入到AI应用中,并部署为在线服务。
登录ModelArts控制台,在左侧导航栏中选择“AI应用管理 > AI应用”,单击“创建”,进入创建AI应用。
设置AI应用的参数,如图1所示。
元模型来源:从容器镜像中选择。
容器镜像所在的路径:单击选择镜像文件。具体路径查看5SWR地址。
容器调用接口:选择HTTPS。
host:设置为8443。
部署类型:选择在线服务。
图1 设置AI应用参数
填写启动命令,启动命令内容如下:
sh /home/ma-user/infer/run.sh
填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。
图2 填写apis定义
apis定义具体内容如下:
[{ "url": "/", "method": "post", "request": { "Content-type": "multipart/form-data", "data": { "type": "object", "properties": { "images": { "type": "file" } } } }, "response": { "Content-type": "applicaton/json", "data": { "type": "object", "properties": { "result": { "type": "integer" } } } } }]
apis定义提供AI应用对外Restfull api数据定义,用于定义AI应用的输入、输出格式。
创建AI应用填写apis。在创建的AI应用部署服务成功后,进行预测时,会自动识别预测类型。
创建AI应用时不填写apis。在创建的AI应用部署服务成功后,进行预测,需选择“请求类型”。“请求类型”可选择“application/json”或“multipart/form-data”。请根据元模型,选择合适的类型。
选择“application/json”时,直接填写“预测代码”进行文本预测。
选择“multipart/form-data”时,需填写“请求参数”,请求参数取值等同于使用图形界面的软件进行预测(以Postman为例)Body页签中填写的“KEY”的取值,也等同于使用curl命令发送预测请求上传数据的参数名。
设置完成后,单击“立即创建”,等待AI应用状态变为“正常”。
单击新建的AI应用名称左侧的小三角形,展开AI应用的版本列表。在操作列单击“部署 > 在线服务”,跳转至在线服务的部署页面。
在部署页面,参考如下说明填写关键参数。
“名称”:自定义一个在线服务的名称,也可以使用默认值。
“资源池”:选择“公共资源池”。
“AI应用来源”和“选择AI应用及版本”:会自动选择AI应用和版本号。
“计算节点规格”:在下拉框中选择“限时免费”资源,勾选并阅读免费规格说明。
其他参数可使用默认值。
若限时免费资源售罄,建议选择收费CPU资源进行部署。当选择收费CPU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。
参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。
进入“部署上线 > 在线服务”页面,等待服务服务状态变为“运行中”时,表示服务部署成功。单击操作列的“预测”,进入服务详情页的“预测”页面。上传图片,预测结果。
图3 预测
父主题: 无需构建直接在开发环境中调试并保存镜像用于推理
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家