华为云AI开发平台ModelArts部署为边缘服务_云淘科技
AI应用准备完成后,您可以将AI应用部署为边缘服务。在“部署上线>边缘服务”界面,列举了用户所创建的边缘服务。边缘服务依赖智能边缘平台(IEF),部署前需要在智能边缘平台上创建边缘节点。
前提条件
数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。
如果选择“节点 > IEF边缘节点”部署边缘服务,请先在智能边缘平台(IEF)创建边缘节点。如果您未创建边缘节点,具体操作请参见创建边缘节点。
如果选择“节点组”部署边缘服务,请先在智能边缘平台(IEF)创建边缘节点组,当前仅支持铂金版资源实例。如果您未创建边缘节点,具体操作请参见创建边缘节点组。
如果选择“资源池”部署边缘服务,请先创建边缘资源池,创建边缘资源池请参见创建边缘资源池。
确认用户的委托权限已包含Tenant Administrator权限。由于边缘服务依赖IEF纳管的边缘节点,而使用IEF服务需要授予IAM用户Tenant Administrator权限,所以若ModelArts委托不包含Tenant Administrator权限时,将导致边缘服务部署失败。
在ModelArts管理控制台,左侧导航栏选择“全局配置”,进入全局配置列表页。
在用户名对应的“操作”列,单击“查看权限”,在“权限详情”弹出框中确认委托权限已包含Tenant Administrator。
图1 查看委托权限详情
由于在线运行需消耗资源,确保帐户未欠费。
背景信息
边缘服务目前还处于限时免费阶段,运行中的边缘服务,并不会产生费用。
用户最多可创建1000个边缘服务。
部署边缘服务
登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
在部署页面,填写边缘服务相关参数。
填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成。例如:service-bc0d,您也可以根据实际情况填写“名称”和“描述”信息。
填写服务参数。包含资源池、AI应用配置等关键信息,详情请参见表1。
参数名称 |
说明 |
---|---|
“部署方式” |
可选择“节点”、“节点组”或“资源池”。 节点:可选ModelArts边缘节点和IEF边缘节点,当前仅支持选择IEF边缘节点。请指定“边缘节点类型”和“选择边缘节点”。 |
“边缘节点类型” |
部署方式选择节点时,显示该参数。当前仅支持选择IEF边缘节点。 ModelArts边缘节点:由ModelArts创建的边缘节点。ModelArts边缘节点相关说明请参见节点。 |
“资源实例” |
部署方式选择节点组时,显示该参数。当前仅支持一体机铂金资源实例。 |
“部署实例个数” |
部署方式选择节点组/资源池时,显示该参数。设置部署的实例个数。 |
“选择边缘节点” |
部署方式选择节点/节点组时,显示该参数。请选择对应边缘节点类型的边缘节点。不支持选择已经被边缘服务绑定的边缘节点。 |
“选择边缘资源池” |
部署方式选择资源池时,显示该参数。选择边缘资源池。边缘资源池相关说明请参见资源池。 |
“选择AI应用及配置” |
设置AI应用及对应配置。参见表2。 |
参数名称 |
说明 |
---|---|
“AI应用来源” |
根据您的实际情况选择“我的AI应用”或者“我的订阅”。 |
“选择AI应用及版本” |
选择状态“正常”的AI应用及版本。 说明: 边缘服务部署完成后,只支持修改AI应用的版本号。 |
“计算节点规格” |
请根据界面显示的列表,选择可用的规格,置灰的规格表示当前无法使用。 |
“环境变量” |
设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。 默认设置外部接口协议为https,用户可以通过修改“MODELARTS_SSL_ENABLED”环境变量设置接口协议为http。 MODELARTS_SSL_ENABLED = false |
“网络配置” |
使用ModelArts边缘资源池时,显示该参数。容器镜像应用的访问方式,支持使用主机网络或使用端口映射。 主机网络:当前版本不支持该方式访问容器镜像。 |
“数据存储” |
使用ModelArts边缘资源池时,显示该参数。设置数据的存储,需要配置存储卷类型、挂载卷名称、磁盘源、挂载路径、存储介质、权限参数。存储卷类型支持主机路径和临时路径两种。 |
完成参数填写后,根据界面提示完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。
您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”为“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。在边缘服务列表中,可以查看边缘服务的部署方式。
部署边缘服务(Atlas 500)
如果您纳管至IEF的设备是Atlas 500智能小站,则需要将训练好的模型部署至Atlas 500设备中。在开始操作之前,您需要了解如下几点要求。
对AI应用的要求:仅支持om模型或tflite模型,即支持部署在Ascend或ARM资源的模型。针对不满足格式的模型,必须经过模型转换操作,将模型转换成对应格式。模型转换操作和限制,请参见模型转换操作。
关于固件升级:如果您使用AI Gallery中新版预置算法训练得到的模型。当前此算法仅适配C32固件,不支持低级版本和C7X版本。因此将此模型部署至Atlas 500设备时,需下载并升级固件,请参考《Atlas500产品C32固件升级操作指导》升级Atlas 500设备。如果您使用部署的模型适配Atlas 500原有的固件,则无需升级固件。
固件下载升级仅适用于Atlas 500。
对于预置算法训练所得的模型,要求使用AI Gallery中的预置算法,且算法支持snt3进行推理。
将AI应用部署至Atlas 500,请参考如下步骤进行操作。
登录ModelArts管理控制台,在左侧导航栏中选择“部署上线>边缘服务”,默认进入“边缘服务”列表。
在边缘服务列表中,单击左上角“部署”,进入“部署”页面。
在部署页面,填写边缘服务相关参数,然后单击“立即创建”。
填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成,建议根据实际业务填写有意义的名称。
填写边缘服务参数,详情请参见表3。
参数名称 |
说明 |
---|---|
“部署方式” |
选择“节点”。 |
“边缘节点类型” |
选择“IEF边缘节点”。 |
“选择边缘节点” |
边缘节点是您自己的边缘计算设备,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。 单击选择边缘节点右侧的“添加”,在弹出的“添加节点”对话框中,选择在IEF中纳管的Atlas 500节点,然后单击“确定”。 ModelArts系统会进行自动识别和匹配,如果纳管的设备未升级至符合要求的固件,则需根据界面提示完成C32固件升级。反之,则不需要进行固件升级。 |
“AI应用来源” |
根据您的实际情况选择“我的AI应用”或者“我的订阅”。 |
“选择AI应用及版本” |
从下拉列表中选择可用的AI应用及版本。 说明: 选择的模型是om或tflite格式的,即经过模型转换,然后使用“ARM-Ascend模板”导入至ModelArts创建为AI应用。 |
“计算节点规格” |
选择符合要求的AI应用后,计算节点规格默认支持如下两种: ARM:Ascend: 1* snt3 (8GB) | ARM: 3 核 3GB |
“环境变量” |
设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。 |
(可选)Atlas 500设备升级C32固件。
根据界面提示,在节点列表下方单击“升级C32固件”,在弹出的对话框中,仔细阅读升级说明,勾选“我已阅读并同意以上内容”,然后单击“下载”,将固件版本及升级指导下载至本地。文件名称为“atlas500_C32_Firmware.zip”。
解压“atlas500_C32_Firmware.zip”文件,打开Atlas500产品C32固件升级操作指导.doc文件,根据指导完成Atlas 500的固件升级操作。
待Atlas 500升级后,重新部署边缘服务。
刷新ModelArts管理控制台页面,根据1~3步骤,重新填写部署边缘服务的信息,此时选择升级后的Atlas 500,则不会再出现升级提示。
完成参数填写后,单击“立即创建”,完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。
您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”为“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。部署完成后,您可以登录Atlas 500查看部署完成的应用。
父主题: 部署AI应用(边缘服务)
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家