华为云AI开发平台ModelArts部署为在线服务_云淘科技

AI应用准备完成后,您可以将AI应用部署为在线服务,对在线服务进行预测和调用。

约束与限制

单个用户最多可创建20个在线服务。

前提条件

数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。
由于在线运行需消耗资源,确保帐户未欠费。

操作步骤

登录ModelArts管理控制台,在左侧导航栏中选择“部署上线 > 在线服务”,默认进入“在线服务”列表。
在“在线服务”列表中,单击左上角“部署”,进入“部署”页面。
在“部署”页面,填写在线服务相关参数。

填写基本信息,详细参数说明请参见表1。

表1 基本信息参数说明

参数名称

说明

“名称”

在线服务的名称,请按照界面提示规则填写。

“是否自动停止”

启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”。

目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。

“描述”

在线服务的简要说明。

填写资源池和AI应用配置等关键信息,详情请参见表2。

表2 参数说明

参数名称

子参数

说明

“资源池”

“公共资源池”

公共资源池有CPU或GPU两种规格,不同规格的资源池,其收费标准不同,详情请参见价格详情说明。当前仅支持按需付费模式。

“专属资源池”

在专属资源池规格中选择对应的规格进行使用。暂不支持选择创建了逻辑子池的物理池。

说明:

旧版“专属资源池”将逐渐迁移至新版“专属资源池”。
新用户和旧版“专属资源池”迁移完成的老用户在ModelArts管理控制台只能看到新版的“专属资源池”。
旧版“专属资源池”未迁移的老用户,可以看到两个专属资源池,其中“专属资源池 New”为新版的专属资源池。

了解新版“专属资源池”请参见ModelArts资源池管理功能全面升级

“选择AI应用及配置”

“AI应用来源”

根据您的实际情况选择“我的AI应用”或者“我的订阅”。

“选择AI应用及版本”

选择状态“正常”的AI应用及版本。

“流数量”

设置当前实例节点的流量占比,服务调用请求根据该比例分配到当前版本上。

如您仅部署一个版本的AI应用,请设置为100%。如您添加多个版本进行灰度发布,多个版本分流之和设置为100%。

“计算节点规格”

请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。

如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池,或者联系系统管理员创建公共资源池。

说明:

使用所选规格部署服务时,会产生必要的系统消耗,因此服务实际占用的资源会略大于该规格。

“计算节点个数”

设置当前版本AI应用的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。

“环境变量”

设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。

“部署超时时间”

用于设置单个模型实例的超时时间,包括部署和启动时间。默认值为20分钟,输入值必须在3到120之间。

“添加AI应用版本进行灰度发布”

当选择的AI应用有多个版本时,您可以添加多个AI应用版本,并配置其分流占比,完成多版本和灵活流量策略的灰度发布,实现AI应用版本的平滑过渡升级。

说明:

当前免费计算规格不支持多版本灰度发布。

“存储挂载”

在服务运行时将存储卷以本地目录的方式挂载到计算节点(计算实例),模型或输入数据较大时建议使用。存储卷类型分为两类:OBS并行文件系统和SFS文件系统。目前仅支持OBS并行文件系统。

OBS并行文件系统

源地址:选择并行文件的存储路径。不支持选择跨区域(Region)的OBS并行文件系统。
挂载路径:指定容器内部的挂载路径,如“/tmp”。

请不要挂载在系统目录下,如“/”、“/var/run”,避免容器异常。
建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。
挂载路径必须以/开头,仅允许输入英文、数字和特殊字符\_-且不超过1024个字符。

SFS文件系统(暂不支持)

说明:

使用专属资源池部署服务才允许使用存储挂载的能力。

“服务流量限制”

服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。

“升级为WebSocket”

设置在线服务是否部署为WebSocket服务。了解在线服务支持WebSocket,请参考WebSocket在线服务全流程开发。

说明:

要求AI应用的元模型来源为从容器镜像中选择,并且镜像支持WebSocket。
设置“升级为WebSocket”后,不支持设置“服务流量限制”。
“升级为WebSocket”参数配置,不支持修改。

“运行日志输出”

默认关闭,在线服务的运行日志仅存放在ModelArts日志系统,在服务详情页的“日志”支持简单查询。

若开启此功能,在线服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。如需了解LTS专业日志管理功能,请参见云日志服务。

说明:

“运行日志输出”开启后,不支持关闭。
LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则。

“支持APP认证”

“APP授权配置”

默认关闭。如需开启此功能,请参见访问在线服务(APP认证)了解详情并根据实际情况进行设置。

“订阅消息”

订阅消息使用消息通知服务,在事件列表中选择需要监控的服务状态,在事件发生时发送消息通知。

图1 设置AI应用相关信息

可选:配置高级选项。

表3 高级选项参数说明

参数名称

说明

“支持IPV6”

默认关闭。开启该功能后,待在线服务部署完成,服务预测地址中的域名在公网解析时可解析为IPV6地址。

须知:

仅支持部署时开启,开启后不支持修改。
仅北京四支持该功能。

“标签”

ModelArts支持对接标签管理服务TMS,在ModelArts中创建资源消耗性任务(例如:创建Notebook、训练作业、推理在线服务)时,可以为这些任务配置标签,通过标签实现资源的多维分组管理。

标签详细用法请参见ModelArts如何通过标签实现资源分组管理。

说明:

可以在标签输入框下拉选择TMS预定义标签,也可以自己输入自定义标签。预定义标签对所有支持标签功能的服务资源可见。租户自定义标签只对自己服务可见。

确认填写信息无误后,根据界面提示完成在线服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。

在线服务部署完成后,将立即启动。服务为“运行中”,“告警”状态下正常运行实例正在产生费用,不使用时,请及时停止。

您可以前往在线服务列表,查看在线服务的基本情况。在线服务列表中,刚部署的服务“状态”为“部署中”,当在线服务的“状态”变为“运行中”时,表示服务部署完成。

父主题: 部署AI应用(在线服务)

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家