标签： 14_推理部署

当AI应用创建成功后，您可在AI应用列表页查看所有创建的AI应用。AI应用列表页包含以下信息。 表1 AI应用列表 参数 说明 AI应用名称 AI应用的名称。 最新版本 AI应用的当前最新版本。 状态 AI应用当前状态。 部署类型 AI应用…

当AI应用部署为在线服务成功后，您可以在在线服务列表页查看所有创建的在线服务。在线服务列表页包含以下信息。 表1 在线服务列表 参数 说明 名称/ID 在线服务的名称 状态 在线服务当前状态。 监控 单击可查看性能监控相关信息，监控相关介绍…

服务创建后，用户需要掌握自己的在线服务和对应AI应用版本的监控数据。可以通过“服务列表-监控列”和“服务详情-监控信息页签”两种方式查看服务和对应AI应用版本的监控数据。 监控指标 监控数据见下表： 表1 监控指标 参数名称 参数说明 CP…

当AI应用部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“部署上线>在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。 您可以查看服务…

手动扩缩容，支持对单个AI应用的实例数量进行手动修改，减少修改实例数的耗时。 前提条件 服务状态处于“运行中”、“异常”和“告警”，才能执行扩缩容操作。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在…

AI应用准备完成后，您可以将AI应用部署为边缘服务。在“部署上线>边缘服务”界面，列举了用户所创建的边缘服务。边缘服务依赖智能边缘平台（IEF），部署前需要在智能边缘平台上创建边缘节点。 前提条件 数据已完成准备：已在ModelArt…

自动扩缩容，用户可以设置合理的弹性伸缩策略，在高、低峰时间段自动对实例进行扩容或缩容的操作，进而提高资源的利用率。 前提条件 服务状态处于“运行中”、“异常”和“告警”，才能执行扩缩容操作。 约束限制 公共资源池部署的在线服务不支持自动扩缩…

ModelArts在线服务当前提供两种方式的扩缩容方式，手动扩缩容和自动扩缩容，应对用户多样化的需求。目前只支持对单个AI应用实例数进行修改。 手动扩缩容：用户可以手动触发在线服务扩缩容，支持对单个AI应用的实例数量进行修改，减少修改实例数…

“从模板中选择”功能即将下线。后续您可以通过“从对象存储服务（OBS）中选择”的AI引擎“Custom”模式，导入自定义引擎，来实现AI引擎和模型配置模板化的功能。 相同功能的模型配置信息重复率高，将相同功能的配置整合成一个通用的模板，通过…

针对使用常用框架完成模型开发和训练的场景，可以将您的模型导入至ModelArts中，创建为AI应用，并进行统一管理。 约束与限制 针对创建AI应用的模型，需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要…