标签： 14_推理部署

边缘资源池是边缘服务部署专用的资源池，是租户边缘侧的运行节点集合。推理服务在边缘池上运行，用户创建对应异步服务或边缘同步服务后，边缘服务会调度选择合适的节点运行异步算法容器，进行异步服务或边缘同步服务的处理。 节点 边缘节点是ModelAr…

“从模板中选择”功能即将下线。后续您可以通过“从对象存储服务（OBS）中选择”的AI引擎“Custom”模式，导入自定义引擎，来实现AI引擎和模型配置模板化的功能。 相同功能的模型配置信息重复率高，将相同功能的配置整合成一个通用的模板，通过…

当AI应用创建成功后，您可在AI应用列表页查看所有创建的AI应用。AI应用列表页包含以下信息。 表1 AI应用列表 参数 说明 AI应用名称 AI应用的名称。 最新版本 AI应用的当前最新版本。 状态 AI应用当前状态。 部署类型 AI应用…

当AI应用部署为在线服务成功后，您可以在在线服务列表页查看所有创建的在线服务。在线服务列表页包含以下信息。 表1 在线服务列表 参数 说明 名称/ID 在线服务的名称 状态 在线服务当前状态。 监控 单击可查看性能监控相关信息，监控相关介绍…

服务创建后，用户需要掌握自己的在线服务和对应AI应用版本的监控数据。可以通过“服务列表-监控列”和“服务详情-监控信息页签”两种方式查看服务和对应AI应用版本的监控数据。 监控指标 监控数据见下表： 表1 监控指标 参数名称 参数说明 CP…

在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测。 在线服务的API默认为HTTPS访问，同时还支…

在AI应用管理创建AI应用时，如果是从OBS中导入元模型，则需要符合一定的模型包规范。 模型包规范适用于单模型场景，若是多模型场景（例如含有多个模型文件）推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎，推荐使用自定义镜…

TensorFlow存在两种接口类型，keras接口和tf接口，其训练和保存模型的代码存在差异，但是推理代码编写方式一致。 训练模型（keras接口） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18…

本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明，针对常用AI引擎的自定义脚本代码示例（包含推理代码示例），请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自…

背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平…