自动扩缩容,用户可以设置合理的弹性伸缩策略,在高、低峰时间段自动对实例进行扩容或缩容的操作,进而提高资源的利用率。 前提条件 服务状态处于“运行中”、“异常”和“告警”,才能执行扩缩容操作。 约束限制 公共资源池部署的在线服务不支持自动扩缩…
ModelArts在线服务当前提供两种方式的扩缩容方式,手动扩缩容和自动扩缩容,应对用户多样化的需求。目前只支持对单个AI应用实例数进行修改。 手动扩缩容:用户可以手动触发在线服务扩缩容,支持对单个AI应用的实例数量进行修改,减少修改实例数…
“从模板中选择”功能即将下线。后续您可以通过“从对象存储服务(OBS)中选择”的AI引擎“Custom”模式,导入自定义引擎,来实现AI引擎和模型配置模板化的功能。 相同功能的模型配置信息重复率高,将相同功能的配置整合成一个通用的模板,通过…
针对使用常用框架完成模型开发和训练的场景,可以将您的模型导入至ModelArts中,创建为AI应用,并进行统一管理。 约束与限制 针对创建AI应用的模型,需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要…
创建资源池之前,需要先激活ModelArts边缘节点或者纳管IEF边缘节点。边缘资源池创建完成后,您可以对资源池进行修改和删除操作,同时支持查看资源池详情信息。 创建边缘资源池 登录ModelArts管理控制台,在左侧菜单栏中选择“边缘资源…
在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测。 在线服务的API默认为HTTPS访问,同时还支…
在AI应用管理创建AI应用时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。 模型包规范适用于单模型场景,若是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜…
本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明,针对常用AI引擎的自定义脚本代码示例(包含推理代码示例),请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自…
TensorFlow存在两种接口类型,keras接口和tf接口,其训练和保存模型的代码存在差异,但是推理代码编写方式一致。 训练模型(keras接口) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18…
AI应用准备完成后,您可以将AI应用部署为在线服务,对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。 由于在线运行需消耗资源,确保…