华为云AI开发平台ModelArts故障恢复_云淘科技
ModelArts全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。
ModelArts通过对DB的数据进行备份,保证在原数据被破坏或损坏的情况下可以恢复业务。
开发环境故障恢复
针对用户创建的Notebook计算实例,后台计算节点故障后会立即自动迁移到其他可用节点上,实例状态会自动恢复。针对数据存储部分,提供了云硬盘存储挂载方式,华为云云硬盘提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,数据持久性高达99.9999999%。
训练故障自动恢复
用户在训练模型过程中,存在因硬件故障而产生的训练失败场景。针对硬件故障场景,ModelArts提供容错检查功能,帮助用户隔离故障节点,优化用户训练体验。
容错检查包括两个检查项:环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出 现故障时,隔离故障硬件并重新下发训练作业。针对于分布式场景,容错检查会检查本次训练作业的全部计算节点。
推理部署故障恢复
用户部署的在线推理服务运行过程中,如发生硬件故障导致推理实例故障,ModelArts会自动检测到并迁移受影响实例到其它可用节点,实例启动后恢复推理请求处理能力。故障的硬件节点会自动隔离不再调度和运行推理服务实例。
父主题: 安全
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家