华为云AI开发平台ModelArts模型开发简介_云淘科技
AI模型开发的过程，称之为Modeling，一般包含两个阶段： 开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，…
华为云AI开发平台ModelArts清除训练作业资源_云淘科技
如果不再需要使用此训练任务，建议清除相关资源，避免产生不必要的费用。 在“训练作业”页面，“删除”运行结束的训练作业。您可以单击“操作”列的“删除”，在弹出的提示框中单击“确认”，删除对应的训练作业。 进入OBS，删除本示例使用的OBS桶及…
华为云AI开发平台ModelArts创建数据处理任务_云淘科技
您可以创建一个数据处理任务，对已有的数据进行数据校验、数据清洗、数据选择或者数据增强操作。 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录Mo…
华为云对象存储OBS使用前须知(Java SDK)_云淘科技
本文介绍Java SDK的版本变更，并提供版本兼容性说明，以及其他使用前须知。 变更说明 如表1所示，本节将为您展示Java SDK的版本变更情况和兼容性说明。 表1 Java SDK版本变更及兼容性说明 版本 变更类型 说明 是否兼容 v…
华为云AI开发平台ModelArts可视化训练作业介绍_云淘科技
ModelArts支持在新版开发环境中开启TensorBoard和MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 ModelArts可视化作业支持…
华为云AI开发平台ModelArts故障临终遗言_云淘科技
使用场景 随着模型规模和数据集的急剧增长，需要利用大规模的训练集训练大规模的神经网络。在大规模集群分布式训练时，会遇到集群中某个芯片、某台服务器故障，导致分布式训练任务失败。临终遗言是指中断的训练任务支持自动恢复，并可以在上一次训练中断的基…
华为云AI开发平台ModelArts数据去冗余_云淘科技
RRD算子概述 可以依据用户设置的比例去除差异最大的数据。 图1 RRD效果图 表1 高级参数说明 参数名 是否必选 默认值 参数说明 sample_ratio 否 0.9 数据留下的百分比。取值范围为0~1。例如0.9表示保留百分之90的…
华为云对象存储OBSJava SDK接口概览(Java SDK)_云淘科技
桶相关接口 桶相关接口如下表所示。 表1 桶相关接口概览 接口名 方法 功能描述 示例代码源代码 创建桶 obsClient.createBucket(CreateBucketRequest request) 在当前账号按照用户指定的桶名创…
华为云AI开发平台ModelArts开发自定义脚本_云淘科技
当您使用预置框架创建算法时，您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时，您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数和训练输出路径参数。这四种输入…
华为云AI开发平台ModelArts训练容错检查_云淘科技
用户在训练模型过程中，存在因硬件故障而产生的训练失败场景。针对硬件故障场景，ModelArts提供容错检查功能，帮助用户隔离故障节点，优化用户训练体验。 容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一…
