华为云AI开发平台ModelArts使用已有算法训练模型_云淘科技
针对您创建的算法,或者是从AI Gallery订阅的算法,支持快速使用此算法创建训练作业,构建模型。
前提条件
数据已完成准备:已在ModelArts中创建可用的数据集,或者您已将用于训练的数据上传至OBS目录。
“算法管理”中,已创建算法或者订阅算法。新创建的算法仅在新版训练中支持,请参见模型开发>创建算法章节。
已在OBS创建至少1个空的文件夹,用于存储训练输出的内容。
由于训练作业运行需消耗资源,确保帐户未欠费。
确保您使用的OBS目录与ModelArts在同一区域。
注意事项
训练作业指定的数据集目录中,用于训练的数据名称(如图片名称、音频文件名、标注文件名称等),名称长度限制为0~255英文字符。如果数据集目录下,部分数据的文件名称超过255英文字符,训练作业将不会使用此数据,使用符合要求的数据继续进行训练。如果数据集目录下,所有数据的文件名称都超过了255英文字符,导致训练作业无数据可用,则会导致训练作业失败。
创建训练作业
登录ModelArts管理控制台,在左侧导航栏中选择“训练管理 > 训练作业”,默认进入“训练作业”列表。
在训练作业列表中,单击左上角“创建”,进入“创建训练作业”页面。
在创建训练作业页面,填写训练作业相关参数,然后单击“下一步”。
填写基本信息,包含“名称”和“描述”。“版本”信息由系统自动生成,按“V0001”、“V0002”规则命名,用户无法修改。
填写作业参数。包含数据来源、算法来源等关键信息,详情请参见表1。数据来源的可选范围与已有算法的使用约束保持一致。
参数名称 |
子参数 |
说明 |
---|---|---|
算法来源 |
算法管理 |
选择“算法管理”,在“算法名称”右侧单击“选择”,进入“算法管理”对话框。 选择“我的算法”页签,您可以根据实际需求选择已创建成功的算法。新创建的算法仅在新版训练中支持,请参见模型开发>创建算法章节。 |
训练输入 |
数据来源>数据集 |
从ModelArts数据管理中选择可用的数据集及其版本。 “选择数据集”:从右侧下拉框中选择ModelArts系统中已发布的数据集。当ModelArts无可用数据集时,此下拉框为空。 |
数据来源>数据存储位置 |
从OBS桶中选择训练数据。在“数据存储位置”右侧,单击“选择”,从弹出的对话框中,选择数据存储的OBS桶及其文件夹。 |
|
训练输出 |
模型输出 |
选择训练结果的存储位置(OBS路径)。为避免出现错误,建议选择一个空目录用作“模型输出”,请勿将数据集存储的目录作为训练输出位置。 |
超参 |
– |
此参数根据您选择的算法不同而不同。 如果创建的算法或订阅的算法,定义了相关的调优参数,则需在创建训练作业时,填写对应调优参数的参数值。您可以单击“增加超参”,添加多条。 |
作业日志路径 |
– |
选择作业运行中产生的日志文件存储路径。 |
选择用于训练作业的资源。训练参数的可选范围与已有算法的使用约束保持一致。
参数名称 |
说明 |
---|---|
资源池 |
选择训练作业资源池。训练作业支持选择“公共资源池”和“专属资源池”。 |
规格 |
针对不同的资源类型,选择资源规格。GPU资源性能更佳,CPU资源性价比更高。如果您的算法已定义使用CPU或GPU,根据已有算法约束条件,您可以在有效规格选择合适的资源规格,无效选项置灰不可选。 Ascend资源仅在“华北-北京四”可用。 不同的资源类型的数据盘容量是不同的,详细介绍参考训练环境中不同规格资源“/cache”目录的大小。 |
计算节点个数 |
选择计算节点的个数。默认值为“1”。 |
配置订阅消息,并设置是否将当前训练作业中的参数保存为作业参数。
图1 配置训练作业订阅消息
参数名称 |
说明 |
---|---|
订阅消息 |
订阅消息使用消息通知服务,在事件列表中选择需要监控的资源池状态,在事件发生时发送消息通知。 此参数为可选参数,您可以根据实际情况设置是否打开开关。如果开启订阅消息,请根据实际情况填写如下参数。 “主题名”:订阅消息主题名称。您可以单击创建主题,在消息通知服务中创建主题。 |
保存作业参数 |
勾选此参数,表示将当前训练作业设置的作业参数保存,方便后续一键复制使用。 勾选“保存作业参数”,然后填写“作业参数名称”和“作业参数描述”,即可完成当前参数配置的保存。训练作业创建成功后,您可以从ModelArts的作业参数列表中查看保存的信息,详细操作指导请参见管理作业参数。 |
完成参数填写后,单击“下一步”。
在“规格确认”页面,确认填写信息无误后,单击“提交”,完成训练作业的创建。训练作业一般需要运行一段时间,根据您选择的数据量和资源不同,训练将耗时几分钟到几十分钟不等。
训练作业创建完成后,将立即启动,运行过程中将按照您选择的资源按需计费。
您可以前往训练作业列表,查看训练作业的基本情况。在训练作业列表中,刚创建的训练作业“状态”为“初始化”,当训练作业的“状态”变为“运行成功”时,表示训练作业运行结束,其生成的模型将存储至对应的“训练输出”中。当训练作业的“状态”变为“运行失败”时,您可以单击训练作业的名称,进入详情页面,通过查看日志等手段处理问题。
父主题: 创建训练作业
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家