AI Gallery支持将模型进行微调，训练后得到更优模型。

场景描述

模型微调是深度学习中的一种重要技术，它是指在预训练好的模型基础上，通过调整部分参数，使其在特定任务上达到更好的性能。 在实际应用中，预训练模型往往是在大规模通用数据集上训练得到的，而在特定任务上，这些模型的参数可能并不都是最优的，因此需要进行微调。

AI Gallery的模型微调，简单易用，用户只需要选择训练数据、创建微调任务，模型微调就会对数据进行训练，快速生成模型。

进入模型微调

登录AI Gallery。
单击“模型”进入模型列表。
选择需要进行微调训练的模型，单击模型名称进入模型详情页。
在模型详情页，选择“训练 > 微调大师”，进入微调工作流页面。

准备数据

从本地上传数据前，需要确保您本地的数据已按照样例完成编排。
单次最多支持100个文件同时上传，并且仅支持上传.csv、.json、.jsonl、txt、.jpg、.pnp类型的文件且总大小不超过5G。

在微调工作流的“数据准备”环节选择数据集。

从本地上传

在“从本地上传”处，单击“点击上传”，选择本地编排好的训练数据。
数据上传成功后，页面会有提示信息。

此时AI Gallery会自动新建一个数据集，单击提示信息处的“查看”可以进入数据集详情页，也可以在“我的Gallery > 数据集 > 我创建的数据集”进入数据集详情页查看。

从AI Gallery中选

单击“从AI Gallery中选择”。
在弹窗中，从“我创建的”或“我收藏的”数据集中选择所需要数据集。
选择完成后，单击“确定”。

数据准备完成后，单击“下一步”进入“作业设置”环节。

设置并启动作业

在微调工作流的“作业设置”环节配置训练作业参数。

算法配置，选择微调方式。

目前AI Gallery支持的微调方式是LoRA。低秩适应（LoRA）是一种重参数化方法，旨在减少具有低秩表示的可训练参数的数量。权重矩阵被分解为经过训练和更新的低秩矩阵。所有预训练的模型参数保持冻结。训练后，低秩矩阵被添加回原始权重。这使得存储和训练 LoRA 模型更加高效，因为参数明显减少。

超参数设置，基于训练作业配置超参。

超参指的是模型训练时原始数据集中实际字段和算法需要字段之间的映射关系，常见超参说明请参见表1。

表1 常见超参说明

参数名称	参数类型	说明
data_url	String	数据OBS存储路径。
train_url	String	微调产物输出OBS路径。
train_data_file	String	训练数据文件名。
test_data_file	String	测试数据文件名。
prompt_field	String	数据prompt列名。
response_field	String	数据response列名。
history_field	String	数据history列名。
prefix	String	数据格式化时使用的前缀。
instruction_template	String	数据格式化时使用的指令模板。
response_template	String	数据格式化时使用的回答模板。
lora_alpha	int	Lora scaling 的alpha参数。
lora_dropout	float	Lora dropout概率。
lora_rank	int	Lora attention维度。
per_device_train_batch_size	int	用于训练的每个GPU/TPU core/CPU的批处理大小。
gradient_accumulation_steps	int	梯度累计步数。
max_steps	int	训练最大步数，如果数据耗尽，训练将会在最大步数前停止。
save_steps	int	checkpoint保存步数。
logging_steps	int	日志输出步数。
learning_rate	float	初始学习率。
max_grad_norm	float	梯度裁剪最大范数。
warmup_ratio	float	热身步数比。
max_seq_length	int	数据最大序列长度。
finetuned_model	String	前序微调产物OBS路径。
bits	int	模型量化bit数，如4、8。
max_eval_samples	int	最大测试数据数。

计算规格选择，按需选择计算规格。

AI Gallery提供免费资源和付费资源供用户选择，不同计算节点规格的收费标准以界面显示为准。AI Gallery支持的计算规格和计费说明请参见计算规格说明。
若选择付费资源，请确认帐号未欠费，且余额高于所选计算规格的收费标准，否则可能会导致您的训练作业中断。

作业参数配置完成后，单击“启动作业”。
在“订单信息确认”页面，确认服务信息和费用，单击“确定”提交模型训练任务。

单击“返回模型训练列表”跳转到微调大师页面，可以查看训练作业状态。

父主题： AI Gallery（新版）

同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家