华为云AI开发平台ModelArtsGPU Ant8裸金属服务器使用Megatron-Deepspeed训练GPT2并推理_云淘科技
场景描述
本文将介绍在GPU Ant8裸金属服务器中， 使用Megatron-Deepspeed框架训练GPT-2（分别进行单机单卡和单机多卡训练）。 训练完成后给出自动式生成内容，和交互式对话框模式。
背景信息
Megatron-Deepspeed
Megatron-Deepspeed 是一个由NVIDIA 开发的基于 PyTorch 的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM 和 DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个 GPU 和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。
Megatron-LM 是一个用于大规模语言建模的模型。它基于 GPT（Generative Pre-trained Transformer）架构，这是一种基于自注意力机制的神经网络模型，广泛用于自然语言处理任务，如文本生成、机器翻译和对话系统等。
DeepSpeed 是 NVIDIA 开源的加速深度学习训练的库。它针对大规模模型和分布式训练进行了优化，可以显著提高训练速度和效率。DeepSpeed 提供了各种技术和优化策略，包括分布式梯度下降、模型并行化、梯度累积和动态精度缩放等。它还支持优化大模型的内存使用和计算资源分配。
GPT2
GPT2（Generative Pre-trained Transformer 2）, 是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型, 是一个基于Transformer且非常庞大的语言模型。它在大量数据集上进行了训练， 直接运行一个预训练好的 GPT-2 模型:给定一个预定好的起始单词或者句子，可以让它自行地随机生成后续的文本。
环境准备
在华为云ModelArts DevServer预购相关超强算力的GPU裸金属服务器，并选择AIGC场景通用的镜像，完成使用Megatron-Deepspeed训练GPT2模型。本最佳实践使用以下镜像和规格：
镜像选择：Ubuntu 20.04 x86 64bit SDI3 for Ant8 BareMetal with RoCE and NVIDIA-525 CUDA-12.0。
裸金属规格选择： GPU Ant8，包含8张GPU卡以及8张RoCE网卡。
关于Ant8裸金属服务器的购买，可以在华为云官网提工单至ModelArts云服务， 完成资源的申请。
Step1 安装模型
安装Megatron-Deepspeed框架。
使用root用户SSH的方式登录GPU裸金属服务器，登录方式在华为云购买页面可以获取。
拉取pytorch镜像, 可以选择常用的镜像源进行下载。
docker pull nvcr.io/nvidia/pytorch:21.10-py3
启动容器。
docker run -d -t --network=host --gpus all --privileged --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --name megatron-deepspeed -v /etc/localtime:/etc/localtime -v /root/.ssh:/root/.ssh nvcr.io/nvidia/pytorch:21.10-py3
执行以下命令，进入容器终端。
docker exec -it megatron-deepspeed bash
下载Megatron-DeepSpeed框架。
git clone https://github.com/bigscience-workshop/Megatron-DeepSpeed
若git clone失败，可以尝试先下载至本地，然后拷贝至服务器中，在docker cp至容器中。
安装Megatron-DeepSpeed框架。
cd Megatron-DeepSpeed pip install -r requirements.txt -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com pip install mpi4py -i http://mirrors.myhuaweicloud.com/pypi/web/simple --trusted-host mirrors.myhuaweicloud.com
修改测试代码，注释掉以下文件的断言所在行。
vim /workspace/Megatron-DeepSpeed/megatron/model/fused_softmax.py +191
在“assert mask is None, “Mask is silently ignored due to the use of a custom kernel””前加“#”，即：
# assert mask is None, "Mask is silently ignored due to the use of a custom kernel"
数据集下载和预处理。
本实践中选择使用1GB 79K-record的JSON格式的OSCAR数据集。
下载数据集。
wget https://huggingface.co/bigscience/misc-test-data/resolve/main/stas/oscar-1GB.jsonl.xz wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-vocab.json wget https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-merges.txt
解压数据集。
xz -d oscar-1GB.jsonl.xz
预处理数据。
python3 tools/preprocess_data.py \
--input oscar-1GB.jsonl \
--output-prefix meg-gpt2 \
--vocab gpt2-vocab.json \
--dataset-impl mmap \
--tokenizer-type GPT2BPETokenizer \
--merge-file gpt2-merges.txt \
--append-eod \
--workers 8
若发生如下“np.float”报错，按照报错提示修改为“float”即可。
图1 预处理数据报错
数据预处理完成标识。
图2 数据预处理完成
新建data目录并移动处理好的数据。
mkdir data mv meg-gpt2* ./data mv gpt2* ./data
Step2 单机单卡训练
本小节使用上文的服务器环境和安装好的模型， 使用GPU Ant8裸金属服务器， 完成单机单卡GPT-2 MEDIUM模型的训练。
创建预训练脚本文件。
执行以下命令，创建预训练脚本文件。
vim pretrain_gpt2.sh
在文件中添加以下信息。
#! /bin/bash
# Runs the "345M" parameter model
GPUS_PER_NODE=1
# Change for multinode config
MASTER_ADDR=localhost
MASTER_PORT=6000
NNODES=1
NODE_RANK=0
WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))
DATA_PATH=data/meg-gpt2_text_document
CHECKPOINT_PATH=checkpoints/gpt2
DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"
python -m torch.distributed.launch $DISTRIBUTED_ARGS \
pretrain_gpt.py \
--tensor-model-parallel-size 1 \
--pipeline-model-parallel-size 1 \
--num-layers 24 \
--hidden-size 1024 \
--num-attention-heads 16 \
--micro-batch-size 4 \
--global-batch-size 8 \
--seq-length 1024 \
--max-position-embeddings 1024 \
--train-iters 5000 \
--lr-decay-iters 320000 \
--save $CHECKPOINT_PATH \
--load $CHECKPOINT_PATH \
--data-path $DATA_PATH \
--vocab-file data/gpt2-vocab.json \
--merge-file data/gpt2-merges.txt \
--data-impl mmap \
--split 949,50,1 \
--distributed-backend nccl \
--lr 0.00015 \
--lr-decay-style cosine \
--min-lr 1.0e-5 \
--weight-decay 1e-2 \
--clip-grad 1.0 \
--lr-warmup-fraction .01 \
--checkpoint-activations \
--log-interval 10 \
--save-interval 500 \
--eval-interval 100 \
--eval-iters 10 \
--fp16
开始训练。
本文是单机单卡训练，使用预训练脚本参数控制：
GPUS_PER_NODE=1 NNODES=1 NODE_RANK=0
执行以下命令，开始预训练。
nohup sh ./pretrain_gpt2.sh &
图3 开始预训练
实时查看训练日志，监控程序。
tail -f nohup.out
如果显示如下信息， 表示模型训练完成。
图4 模型训练完成
在训练过程中观察单GPU卡的利用率，如下：
图5 GPU利用率
查看生成的模型checkpoint。
本示例生成的模型checkpoint路径设置在“/workspace/Megatron-DeepSpeed/checkpoints/gpt2”。
ll ./checkpoints/gpt2
图6 模型checkpoint
Step3 单机多卡训练
和单机单卡训练相比， 单机多卡训练只需在预训练脚本中设置多卡参数相关即可， 其余步骤与单机单卡相同。
当前选择GPU裸金属服务器是8卡， 因此需要调整如下参数：
GPUS_PER_NODE=8
调整全局批处理大小（global batch size）、微批处理大小（micro batch size）、数据并行大小（data_parallel_size）参数。三者的关系为：”global_batch_size”可被”micro_batch_size * data_parallel_size”整除。
本文设置的参数值如下：
global_batch_size = 64 micro_batch_size = 4 data_parallel_size = 8
单机多卡完整的预训练脚本内容如下：
#! /bin/bash
# Runs the "345M" parameter model
GPUS_PER_NODE=8
# Change for multinode config
MASTER_ADDR=localhost
MASTER_PORT=6000
NNODES=1
NODE_RANK=0
WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))
DATA_PATH=data/meg-gpt2_text_document
CHECKPOINT_PATH=checkpoints/gpt2
DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"
python -m torch.distributed.launch $DISTRIBUTED_ARGS \
pretrain_gpt.py \
--tensor-model-parallel-size 1 \
--pipeline-model-parallel-size 1 \
--num-layers 24 \
--hidden-size 1024 \
--num-attention-heads 16 \
--micro-batch-size 4 \
--global-batch-size 64 \
--seq-length 1024 \
--max-position-embeddings 1024 \
--train-iters 5000 \
--lr-decay-iters 320000 \
--save $CHECKPOINT_PATH \
--load $CHECKPOINT_PATH \
--data-path $DATA_PATH \
--vocab-file data/gpt2-vocab.json \
--merge-file data/gpt2-merges.txt \
--data-impl mmap \
--split 949,50,1 \
--distributed-backend nccl \
--lr 0.00015 \
--lr-decay-style cosine \
--min-lr 1.0e-5 \
--weight-decay 1e-2 \
--clip-grad 1.0 \
--lr-warmup-fraction .01 \
--checkpoint-activations \
--log-interval 10 \
--save-interval 500 \
--eval-interval 100 \
--eval-iters 10 \
--fp16
训练时监控的GPU利用率如下：
图7 GPU利用率
Step4 使用GPT-2模型生成文本
自动式生成文本。
执行以下命令，创建文本生成脚本。
vim generate_text.sh
增加内容如下：
#!/bin/bash
CHECKPOINT_PATH=checkpoints/gpt2
VOCAB_FILE=data/gpt2-vocab.json
MERGE_FILE=data/gpt2-merges.txt
python tools/generate_samples_gpt.py \
--tensor-model-parallel-size 1 \
--num-layers 24 \
--hidden-size 1024 \
--load $CHECKPOINT_PATH \
--num-attention-heads 16 \
--max-position-embeddings 1024 \
--tokenizer-type GPT2BPETokenizer \
--fp16 \
--micro-batch-size 2 \
--seq-length 1024 \
--out-seq-length 1024 \
--temperature 1.0 \
--vocab-file $VOCAB_FILE \
--merge-file $MERGE_FILE \
--genfile unconditional_samples.json \
--num-samples 2 \
--top_p 0.9 \
--recompute
执行以下脚本，生成文本。
sh ./generate_text.sh
若回显信息如下，则表示生成文本完成。
图8 生成文本完成信息
查看模型生成的文本文件。
cat unconditional_samples.json
回显信息如下：
图9 文件信息
交互式对话模式。
执行以下命令，创建文本生成脚本。
vim interactive_text.sh
写入如下内容：
#!/bin/bash
CHECKPOINT_PATH=/workspace/Megatron-DeepSpeed/checkpoints/gpt2_345m
VOCAB_FILE=/workspace/Megatron-DeepSpeed/data/gpt2-vocab.json
MERGE_FILE=/workspace/Megatron-DeepSpeed/data/gpt2-merges.txt
deepspeed /workspace/Megatron-DeepSpeed/tools/generate_samples_gpt.py \
--tensor-model-parallel-size 1 \
--num-layers 24 \
--hidden-size 1024 \
--load $CHECKPOINT_PATH \
--num-attention-heads 16 \
--max-position-embeddings 1024 \
--tokenizer-type GPT2BPETokenizer \
--fp16 \
--micro-batch-size 2 \
--seq-length 1024 \
--out-seq-length 1024 \
--temperature 1.0 \
--vocab-file $VOCAB_FILE \
--merge-file $MERGE_FILE \
--genfile unconditional_samples.json \
--num-samples 0 \
--top_p 0.9 \
--recompute
执行以下脚本，开启交互式对话。
bash interactive_text.sh
回显信息如下, 输入huawei并回车后生成内容：
Context prompt (stop to exit) >>> huawei
回车后自动输出相关文本， 输出内容与模型训练、数据集强相关，这里仅为示例。
图10 模型输出文本信息
父主题： DevServer资源使用
同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
