teccon forum

LLMファインチューニング技術

7 min read

LLMファインチューニングの実践

本書では、オープンソースの大規模言語モデル（LLM）を独自データでファインチューニングする手順と、最適なハードウェア構成について詳述します。特に、Llama 3.1などの最新モデルを対象とし、GPUリソースを効率的に利用する方法、データの分割、並行処理、ベンチマーク、推奨設定に焦点を当てます。

環境構築

ファインチューニングを行う際、まず適切なハードウェアとソフトウェアの構成が必要です。RTX 60000 Ada GPUを用いる場合、その特徴やリソースの使い方を最大限に引き出すための準備を整えることが重要です。

必要なハードウェア

GPU
・RTX 60000 Ada（48GBメモリ）を最低2機で構成することが推奨される。
・GPU間の通信速度を最大化するため、NVLinkを利用する。
・PCIeスロットが充分に高速であることを確認する。

CPU
・AMD EPYC または Intel Xeonシリーズを推奨する。マルチコア処理に強いモデルを選定すること。
・GPUの処理をサポートできるだけのCPUメモリ（128GB以上）が必要。

ストレージ
・高速なNVMe SSDを使用することで、学習データのI/Oを高速化する。
・最小限2TBの容量が必要。

ネットワーク
・分散学習時に必要な高速なネットワーク（Infinibandなど）を用いること。

ソフトウェア環境

以下のソフトウェアが必要です。

・PyTorch: モデルの学習に必須。pipまたはcondaでインストール可能。
・Transformers (Hugging Face): Llama 3.1をはじめとする多くのLLMに対応しているライブラリ。
・DeepSpeed: 分散学習とメモリ効率化のために必要。
・CUDA: NVIDIAのGPUを利用するために必須。バージョンはGPUに対応するものを確認すること。
・NCCL: マルチGPU環境での通信を最適化するために使用する。
・Apex: FP16トレーニング（混合精度トレーニング）を有効にする。

pip install torch torchvision transformers deepspeed apex

データ準備

ファインチューニングに必要なデータは、モデルが解くべきタスクに応じて用意します。例えば、文書分類、質問応答、対話生成などのタスクに対して適切な形式に整形します。

データの形式

・データは、通常JSON、CSV、またはプレーンテキストで提供する。
・学習データと検証データに分割する（典型的には80%が学習用、20%が検証用）。
・データのラベルが明確に定義されていることが必要。

データ前処理

以下の前処理が必要です。

・正規化: すべてのテキストデータを小文字に変換し、不要な記号を削除する。
・トークン化: 各単語や文字列をトークンに分割する。Hugging FaceのTokenizerを使用する。
・トークン数の制限: 各入力文がモデルの入力長を超えないようにカットする。Llama 3.1の最大トークン数は4096である。

from transformers import LlamaTokenizer
 
tokenizer = LlamaTokenizer.from_pretrained("huggingface/llama-3b")
train_dataset = tokenizer(data, padding="max_length", max_length=4096, truncation=True, return_tensors="pt")

モデルのファインチューニング

次に、モデルのファインチューニングを行います。RTX 60000 Adaを2機使用する場合、マルチGPU環境で効率的に計算を行うための設定が必要です。

モデルのロード

from transformers import LlamaForCausalLM, Trainer, TrainingArguments
 
model = LlamaForCausalLM.from_pretrained("huggingface/llama-3b")

トレーニング設定

・DeepSpeedと混合精度学習（FP16）を使用することで、メモリ使用量と計算速度を最適化する。
・マルチGPUトレーニングではDataParallelまたはDistributedDataParallelを使い、各GPUにデータを分割して並行処理を行う。

training_args = TrainingArguments(
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    num_train_epochs=3,
    deepspeed="ds_config.json",
    fp16=True,
    output_dir="./results",
    logging_dir="./logs",
)

ds_config.json でDeepSpeedの設定を行う。

{
  "train_batch_size": 8,
  "gradient_accumulation_steps": 2,
  "fp16": {
    "enabled": true
  },
  "zero_optimization": {
    "stage": 2
  }
}

トレーニングの実行

Trainerを用いてファインチューニングを実行します。

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)
trainer.train()

データ分割と並行処理

RTX 60000 Ada 2機での分散学習を最適化するためには、データの分割と並行処理が非常に重要です。

データの分割

・データをGPUの数で均等に分割する。例えば、データセットが10,000行の場合、それを各GPUに5,000行ずつ割り当てる。
・DistributedDataParallelを使用することで、各GPUにデータのサブセットを送信し、並行して学習を行う。

並行処理

・DeepSpeedのZeroRedundancyOptimizerを使用することで、複数のGPUで効率的な並行処理を実現できる。
・GPUメモリを超えるデータ量がある場合、gradient_checkpointingを有効にしてメモリの使用を最小限に抑える。

from deepspeed import DeepSpeedEngine
 
engine = DeepSpeedEngine(model=model, config="ds_config.json")
engine.train(train_dataset)

ベンチマークと推奨構成

RTX 60000 Ada GPUを1機から2機に増やした場合の性能向上について、以下のようなベンチマーク結果が期待できます。

1機 vs 2機の比較

GPU数バッチサイズトレーニング時間（エポックあたり）精度
1機48時間85%
2機84.5時間85%

推奨構成

・RTX 60000 Ada GPU 2機（96GB）構成
・NVLinkによる高速なGPU間通信
・DeepSpeedおよびFP16を活用したトレーニング

結論

RTX 60000 Ada GPUを2機でファインチューニングすることで、学習時間を大幅に短縮しつつ、精度を維持できます。DeepSpeedやDistributedDataParallelを適切に活用することで、効率的な並行処理が可能です。また、データの事前準備やモデルのトレーニングパラメータを最適化することで、さらに高いパフォーマンスを引き出すことができます。

Graph View