LLMファインチューニング実践 — LoRA、QLoRA、PEFTで自分だけのモデルを作る

元のW (4096 × 4096) = 16Mパラメータ [凍結]

LoRA:
A (r × 4096) + B (4096 × r) = r × 8192パラメータ
r=8の場合: 65,536パラメータ (0.4%)

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM, AutoTokenizer

# 1. ベースモデルのロード
model_name = "meta-llama/Llama-3.1-8B"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 2. LoRA設定
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,                          # ランク
    lora_alpha=32,                 # スケーリング（通常rの2倍）
    lora_dropout=0.05,             # ドロップアウト
    target_modules=[               # LoRAを適用するモジュール
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
    bias="none"
)

# 3. PEFTモデルの作成
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 41,943,040 || all params: 8,072,204,288 || trainable%: 0.5194

# モデルの全Linearレイヤーを確認
for name, module in model.named_modules():
    if isinstance(module, torch.nn.Linear):
        print(name, module.in_features, module.out_features)

# 一般的な選択肢:
# - Attentionのみ: ["q_proj", "v_proj"] — 最小VRAM
# - Attention全体: ["q_proj", "k_proj", "v_proj", "o_proj"] — 推奨
# - MLP含む: 上記 + ["gate_proj", "up_proj", "down_proj"] — 最大性能

from transformers import BitsAndBytesConfig
import torch

# 4-bit量子化設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",           # NormalFloat4
    bnb_4bit_compute_dtype=torch.bfloat16, # 演算はbf16で
    bnb_4bit_use_double_quant=True,        # Double Quantization
)

# 量子化モデルのロード
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    quantization_config=bnb_config,
    device_map="auto"
)

# LoRA適用 (QLoRA = 4bit量子化モデル + LoRA)
model = get_peft_model(model, lora_config)

from datasets import load_dataset

# Alpacaスタイルデータセット
dataset = load_dataset("json", data_files="train_data.json")

# データ例
# {
#   "instruction": "次のテキストを要約してください。",
#   "input": "Kubernetesはコンテナ化されたワークロードとサービスを...",
#   "output": "Kubernetesはコンテナオーケストレーションプラットフォームです。"
# }

# プロンプトテンプレートの適用
def format_instruction(sample):
    if sample["input"]:
        text = f"""### Instruction:
{sample["instruction"]}

### Input:
{sample["input"]}

### Response:
{sample["output"]}"""
    else:
        text = f"""### Instruction:
{sample["instruction"]}

### Response:
{sample["output"]}"""
    return {"text": text}

dataset = dataset.map(format_instruction)

from trl import SFTTrainer, SFTConfig

training_args = SFTConfig(
    output_dir="./output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,    # 実効バッチ = 4 × 4 = 16
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    max_seq_length=2048,
    bf16=True,
    logging_steps=10,
    save_strategy="epoch",
    optim="paged_adamw_8bit",         # QLoRA用ページングオプティマイザー
    gradient_checkpointing=True,      # VRAMのさらなる節約
)

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset["train"],
    args=training_args,
)

trainer.train()

# LoRAアダプターのみ保存（数十MB）
model.save_pretrained("./lora-adapter")

# 後でアダプターをロード
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B")
model = PeftModel.from_pretrained(base_model, "./lora-adapter")

# ベースモデルとアダプターのマージ（デプロイ用）
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./merged-model")

# ランク別の特性
# r=4:   最少パラメータ、シンプルなドメイン適応に適する
# r=8:   一般的な出発点
# r=16:  良いバランス（推奨）
# r=32:  複雑なタスク、より多くのVRAMが必要
# r=64+: Full Fine-tuningに近い性能、それだけ非効率

# 経験的に、r=16 + alpha=32がほとんどのケースで良好に動作

# LoRA/QLoRAの学習率はFull FTより高く設定
# Full FT: 1e-5 ~ 5e-5
# LoRA:    1e-4 ~ 3e-4
# QLoRA:   2e-4（一般的）

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    use_dora=True,   # DoRAを有効化
)

from peft import PeftModel

# ベースモデルに複数のアダプターをロード
model = PeftModel.from_pretrained(base_model, "./adapter-korean")
model.load_adapter("./adapter-code", adapter_name="code")

# アダプターの切り替え
model.set_adapter("code")

# またはアダプターの重みを組み合わせ
model.add_weighted_adapter(
    adapters=["default", "code"],
    weights=[0.7, 0.3],
    adapter_name="merged"
)