LLM Fine-tuning実践ガイド：LoRA、QLoRA、PEFTによる効率的モデル適応

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# ベースモデルのロード
model_name = "meta-llama/Llama-2-7b-hf"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.pad_token = tokenizer.eos_token

# LoRA設定
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,                          # ランク：一般的に8-64の範囲
    lora_alpha=32,                 # スケーリングファクタ：通常rの2倍
    lora_dropout=0.05,             # ドロップアウト：過学習防止
    target_modules=[               # LoRAを適用するモジュール
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    bias="none",                   # バイアス学習の有無
)

# PEFTモデル生成
peft_model = get_peft_model(model, lora_config)

# 学習可能パラメータの確認
peft_model.print_trainable_parameters()
# 出力例: trainable params: 33,554,432 || all params: 6,771,970,048
# || trainable%: 0.4956

from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    TrainingArguments,
)
from peft import LoraConfig, prepare_model_for_kbit_training, get_peft_model
from trl import SFTTrainer
import torch

# 4ビット量子化設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",           # NormalFloat4量子化
    bnb_4bit_compute_dtype=torch.bfloat16, # 演算時bfloat16使用
    bnb_4bit_use_double_quant=True,       # Double Quantization有効化
)

# 4ビット量子化モデルのロード
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
)

# k-bit学習の準備（gradient checkpointingなど）
model = prepare_model_for_kbit_training(model)

# LoRA設定
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(model, lora_config)

# 学習引数の設定
training_args = TrainingArguments(
    output_dir="./qlora-output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    weight_decay=0.01,
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    logging_steps=10,
    save_strategy="steps",
    save_steps=100,
    fp16=False,
    bf16=True,
    optim="paged_adamw_8bit",            # Paged Optimizer使用
    gradient_checkpointing=True,
    max_grad_norm=0.3,
    report_to="wandb",
)

# SFTTrainerで学習
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token = tokenizer.eos_token

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    tokenizer=tokenizer,
    max_seq_length=2048,
)

trainer.train()

# PEFTのインストール
# pip install peft transformers accelerate bitsandbytes trl

# 異なるPEFT手法を同一インターフェースで使用
from peft import (
    LoraConfig,
    PrefixTuningConfig,
    PromptTuningConfig,
    IA3Config,
    get_peft_model,
)

# LoRA
lora_config = LoraConfig(r=16, lora_alpha=32, task_type="CAUSAL_LM")

# Prefix Tuning
prefix_config = PrefixTuningConfig(
    task_type="CAUSAL_LM",
    num_virtual_tokens=20,
)

# Prompt Tuning
prompt_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    num_virtual_tokens=20,
    prompt_tuning_init="TEXT",
    prompt_tuning_init_text="Classify the following text:",
    tokenizer_name_or_path="meta-llama/Llama-2-7b-hf",
)

# IA3（Infused Adapter by Inhibiting and Amplifying Inner Activations）
ia3_config = IA3Config(
    task_type="CAUSAL_LM",
    target_modules=["k_proj", "v_proj", "down_proj"],
    feedforward_modules=["down_proj"],
)

from peft import PeftModel, PeftConfig

# アダプタの保存（約30-100MB）
peft_model.save_pretrained("./my-lora-adapter")

# アダプタのロード：ベースモデル + アダプタの結合
base_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(base_model, "./my-lora-adapter")

# 推論最適化：LoRA重みをベースモデルにマージ
model = model.merge_and_unload()

# マージ済みモデルの保存（推論時オーバーヘッド除去）
model.save_pretrained("./merged-model")
tokenizer.save_pretrained("./merged-model")

from datasets import Dataset

# Alpaca形式のデータセット構成
def format_instruction(sample):
    """Alpacaスタイルのプロンプトテンプレート"""
    if sample.get("input"):
        return f"""### Instruction:
{sample['instruction']}

### Input:
{sample['input']}

### Response:
{sample['output']}"""
    else:
        return f"""### Instruction:
{sample['instruction']}

### Response:
{sample['output']}"""

# データセット例
raw_data = [
    {
        "instruction": "以下のテキストの感情を分析してください。",
        "input": "この製品は本当に素晴らしいです。配送も速くて品質も最高です！",
        "output": "ポジティブな感情です。製品品質と配送速度に対する満足感を表現しています。",
    },
    {
        "instruction": "与えられたSQLクエリを最適化してください。",
        "input": "SELECT * FROM users WHERE created_at > '2024-01-01' ORDER BY name",
        "output": "SELECT id, name, email FROM users WHERE created_at > '2024-01-01' ORDER BY name LIMIT 100;\n\n最適化ポイント：\n1. SELECT *を必要なカラムのみの選択に変更\n2. LIMIT追加で結果セットを制限\n3. created_atとnameに複合インデックス作成を推奨",
    },
]

dataset = Dataset.from_list(raw_data)
formatted = dataset.map(lambda x: {"text": format_instruction(x)})

# Weights and Biasesを活用した学習モニタリング
import wandb

wandb.init(
    project="llm-finetuning",
    config={
        "model": "Llama-2-7b",
        "method": "QLoRA",
        "r": 16,
        "alpha": 32,
        "lr": 2e-4,
        "epochs": 3,
    },
)

# 主要モニタリング指標：
# 1. Training Loss: 着実に減少すべき。急激な減少後の停滞は過学習のシグナル
# 2. Validation Loss: training lossとのギャップが広がると過学習
# 3. Learning Rate: スケジューラが意図通りに動作しているか確認
# 4. Gradient Norm: 急激なスパイクは学習不安定のシグナル
# 5. GPU Memory: OOM防止のためのメモリ使用量追跡