Lora

All Posts

Published on
2026년 7월 16일
LoRA rank를 바꾸면 학습률도 바꿔야 하나 — μA(2026)가 가른 두 레짐, 그리고 그 측정의 한계
llm lora fine-tuning peft training
LoRA에서 rank를 바꾸면 최적 학습률을 다시 찾아야 한다는 통념과, "1/r 스케일링을 쓰면 학습률은 rank와 무관하다"는 통념이 실무에서 동시에 돌아다닙니다. 2026년 2월 arXiv에 올라온 μA(Maximal-Update Adaptation) 논문은 이 둘이 모두 맞다고 말합니다 — 단, 당신이 어떤 α 규약과 어떤 초기화를 쓰느냐에 따라. 이 글은 μA가 유도한 두 레짐(η가 rank의 -1/2제곱에 비례하는 경우 vs rank와 무관한 경우), 그리고 LoRA에서 풀 파인튜닝으로 학습률을 그대로 옮길 수 있다고 주장하는 특정 설정(Init[B] + α=1)을 정리합니다. 동시에 그 근거의 한계도 정직하게 적습니다 — 시드는 42 하나뿐이고, 학습률 격자는 2배 간격이며, 저자들 스스로 "필요조건일 뿐 충분조건은 아니다"라고 못 박습니다. 유명한 "LoRA 학습률 = FFT의 10배" 규칙은 이 논문에서도 여전히 설명되지 않은 채 남습니다.
Published on
2026년 5월 16일
LLM 파인튜닝 2026 완벽 가이드 - LoRA · QLoRA · DoRA · GaLore · Unsloth · Axolotl · TRL · PEFT · MLX-LM 심층 분석
llm-fine-tuning lora qlora dora galore unsloth axolotl trl peft mlx sft dpo deep-dive
2026년 LLM 파인튜닝 생태계는 LoRA의 단순한 어댑터에서 출발해 QLoRA의 4비트, DoRA의 분해, GaLore의 그라디언트 프로젝션까지 5년 만에 거대한 가지를 펼쳤다. Hugging Face의 PEFT 0.14와 TRL 0.13이 표준 인터페이스를 잡았고, Unsloth가 2배 빠른 학습으로 단일 GPU 시장을 흔들었으며, Axolotl과 LLaMA-Factory가 YAML로 파인튜닝을 민주화했다. Apple MLX-LM은 M 시리즈 노트북에서 7B 모델을 파인튜닝하는 시대를 열었다. 이 글은 그 전체 지도를 그린다 — 알고리즘, 도구, 데이터셋, 하드웨어, 클라우드, 그리고 한국·일본 모델 사례까지.
Published on
2026년 5월 15일
AI 이미지 생성 2026 — Flux / Midjourney 7 / Ideogram 3 / Recraft / SD 3.5 / GPT-4o / Imagen 4 심층 가이드
ai-image image-generation flux midjourney ideogram recraft stable-diffusion dalle imagen firefly comfyui lora controlnet deep-dive
2026년의 AI 이미지 생성은 더 이상 한 모델의 이야기가 아니다. Black Forest Labs의 Flux 1.1 Pro와 Kontext가 오픈웨이트로 사진실적 품질의 새 기준을 세웠고, Midjourney 7이 미적 감각의 표준으로 자리를 굳혔고, Ideogram 3가 텍스트가 들어간 이미지에서 독주하고, Recraft V3가 디자인(벡터, 로고)이라는 별도 카테고리를 열었다. Stable Diffusion 3.5는 Stability AI의 재정비 이후 다시 커뮤니티의 베이스 모델로 돌아왔다. 2025년 3월에는 GPT-4o의 이미지 생성이 지브리 스타일로 트위터를 뒤덮었고, Google Imagen 4와 Adobe Firefly 4가 엔터프라이즈 시장에서 라이선스가 깨끗한 학습 데이터를 무기로 따라붙는다. Krea AI와 Luma Photon이 실시간 생성이라는 새로운 카테고리를 열었고, ComfyUI는 노드 기반 워크플로의 표준이 되었다. 이 글은 2026년의 AI 이미지 생성 지도를 처음부터 끝까지 — 폐쇄형/오픈웨이트/실시간 3진영, LoRA·ControlNet·IPAdapter 워크플로, 한국·일본 모델까지 — 한 호흡으로 정리한다.
Published on
2026년 4월 15일
AI 엔지니어링 실전 — LLM API, RAG, 에이전트, LoRA/DPO, 벡터 DB, 평가, 관측, Prompt Injection 완전 가이드 (2025)
ai-engineering llm rag ai-agent lora dpo vector-database embeddings evaluation observability prompt-injection langgraph
LLM API 프로덕션 호출의 진짜 어려움, RAG가 단순 조회가 아닌 이유, 에이전트 패턴(ReAct/Plan-Execute/ReWOO), 파인튜닝 언제/언제 하지 말까(LoRA/QLoRA/DPO), 벡터 DB 선택 매트릭스, LLM 평가의 근본적 어려움, 비용 최적화, Prompt Injection 방어까지. 데모가 아닌 '진짜 프로덕션' AI 앱을 만드는 법.
Published on
2026년 4월 15일
Fine-tuning 완전 가이드: SFT, DPO, LoRA/QLoRA, 합성 데이터, 한국어 모델 (2025)
fine-tuning llm ai lora qlora dpo synthetic-data deep-dive series
"Fine-tuning은 죽었다"는 소리도, "RAG로 다 된다"는 소리도 반쯤만 맞다. 2025년 시점에서 SFT/DPO/RLHF의 지형, LoRA·QLoRA로 가볍게 튜닝하는 실전, 합성 데이터 파이프라인, 한국어 모델(Solar, Qwen, Llama) 파인튜닝, 그리고 Fine-tune vs RAG vs Prompt의 경계선을 한 글로 정리합니다.
Published on
2026년 3월 25일
Unsloth로 LLM 파인튜닝 완전 가이드 2025: QLoRA, 4bit 양자화, 2배 빠른 학습
unsloth llm fine-tuning qlora lora quantization huggingface transformers peft optimization 2026-03
Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.
Published on
2026년 3월 18일
Fine-tuning 실전 가이드: LoRA와 QLoRA로 나만의 모델 만들기
fine-tuning lora qlora llm ai-development 모델학습 peft
H100 7대 없어도 됩니다. LoRA와 QLoRA를 사용하면 소비자용 GPU 한 장으로 70B 모델을 파인튜닝할 수 있습니다. 실전 코드와 함께 처음부터 끝까지 설명합니다.
Published on
2026년 3월 17일
생성형 AI & 디퓨전 모델 완전 정복: Stable Diffusion, ControlNet, 비디오 생성까지
generative-ai diffusion-model stable-diffusion controlnet 비디오생성 lora 2026-03
DDPM 수학부터 Stable Diffusion 구조, ControlNet, LoRA fine-tuning, Sora 비디오 생성까지 생성형 AI 완전 기술 가이드입니다.
Published on
2026년 3월 17일
LLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기
llm fine-tuning lora qlora rlhf dpo peft 2026-03
LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.
Published on
2026년 3월 13일
LLM Fine-tuning 실전 가이드: LoRA, QLoRA, PEFT로 효율적 모델 적응
llm fine-tuning lora qlora peft instruction-tuning 2026-03
LLM Fine-tuning의 이론과 실전을 다룹니다. LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 기법, PEFT 라이브러리 활용법, 데이터셋 구성 전략, 하이퍼파라미터 튜닝까지 프로덕션 수준의 모델 적응 파이프라인을 구축합니다.
Published on
2026년 3월 11일
LLM 파인튜닝 실전 가이드: LoRA·QLoRA·PEFT로 구현하는 효율적 도메인 적응
llm fine-tuning lora qlora peft 2026-03
LLM 파인튜닝의 핵심 기법인 LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 파인튜닝, Hugging Face PEFT 라이브러리 활용법을 심층 분석. 데이터셋 준비, 하이퍼파라미터 튜닝, 평가 메트릭, Full Fine-tuning과의 비교, 실패 사례와 복구 절차, 프로덕션 체크리스트를 다룹니다.
Published on
2026년 3월 2일
LLM 파인튜닝 실전 — LoRA, QLoRA, PEFT로 나만의 모델 만들기
llm fine-tuning lora qlora peft huggingface
LLM 파인튜닝의 실전 가이드. LoRA의 수학적 원리부터 QLoRA로 소비자 GPU에서 대형 모델 학습, PEFT 라이브러리 활용법까지 코드 예제로 상세히 다룹니다.
Published on
2026년 3월 1일
LoRA: 대규모 언어 모델의 효율적 파인튜닝 논문 분석
ai-papers lora fine-tuning llm peft
LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.

Lora

lora (13)