이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 샘플 이미지 대신 설계를 읽기

• 들어가며
• 이 글이 우열을 가리지 않는 이유
• 이미지에서 지금 실제로 다투는 것
• 읽을 만한 기술 리포트 열한 편
  • Scaling Rectified Flow Transformers for High-Resolution Image Synthesis
  • Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
  • Emu3: Next-Token Prediction is All You Need
  • SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers
  • Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling
  • FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space
  • Qwen-Image와 Qwen-Image-2.0
  • Seedream 4.0: Toward Next-generation Multimodal Image Generation
  • Z-Image와 Mage-Flow
  • InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models
  • Qwen-Image-Bench: From Generation to Creation in Text-to-Image Evaluation
• 저자들이 스스로 밝힌 한계
• 실무자는 무엇부터 읽어야 하나
• 확인 방법과 시점
• 직접 해보기
• 참고 자료

들어가며

시리즈 5편은 이미지입니다. 이 영역은 리포트를 읽는 방식이 특히 왜곡되기 쉽습니다. 논문에 실린 샘플 이미지는 저자가 고른 것이고, 사람들이 온라인에서 비교하는 이미지도 대개 프롬프트가 통제되지 않은 것들입니다.

그래서 여기서는 샘플 대신 설계를 읽습니다. 토크나이저 압축비, 텍스트 인코더 선택, 학습에 쓴 연산량, 몇 단계 만에 샘플링하는가. 이 값들이 그 모델을 실제로 쓸 때 마주칠 제약을 결정합니다.

논문 정보는 2026-08-12에 원문에서 직접 확인했습니다. 이 분야는 빠르게 바뀌므로 최신 상태는 직접 확인하세요.

이 글이 우열을 가리지 않는 이유

이미지 생성 평가는 사람 선호 실험에 크게 의존하며, 프롬프트 집합과 평가자 구성에 따라 결과가 달라집니다. 자동 지표도 좁은 축만 봅니다. 게다가 최근 리포트들은 자기 평가 벤치마크를 함께 내놓는 경우가 많아, 그 벤치마크 위에서의 숫자는 정의상 저자가 정한 기준에 맞춰진 값입니다.

따라서 이 글은 어떤 모델이 낫다고 쓰지 않습니다. 각 리포트가 무엇을 가능하게 했고 그 대가로 무엇을 포기했는지만 정리합니다.

이미지에서 지금 실제로 다투는 것

[이미지 리포트가 다투는 축]
 토크나이저 : 압축비가 디테일과 학습 속도를 동시에 결정
 조건 부여  : 텍스트 인코더를 무엇으로 쓰는가
 통합       : 생성과 이해와 편집을 한 모델에 넣는가
 단계 수    : 몇 번의 샘플링으로 끝내는가
 텍스트     : 이미지 안의 글자를 정확히 그릴 수 있는가

마지막 줄이 최근 리포트에서 갑자기 커진 축입니다. 슬라이드와 포스터, 인포그래픽처럼 글자가 핵심인 결과물을 겨냥하기 시작했기 때문입니다.

읽을 만한 기술 리포트 열한 편

Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

arxiv.org/abs/2403.03206 — 2024-03-05 등록.

정류 흐름을 확산 대신 쓰자는 제안과, 지각적으로 중요한 스케일에 가중치를 주는 노이즈 샘플링 기법을 함께 제시합니다. 텍스트와 이미지 두 양식에 별도 가중치를 두고 양방향으로 정보를 흘리는 트랜스포머 구조가 이후 여러 리포트의 출발점이 됩니다. 검증 손실과 합성 품질이 예측 가능하게 연결된다는 스케일링 관찰도 담겨 있습니다.

Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

arxiv.org/abs/2404.02905 — 2024-04-03 등록, v2는 2024-06-10.

자기회귀 이미지 생성을 래스터 순서의 다음 토큰 예측이 아니라 거친 것에서 세밀한 것으로 가는 다음 스케일 예측으로 재정의합니다. ImageNet 256에서 FID 18.65에서 1.73으로, IS 80.4에서 350.2로 바뀌었다고 보고합니다. 저자들은 LLM에서 관찰되는 거듭제곱 법칙을 초기적으로 재현했다는 표현을 쓰며 스스로 초기 단계임을 밝힙니다.

Emu3: Next-Token Prediction is All You Need

arxiv.org/abs/2409.18869 — 2024-09-27 등록.

이미지와 텍스트와 영상을 모두 이산 토큰으로 만들어 오직 다음 토큰 예측만으로 처리합니다. 확산도, 여러 모듈의 조합도 쓰지 않는다는 것이 주장의 핵심입니다. 멀티모달 설계를 단순화하는 방향의 대표 사례로 읽으면 좋습니다.

SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers

arxiv.org/abs/2410.10629 — 2024-10-14 등록, v3는 2024-10-20.

효율을 정면 목표로 삼은 리포트입니다. 기존 8배 대신 32배 압축하는 심층 압축 오토인코더, 확산 트랜스포머의 어텐션을 선형으로 바꾼 구조, T5 대신 디코더 전용 LLM을 텍스트 인코더로 쓰는 선택이 핵심입니다. 16GB 노트북 GPU에서 1024x1024 이미지를 1초 안에 만든다고 보고합니다.

Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling

arxiv.org/abs/2501.17811 — 2025-01-29 등록.

학습 전략 최적화와 데이터 확대, 모델 크기 확장으로 이해와 생성을 함께 끌어올렸다는 보고입니다. 텍스트에서 이미지로 갈 때의 생성 안정성 개선도 함께 언급합니다. 참고로 arXiv 관리자 주석에 선행 논문과 본문 중복이 있다는 표시가 있으니, 선행 논문과 함께 읽는 편이 정확합니다.

FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space

arxiv.org/abs/2506.15742 — Black Forest Labs, 2025-06-17 등록, v2는 2025-06-24.

생성과 편집을 하나의 흐름 정합 모델로 합치고, 시퀀스 결합으로 텍스트와 이미지의 문맥을 함께 넣습니다. 저자들이 지목한 문제는 명확합니다. 기존 편집 모델은 여러 턴을 거치면서 인물과 사물의 일관성이 무너진다는 것입니다. 함께 공개한 KontextBench는 이미지-프롬프트 쌍 1,026개를 다섯 가지 과제 범주로 나눕니다.

Qwen-Image와 Qwen-Image-2.0

arxiv.org/abs/2508.02324 (2025-08-04 등록)과 arxiv.org/abs/2605.10730 (2026-05-11 등록).

앞의 리포트는 이미지 안의 글자 렌더링을 정면으로 다룹니다. 데이터 수집과 필터링과 합성을 잇는 파이프라인, 쉬운 텍스트에서 복잡한 텍스트로 가는 점진 학습이 핵심이며, 알파벳 계열과 표어문자 계열을 함께 겨냥합니다. 뒤의 리포트는 최대 1K 토큰 길이의 지시로 슬라이드와 포스터, 인포그래픽 같은 글자 중심 결과물을 만드는 쪽으로 확장합니다. 토크나이저를 따로 다룬 Qwen-Image-VAE-2.0(arxiv.org/abs/2605.13565)도 같은 계열입니다.

Seedream 4.0: Toward Next-generation Multimodal Image Generation

arxiv.org/abs/2509.20427 — Team Seedream, 2025-09-24 등록, v3는 2025-12-10.

텍스트에서 이미지, 편집, 다중 이미지 합성을 한 틀에 넣습니다. 이미지 토큰 수를 줄이는 VAE로 1K에서 4K까지 네이티브 해상도를 지원하고, 2K 이미지를 최대 1.8초에 만든다고 보고합니다.

Z-Image와 Mage-Flow

arxiv.org/abs/2511.22699 (2025-11-27 등록, v5는 2026-07-06)과 arxiv.org/abs/2607.19064 (2026-07-21 등록, v2는 2026-07-22).

두 리포트 모두 규모를 늘리는 흐름에 반대 방향으로 섭니다. 앞의 것은 60억 파라미터 단일 스트림 확산 트랜스포머로 H800 GPU 시간 31.4만을 썼고, 증류한 변형은 VRAM 16GB 미만 소비자 기기에서 1초 미만 추론이 가능하다고 밝힙니다. 뒤의 것은 40억 파라미터로 1단계 확산 인코딩을 쓰는 경량 토크나이저와 정류 흐름 트랜스포머를 결합해, A100에서 1024x1024 생성 0.59초, 편집 1.02초를 보고합니다.

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

arxiv.org/abs/2504.10479 — 2025-04-14 등록, v3는 2025-04-19.

이해 쪽 항목입니다. 시각 능력과 언어 능력을 사후 정렬이 아니라 처음부터 함께 학습하는 네이티브 멀티모달 사전학습을 제안합니다. 780억 파라미터 변형이 MMMU에서 72.2를 보고하며, 이 값은 저자 측정입니다.

Qwen-Image-Bench: From Generation to Creation in Text-to-Image Evaluation

arxiv.org/abs/2605.28091 — 2026-05-27 등록, v2는 2026-06-25.

평가 쪽 항목이고, 이 글에서 가장 오래 유효할 항목일 수 있습니다. 기존 벤치마크가 기초적 기준에 머물러 실제 창작 현장에서 중요한 능력을 못 잡는다는 문제의식에서 출발합니다. 1,000개 프롬프트를 다섯 축과 23개 하위 능력, 56개 루브릭으로 쪼개고, 하나의 불투명한 점수 대신 세분화된 진단을 내놓습니다.

저자들이 스스로 밝힌 한계

• VAR 저자들은 LLM의 성질을 초기적으로 재현했다는 표현으로 결과가 초기 단계임을 밝힙니다.
• Janus-Pro의 arXiv 페이지에는 선행 논문과 본문이 겹친다는 관리자 주석이 있습니다.
• FLUX.1 Kontext가 지적한 다중 턴 일관성 저하는 이 계열 전체의 미해결 문제입니다.
• Qwen-Image-Bench 저자들은 기존 벤치마크가 실제 창작 실무에서 중요한 능력을 담아내지 못한다고 인정합니다. 자기 벤치마크를 함께 내는 리포트의 숫자를 읽을 때 이 점을 기억해야 합니다.
• 위 리포트의 성능 서술은 모두 저자 자체 측정이며, 상당수는 저자가 직접 만든 벤치마크 위의 값입니다.

실무자는 무엇부터 읽어야 하나

원리부터 잡고 싶다면 정류 흐름 트랜스포머 리포트가 출발점입니다. 최근 리포트 대부분이 이 구조를 변형한 것입니다.

비용이 제약이라면 SANA와 Z-Image, Mage-Flow를 묶어 읽으세요. 세 리포트 모두 규모가 아니라 토크나이저와 샘플링 단계에서 답을 찾습니다.

편집 워크플로를 만든다면 FLUX.1 Kontext입니다. 다중 턴 일관성이라는 문제 정의 자체가 제품 설계에 직접 들어옵니다.

이미지 안 글자가 중요하다면 Qwen-Image 계열입니다. 이 축을 명시적으로 다룬 리포트가 아직 많지 않습니다.

평가를 세워야 한다면 Qwen-Image-Bench의 분해 방식을 참고하세요. 점수 하나 대신 능력별 진단으로 가는 방향이 실무에 더 맞습니다.

확인 방법과 시점

이 글에 등장하는 리포트는 모두 2026-08-12에 arXiv 초록 페이지를 직접 열어 확인했습니다. 열지 못한 후보는 인용하지 않았습니다. 인용한 수치는 전부 저자 보고입니다.

직접 해보기

• 신경망 구조 탐색기 — 확산 트랜스포머의 변형들을 따라가려면 기본 블록 구조가 손에 잡혀 있어야 합니다.
• ML 학습 데이터 탐색기 — 이미지 생성 모델이 어떤 형태의 데이터를 먹는지 예시로 확인할 수 있습니다.

시리즈 이전 편: 음성 인식·합성 기술 리포트, 무엇을 읽을 것인가

시리즈 다음 편: 리더보드와 벤치마크를 읽는 법

참고 자료

• Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (arXiv 2403.03206): arxiv.org/abs/2403.03206
• Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction (arXiv 2404.02905): arxiv.org/abs/2404.02905
• Emu3: Next-Token Prediction is All You Need (arXiv 2409.18869): arxiv.org/abs/2409.18869
• SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers (arXiv 2410.10629): arxiv.org/abs/2410.10629
• Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling (arXiv 2501.17811): arxiv.org/abs/2501.17811
• InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models (arXiv 2504.10479): arxiv.org/abs/2504.10479
• FLUX.1 Kontext: Flow Matching for In-Context Image Generation and Editing in Latent Space (arXiv 2506.15742): arxiv.org/abs/2506.15742
• Qwen-Image Technical Report (arXiv 2508.02324): arxiv.org/abs/2508.02324
• Seedream 4.0: Toward Next-generation Multimodal Image Generation (arXiv 2509.20427): arxiv.org/abs/2509.20427
• Z-Image: An Efficient Image Generation Foundation Model with Single-Stream Diffusion Transformer (arXiv 2511.22699): arxiv.org/abs/2511.22699
• Qwen-Image-2.0 Technical Report (arXiv 2605.10730): arxiv.org/abs/2605.10730
• Qwen-Image-VAE-2.0 Technical Report (arXiv 2605.13565): arxiv.org/abs/2605.13565
• Qwen-Image-Bench: From Generation to Creation in Text-to-Image Evaluation (arXiv 2605.28091): arxiv.org/abs/2605.28091
• Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing (arXiv 2607.19064): arxiv.org/abs/2607.19064