Skip to content
Published on

AI 음악 생성 2026 완벽 가이드 — Suno v4 · Udio · Stable Audio 2 · MusicGen · AIVA · Mubert · Soundraw 심층 분석

🇰🇷KO🇺🇸EN🇯🇵JA
Split View필사 모드
Authors

들어가며 — 왜 2026년이 AI 음악 생성의 변곡점인가

2024년 봄, Suno v3와 Udio 베타가 텍스트 한 줄로 2분짜리 보컬 트랙을 뽑아내기 시작했을 때 음악 산업은 처음으로 진지하게 반응했습니다. RIAA는 그해 6월 두 회사를 상대로 저작권 침해 소송을 제기했고, 동시에 Stability AI는 Stable Audio 2.0을 공개해 3분짜리 풀 트랙을 생성할 수 있는 오픈 모델을 내놓았습니다. 2025년 말 Suno는 Microsoft Copilot과 파트너십을 맺고 일반 사용자에게 음악 생성 기능을 노출했으며, 2026년 봄 시점에는 Suno v4 / v4.5가 Cover, Stems, Remaster, Personas, Lyrics 같은 기능을 차례로 출시하면서 카테고리 리더 자리를 굳혔습니다.

그러나 풍경은 단일하지 않습니다. Udio는 Universal과 Warner와의 라이선싱 합의 이후 별도의 미적 정체성을 유지하고 있고, Meta MusicGen은 audiocraft 라이브러리로 연구자들이 마음껏 파인튠할 수 있는 오픈 옵션을 제공합니다. AIVA는 오케스트라 작곡에 특화돼 있고, Mubert는 API와 제너러티브 스트리밍으로 BGM 시장을 잡았으며, 도쿄에 본사를 둔 Soundraw는 일본 콘텐츠 시장에서 구조적 제어가 가능한 로열티 프리 음악을 제공합니다. 그 옆에서 Adobe Project Music GenAI Control, Google MusicFX DJ, Riffusion(Beat-N) 같은 새 진입자들이 인터랙티브 음악 생성이라는 새로운 사용 모델을 제시하고 있습니다.

이 글은 한 명의 프로듀서, 영상 제작자, 개발자, 음악 애호가가 2026년에 "AI 음악 생성을 어떻게 활용할 것인가"를 결정하기 위해 알아야 할 모든 축을 정리합니다. 모델 구조, 기능 차이, 라이선스, 가격, 워크플로우, 법적 리스크, 한국어/일본어 컨텍스트까지 가능한 한 구체적으로 다룹니다.

1. 2026년 AI 음악 생성 지도 — 4가지 카테고리

AI 음악 생성 도구는 다음 4가지 카테고리로 나누면 전체 풍경이 명확하게 보입니다.

카테고리핵심 사용 사례대표 제품
풀송 생성 (보컬 포함)텍스트 → 보컬+반주 풀 트랙Suno v4.5, Udio v2, Riffusion
인스트루멘털/사운드BGM, 게임/영상 음악, 효과음Stable Audio 2.0, Mubert, Soundraw, AIVA
오픈/리서치 모델자체 호스팅, 파인튜닝MusicGen 3.3B, AudioLM, NaturalSpeech 3, OpenMusic
인터랙티브 / DJ실시간 컨트롤, 라이브MusicFX DJ, Lyria RealTime, Project Music GenAI Control

이 4가지 카테고리는 사용 방식이 서로 다릅니다. 풀송 생성기는 "0에서 1을 만드는 도구"이며, 인스트루멘털/사운드 도구는 "콘텐츠를 만들기 위한 부품 공급자", 오픈 모델은 "연구와 커스터마이징의 기반", 인터랙티브 도구는 "라이브 사용을 위한 새 사용 모델"입니다. 2026년의 진짜 경쟁력은 이 네 가지 카테고리에서 적절한 도구를 골라 워크플로우에 엮는 능력에서 결정됩니다.

2. Suno v4 / v4.5 — 카테고리 리더와 Microsoft Copilot 파트너십

Suno는 매사추세츠주 케임브리지에 본사를 둔 회사로, 2022년 창업했습니다. 2024년 3월 v3 공개 이후 가장 빠르게 진화한 텍스트-투-송 도구로, 2026년 봄 시점에서 시장 점유율 1위입니다. 2025년 12월 v4.0이 출시되었고, 2026년 4월 v4.5가 추가 기능과 함께 공개되었습니다.

2.1 Microsoft Copilot 파트너십

2025년 11월, Suno는 Microsoft Copilot과 공식 파트너십을 발표했습니다. Copilot 사용자는 자연어로 음악 생성을 요청하면 Suno API가 이를 처리해 결과를 반환합니다. 이는 일반 소비자에게 AI 음악을 노출시킨 가장 큰 분배 채널이며, Suno의 무료 플랜 사용자 수를 단기간에 폭발적으로 증가시켰습니다.

2.2 v4.5의 핵심 기능

  • 풀송 길이 확장: 기본 4분, Extend로 8분까지 연장. 2025년 v3 시절 1분 30초였던 것에 비하면 4배 가까이 늘었습니다.
  • Cover: 기존 곡의 멜로디와 코드 구조를 유지하면서 보컬 음색, 스타일, 가사를 새로 생성.
  • Stems: 보컬, 베이스, 드럼, 멜로디, 기타 인스트루멘트의 스템 분리 트랙 다운로드. DAW로 가져가서 후처리 가능.
  • Remaster: 기존 출력을 더 높은 음질로 재생성. 라우드니스, 베이스 응답, 보컬 명료도 조정.
  • Lyrics: 자체 가사 생성기. Topic, Mood, Verse Structure 지정 가능.
  • Personas: 특정 아티스트의 보컬 음색과 표현 스타일을 학습한 페르소나(라이선스된 카탈로그 기반).

2.3 가격과 라이선스

플랜가격월간 크레딧상업적 사용
Free0 USD50 크레딧/일 (~10곡)불가
Pro약 10 USD/월2,500 크레딧/월 (~500곡)가능
Premier약 30 USD/월10,000 크레딧/월 (~2,000곡)가능

Pro 이상에서는 출력에 대한 상업적 사용권이 부여됩니다. 다만 RIAA 소송이 진행 중이라 "100% 안전"을 광고하기는 어렵습니다.

2.4 강점과 약점

  • 강점: 영어 가사, 팝/록/EDM/포크 같은 메인스트림 장르에서 가장 자연스러운 보컬. UI/UX가 직관적이고 진입 장벽이 낮음.
  • 약점: 한국어/일본어 가사는 발음과 운율이 여전히 어색함. 재즈 즉흥, 클래식 오케스트레이션 같은 복잡한 장르는 약함. 4분 이상은 일관성이 떨어짐.

3. Udio v1.5 / v2 — Uncharted Labs의 미적 차별화

Udio는 Google DeepMind 출신 연구자들이 2023년 12월에 창업한 Uncharted Labs의 제품입니다. CEO는 David Ding이며, Andreessen Horowitz가 시드 라운드(약 10M USD, 2024년 4월)를 리드했습니다. Instagram 공동창업자 Mike Krieger, will.i.am, Common 같은 음악계 인사가 투자에 참여한 것으로 알려져 있습니다.

3.1 v2의 기능

  • 풀송 길이: 기본 1분 30초 생성, Extend로 최대 15분까지 연장 가능. Suno보다 한 번에 더 긴 출력을 만들 수 있다는 점이 차별점입니다.
  • Audio Inpainting: 기존 트랙의 특정 구간을 다시 생성. 보컬 한 줄, 드럼 한 마디만 바꿀 수 있습니다.
  • Stem Separation: 보컬/인스트루멘트 분리. DAW 호환 WAV 다운로드.
  • Genre / Lyrics Style Tags: 더 세밀한 장르 태그 지정. style of jazz, style of bossa nova 같은 식.

3.2 라이선싱 합의

2025년 10월 29일 Universal Music Group이 Udio와 합의했고, 11월 25일에는 Warner도 합의했습니다. 이후 Kobalt, Merlin Network도 차례로 라이선싱 합의를 했습니다. 2026년 5월 시점에 Udio를 상대로 적극적으로 소송 중인 메이저 레이블은 Sony뿐입니다. 합의의 일부로 Universal과 Warner는 공동 AI 음악 플랫폼 출시에 참여할 예정으로 알려져 있습니다.

3.3 결과물의 미적 특성

일반적인 평가로는 Suno가 더 "팝적이고 매끈"하다면 Udio는 더 "프로듀서가 다듬은 트랙" 같은 느낌을 줍니다. 힙합, R&B, 라틴, 일렉트로닉 분야에서 더 좋은 평가를 받습니다. 보컬은 Suno보다 약간 더 거친 편이지만 그것이 장르에 따라서는 장점이 됩니다.

4. Stable Audio 2.0 — Stability AI의 3분 트랙 모델

Stability AI는 2024년 4월 Stable Audio 2.0을 공개했습니다. Stable Diffusion으로 알려진 회사의 오디오 라인업으로, 풀 트랙(최대 3분, 44.1kHz 스테레오) 생성, audio-to-audio 변환, 그리고 ARC(Audio Research Collective) 라이선스 모델을 제공합니다.

4.1 모델 구조

Stable Audio 2.0은 잠재 디퓨전(latent diffusion) 모델입니다. 이미지 디퓨전과 같은 계보지만 오디오 도메인에 적용했습니다. 텍스트 인코더, 오토인코더(오디오를 잠재 공간으로 압축), 그리고 디퓨전 트랜스포머로 구성됩니다. 학습 데이터는 AudioSparx에서 라이선싱한 800K 곡 + 메타데이터입니다.

4.2 핵심 기능

  • Text-to-Audio: 텍스트 프롬프트로 3분짜리 풀 트랙 생성.
  • Audio-to-Audio: 업로드한 오디오를 텍스트 프롬프트로 변환. 예를 들어 보컬 라인을 업로드하면 그것을 잠재 공간으로 보내고 새 장르로 재합성합니다.
  • Sound Effects: 비음악적 사운드(빗소리, 발자국, 폭발음 등) 생성. 게임 사운드 디자인에 활용됩니다.
  • Stable Audio Open: 오픈소스 버전. 4096 샘플 수준의 짧은 효과음/루프에 특화.

4.3 라이선스와 가격

  • 개인 사용: Stable Audio 무료 티어 — 월 20곡까지.
  • 상업 사용: Pro 플랜 약 12 USD/월 — 500곡/월. 출력에 대한 상업적 권리.
  • API: 별도 가격 — 1초당 약 0.05 USD 수준의 사용량 과금.
  • ARC 라이선스: Audio Research Collective — 학습 데이터 제공자들과 수익을 공유하는 라이선스 모델.

5. Meta MusicGen 3.3B — 오픈소스의 표준

Meta(구 Facebook)의 AI Research가 2023년 6월 공개한 MusicGen은 오픈소스 음악 생성 모델의 표준이 되었습니다. 2024년에 3.3B(33억 파라미터) 버전이 추가되었고, 멜로디 조건부 생성을 지원하는 MusicGen-Melody와 스테레오 출력 버전 MusicGen-Stereo도 함께 공개되었습니다.

5.1 모델 라인업

모델파라미터특징권장 GPU
musicgen-small300M가장 빠름, 품질 낮음RTX 3060 12GB
musicgen-medium1.5B균형RTX 4070
musicgen-large3.3B최고 품질RTX 4090 24GB
musicgen-melody1.5B멜로디 조건부RTX 4070
musicgen-stereo1.5B / 3.3B스테레오 출력RTX 4080

5.2 사용 방법

Meta의 audiocraft 라이브러리로 접근합니다. 설치 후 Python 스크립트로 호출하거나, Hugging Face의 Transformers와 통합된 인터페이스를 쓸 수 있습니다.

# audiocraft로 MusicGen 사용 예
from audiocraft.models import MusicGen
from audiocraft.data.audio import audio_write

model = MusicGen.get_pretrained('facebook/musicgen-large')
model.set_generation_params(duration=30)

descriptions = ['80s pop track with bassy drums and synth']
wav = model.generate(descriptions)

for idx, one_wav in enumerate(wav):
    audio_write(f'{idx}', one_wav.cpu(), model.sample_rate)

5.3 라이선스 — CC-BY-NC

MusicGen의 모델 가중치는 CC-BY-NC 4.0(비상업적 사용)으로 공개되었습니다. 즉 출력을 상업적으로 사용하기 위해서는 별도의 라이선싱이 필요합니다. 학습 데이터는 약 20,000시간의 라이선싱된 음악(ShutterStock, Pond5 등)으로 알려져 있습니다.

6. AIVA — 오케스트라 작곡의 강자

AIVA(Artificial Intelligence Virtual Artist)는 2016년 룩셈부르크에서 창업한 회사로, AI 음악 생성기 중 가장 오래된 축에 속합니다. SACEM에 등록된 첫 AI 작곡가로 인정받은 바 있습니다. 2026년 시점에서는 오케스트라/시네마틱/게임 음악 작곡에 특화돼 있습니다.

6.1 기능

  • 스타일 선택: Cinematic, Modern Cinematic, Tango, Sea Shanty, Symphonic, Electronic, Pop, Rock, Folk 등 30+ 프리셋.
  • MIDI 편집: 생성된 곡의 MIDI를 직접 편집하고 다시 렌더링.
  • Influence Mode: 업로드한 음악(MIDI 또는 오디오)에 영감을 받아 새 곡 생성.
  • Step Time / Pencil Tool: 코드 진행과 멜로디를 직접 그리고 AIVA가 채워줌.

6.2 가격과 라이선스

플랜가격월 생성상업적 사용
Free0 USD3곡/월 (MP3만)불가 (개인 비상업적)
Standard약 15 USD/월15곡/월 (MP3, MIDI)가능 (AIVA 명시 필요)
Pro약 49 USD/월300곡/월 (모든 포맷)완전 소유권

Pro 플랜에서는 출력에 대한 완전한 저작권 소유가 가능합니다(로열티 프리). 영화, 광고, 게임에 자주 사용되는 이유입니다.

7. Mubert — API와 제너러티브 스트리밍

Mubert는 2016년 러시아에서 시작한 회사로, 본사를 미국으로 이전한 뒤 2026년 시점에 API와 스트리밍 음악 시장에서 자리를 잡았습니다. 다른 도구들이 "곡 한 곡 생성"에 집중하는 동안 Mubert는 "무한히 흐르는 음악 스트림"이라는 다른 사용 모델을 만들었습니다.

7.1 사용 모델

  • Mubert Studio: 텍스트 프롬프트로 트랙 생성 (다른 도구와 유사).
  • Mubert Render: 영상 길이에 맞춰 자동 BGM 생성.
  • Mubert API: 앱/게임/웹에 통합. 사용자별, 분위기별, 컨텍스트별 무한 BGM 스트림.
  • Mubert Streaming: Spotify처럼 사용자가 듣는 라이브 스트림. AI가 끝없이 새 트랙을 만들어냄.

7.2 가격

플랜가격사용 사례
Free0 USD25곡/월, 비상업적
Creator약 14 USD/월콘텐츠 크리에이터, 무제한 다운로드
Pro약 39 USD/월상업적 사용, 더 긴 트랙
Business / API맞춤 견적API 통합, 화이트 라벨

Mubert는 NFT 음악, 메타버스 BGM, 게임 동적 사운드트랙 시장을 주요 타겟으로 삼습니다.

8. Soundraw — 도쿄발 구조적 음악 생성

Soundraw는 도쿄에 본사를 둔 회사로, 일본 음악 콘텐츠 산업의 컨텍스트를 깊게 반영한 AI 음악 생성기입니다. 2020년 창업했으며, 다른 도구들과 가장 큰 차이는 "구조적 제어"입니다. 사용자는 곡의 길이, 인트로/벌스/코러스/브릿지/아웃트로의 위치, 각 섹션의 강도(Energy)를 직접 조정할 수 있습니다.

8.1 구조적 제어 인터페이스

생성된 곡은 타임라인 형태로 표시되며, 사용자가 각 섹션의 강도를 클릭으로 조정합니다. 예를 들어 코러스를 더 폭발적으로 만들거나, 아웃트로를 페이드 아웃 대신 갑작스럽게 끝내는 것이 가능합니다. 이는 영상 편집에서 컷에 맞춰 음악을 정확히 끼워 넣어야 하는 사용 사례에 특히 유용합니다.

8.2 가격과 라이선스

플랜가격다운로드상업적 사용
Free0 USD미리듣기만불가
Creator약 17 USD/월무제한가능 (영구)
Artist약 30 USD/월무제한가능 + 음원 배포 권리

Soundraw는 영구적 로열티 프리 라이선스를 제공합니다. 한 번 다운로드한 곡은 구독 해지 후에도 영구적으로 사용할 수 있습니다. 일본의 유튜브 크리에이터들과 영상 제작사에 인기가 높습니다.

9. Boomy / Anthemic / Riffusion — 더 작은 진입자들

9.1 Boomy

Boomy는 2018년 캘리포니아에서 시작한 회사로, "30초만에 곡을 만들고 Spotify에 배포한다"는 콘셉트로 성장했습니다. 2022년 한때 Spotify 신규 업로드의 10%가 Boomy에서 나왔다는 통계가 화제가 됐습니다. 2023년 봄 Spotify가 대량의 Boomy 트랙을 부정 스트리밍 의혹으로 제거하면서 일부 후퇴했지만, 2026년 시점에도 여전히 무료-진입-쉬운 도구로 사용됩니다.

9.2 Anthemic

Anthemic는 2025년 출시된 비교적 새로운 진입자로, 보컬과 가사 통합에 초점을 둡니다. 작은 팀이지만 보컬 표현(emoting)에서 차별성을 보이며, "내가 부른 콧노래에서 풀송을 만든다"는 사용 모델이 화제가 됐습니다.

9.3 Riffusion (Beat-N)

Riffusion은 2022년 12월에 공개된 오픈소스 프로젝트로, 시작은 단순했습니다 — 오디오를 스펙트로그램(주파수 이미지)으로 바꾸고, Stable Diffusion으로 이미지를 생성한 뒤, 그것을 다시 오디오로 변환한다는 트릭이었습니다. 2024년 회사화되어 ProducerAI로 이름을 바꿨고, 2026년 2월 Google에 인수되어 Lyria 3로 통합되었습니다. Riffusion이라는 이름의 오픈소스 데모는 여전히 GitHub에서 접근 가능합니다.

10. Google MusicLM과 MusicFX DJ — 인터랙티브 음악

Google DeepMind의 MusicLM은 2023년 1월 논문으로 발표되었고, 2023년 5월 AI Test Kitchen에서 제한적으로 공개되었습니다. 이후 Lyria로 이름을 바꿔 진화했으며, 2026년 시점의 라인업은 다음과 같습니다.

10.1 MusicLM 계보

  • MusicLM (2023): 첫 텍스트-투-뮤직 모델. AudioLM 기반.
  • MusicLM-Hum: 사용자가 부른 멜로디(콧노래)에서 풀 트랙 생성.
  • Lyria 1/2/3: 점점 더 긴 출력과 높은 품질. 48kHz 스테레오.
  • Lyria RealTime: 실시간 스트리밍 음악 제어.

10.2 MusicFX DJ

2024년 12월 Google Labs에서 출시한 MusicFX DJ는 인터랙티브 음악 생성의 새로운 사용 모델입니다. 사용자는 여러 개의 프롬프트 슬라이더를 가지고 있고, 각 슬라이더의 값을 실시간으로 조정하면 음악이 즉각적으로 변형됩니다. 예를 들어 "Jazz" 슬라이더를 올리면 재즈 요소가 더 강해지고, "Drums" 슬라이더를 내리면 드럼이 사라집니다. 이는 DJ가 라이브 세트에서 트랙을 믹스하는 방식을 AI 음악에 적용한 것입니다.

10.3 Lyria RealTime

Lyria RealTime은 별도로 봐야 합니다. "한 곡 생성"이 아니라 "스트리밍 오디오를 라이브로 컨트롤"하는 모델로, Gemini API로 접근합니다. 스타일, 박자, 분위기를 실시간으로 조정하면서 무한 음악을 만들 수 있고, 라이브 스트리밍/게임 BGM/인터랙티브 인스털레이션이 주 용도입니다.

11. Adobe Project Music GenAI Control

Adobe는 2024년 2월 Project Music GenAI Control이라는 연구 프로토타입을 공개했습니다. Adobe Research와 캘리포니아 대학교 산타바바라, 그리고 카네기 멜런 대학교의 공동 연구입니다. 핵심 아이디어는 "오디오를 텍스트처럼 편집"입니다.

11.1 핵심 기능 (프로토타입)

  • 텍스트 프롬프트로 곡 생성.
  • 생성된 곡의 인텐서티, 구조, 반복 패턴을 직접 조정.
  • 비트 매칭, 오디오 확장, 변환 같은 후처리 통합.
  • Premiere Pro/After Effects 같은 Adobe 제품군 통합 예정.

2026년 5월 시점에서 공식 제품으로 출시되지는 않았지만, Adobe Firefly 음악 생성 기능의 핵심 기술로 통합될 것으로 예상됩니다.

12. 오픈 모델 — AudioLM / AudioCraft / NaturalSpeech 3 / OpenMusic / F5-TTS

연구 커뮤니티 쪽에서는 다음 모델들이 2026년 시점의 표준입니다.

12.1 AudioLM (Google)

2022년 9월 공개된 AudioLM은 오디오를 LLM처럼 다루는 첫 번째 모델 중 하나입니다. SoundStream 코덱으로 오디오를 토큰화한 뒤, 트랜스포머로 다음 토큰을 예측합니다. 이 아키텍처는 이후 MusicLM, AudioCraft의 기반이 되었습니다.

12.2 AudioCraft (Meta)

Meta가 2023년 8월 공개한 AudioCraft는 음악과 사운드 생성을 위한 통합 프레임워크입니다. MusicGen, AudioGen, EnCodec을 한 번에 포함합니다. PyTorch 기반이며, GitHub에서 자유롭게 접근 가능합니다.

12.3 NaturalSpeech 3 (Microsoft)

NaturalSpeech 3은 음성 합성 모델이지만, 음악 생성에도 활용됩니다. Factorized Codec 구조로 음성의 음색, 운율, 발음을 분리해 학습합니다. Singing Voice Synthesis에 직접 응용됩니다.

12.4 OpenMusic

OpenMusic은 2024년 공개된 오픈소스 텍스트-투-뮤직 모델입니다. MusicGen 계보를 잇지만 더 작은 모델로 비슷한 품질을 추구합니다. CPU에서도 추론이 가능하다는 점이 특징입니다.

12.5 F5-TTS

F5-TTS는 2024년 10월 공개된 음성 합성 모델로, "5초 음성 샘플로 임의의 음색 복제"가 가능합니다. 음악 생성기와 결합하면 보컬 음색을 정밀하게 제어할 수 있습니다. 라이선스는 CC-BY-NC.

13. 가사 생성 — Suno Lyrics vs Udio vs ChatGPT

AI 음악 도구는 보통 자체 가사 생성기를 내장하지만, ChatGPT나 Claude로 가사를 직접 쓰고 음악 도구에 넣는 사용 패턴도 많습니다.

13.1 가사 생성 옵션 비교

옵션강점약점
Suno Lyrics음악 구조(verse/chorus/bridge)에 맞춤보컬 운율을 자체 모델이 처리
Udio Lyrics더 자유로운 가사 스타일운율 일관성이 약간 떨어짐
ChatGPT-4 / GPT-5일반적 작사 능력 최강음악 운율 모름
Claude 4 / Opus 4시적, 은유적 표현같은 약점
인간 작사가감정적 깊이시간/비용

실제 워크플로우는 보통 다음과 같습니다.

  1. ChatGPT로 가사 초안 생성 (주제, 분위기, 운율 패턴 지정).
  2. 사람이 보컬 운율에 맞춰 다듬기.
  3. 가사를 Suno/Udio에 붙여넣어 음악 생성.
  4. 마음에 안 들면 1번으로 돌아가기.

13.2 한국어 가사의 특수성

한국어 가사는 영어와 음절 구조가 다릅니다. 영어는 강세 음절(stressed syllable)에 멜로디의 강박이 떨어지지만 한국어는 음절 수가 균등합니다. 그래서 영어 학습 데이터로 훈련된 모델은 한국어를 어색하게 발음합니다. 2026년 시점에서 Suno v4.5는 한국어 음절 발음을 어느 정도 흉내내지만, 받침과 연음 처리는 여전히 어색합니다.

14. 스템 분리 — Demucs / Spleeter / Stable Audio Tools

AI 음악 생성기로 만든 곡이나 기존 곡에서 보컬/드럼/베이스/멜로디를 분리하는 도구입니다.

14.1 Demucs v4 (Meta)

Demucs는 Meta가 공개한 오픈소스 스템 분리 모델로, 2026년 시점에서 가장 널리 쓰입니다. v4는 Hybrid Transformer Demucs(HT-Demucs)로 트랜스포머와 컨볼루션을 결합한 구조입니다. 4 스템(보컬, 드럼, 베이스, 기타)과 6 스템(+ 피아노, 기타) 모델이 있습니다.

# Demucs 설치와 사용
pip install demucs

# 4 스템 분리
demucs my_song.mp3

# 6 스템 분리 (피아노, 기타 분리)
demucs --six-stems my_song.mp3

14.2 Spleeter (Deezer)

Spleeter는 Deezer가 2019년 공개한 모델로, 빠른 처리 속도가 강점입니다. 2 스템(보컬/반주), 4 스템, 5 스템 모델이 있습니다. 품질은 Demucs보다 약간 낮지만 CPU에서도 실시간 처리가 가능합니다.

14.3 Stable Audio Tools

Stability AI가 공개한 오픈소스 도구 모음입니다. Stable Audio의 잠재 공간 모델을 활용한 스템 분리, 트랙 확장, 오디오 변환 기능을 제공합니다.

14.4 상용 옵션 — LALAL.AI / Moises AI / UVR

  • LALAL.AI: 1팩 약 10 USD로 음원 한 곡 분리. 보컬, 드럼, 베이스, 기타, 피아노, 신스 등 10개 스템.
  • Moises AI: 약 4 USD/월 — 무제한 분리, 모바일 앱.
  • UVR (Ultimate Vocal Remover): 오픈소스 GUI 도구. 여러 모델을 통합 제공.

15. MIDI 생성 — Magenta와 Anticipatory Music Transformer

오디오가 아니라 MIDI(악보 데이터)를 생성하는 도구도 있습니다. 작곡가가 DAW에서 직접 편집할 수 있다는 장점이 있습니다.

15.1 Magenta (Google)

Magenta는 Google Brain이 2016년 시작한 음악 + 머신러닝 연구 프로젝트입니다. 2026년 시점에서는 Magenta Studio라는 Ableton Live 플러그인을 제공합니다. 기능은 다음과 같습니다.

  • Continue: 입력 MIDI 클립을 자동으로 이어 그림.
  • Generate: 빈 클립에 새 멜로디 생성.
  • Interpolate: 두 MIDI 클립 사이를 모핑.
  • Drumify: 입력 리듬에 드럼 패턴 추가.

15.2 Anticipatory Music Transformer (Stanford)

스탠퍼드 CRFM이 2024년 공개한 모델로, MIDI 시퀀스를 트랜스포머로 학습합니다. 특징은 "조건부 생성"이 자유롭다는 점입니다. 사용자가 특정 노트를 미래 시점에 "고정"하면 모델이 그 노트를 향해 자연스럽게 진행합니다.

16. 음악용 보이스 클로닝 — RVC / So-Vits-SVC

기존 보컬 트랙의 음색을 다른 사람의 음색으로 바꾸는 도구입니다. 모창(cover)이나 가상 가수 만들기에 사용됩니다.

16.1 RVC (Retrieval-based Voice Conversion)

RVC는 2023년 공개된 오픈소스 보이스 변환 모델입니다. 학습 데이터로 10분 정도의 보컬 샘플만 있으면 그 음색으로 다른 곡을 모창할 수 있습니다. 한국과 일본의 V-tuber 커뮤니티에서 폭발적으로 사용되었습니다.

16.2 So-Vits-SVC

So-Vits-SVC는 Soft-VITS Singing Voice Conversion의 약자로, RVC의 전신 격 모델입니다. 음색 변환 외에도 음정 조정과 비브라토 제어가 가능합니다.

16.3 법적 회색지대

RVC와 So-Vits-SVC로 유명 가수의 음색을 복제하는 것은 회색지대입니다. 2023년 Drake와 The Weeknd를 모창한 "Heart on My Sleeve"가 화제가 되면서 미국과 영국에서 음성권/퍼블리시티권 입법 논의가 시작되었습니다.

17. 법적 이슈 — RIAA 대 Suno/Udio 소송

17.1 소송의 배경

2024년 6월 24일, 미국음반산업협회(RIAA)는 Universal/Warner/Sony를 대리해 Suno(매사추세츠 연방 지방법원)와 Udio(뉴욕 남부 지방법원)를 상대로 저작권 침해 소송을 제기했습니다. 핵심 주장은 "허가 없이 저작권 보호된 음반을 학습 데이터로 썼다"입니다.

17.2 양측의 주장

  • RIAA 측: Suno와 Udio가 메이저 레이블의 카탈로그를 무단으로 스크래핑해 학습에 썼다. 그 증거로 모델이 특정 곡을 거의 그대로 복원하는 예시를 제출.
  • Suno/Udio 측: 학습 행위는 변혁적 공정 이용(transformative fair use)에 해당. Google Books 판례 등을 인용.

17.3 합의의 물결 (2025-2026)

  • 2025년 10월 29일: Universal Music Group이 Udio와 합의.
  • 2025년 11월 25일: Warner Music Group이 Udio와 합의.
  • 2026년 1월: Kobalt Music Group이 Udio와 합의.
  • 2026년 3월: Merlin Network(인디 레이블 연합)가 Suno/Udio 양쪽과 합의.

2026년 5월 시점에서 Suno 소송은 진행 중이며, 약식 판결 심리가 2026년 7월에 잡혀 있습니다.

17.4 Sony Music 데이터 스크래핑 사건

2024년 5월, Sony Music은 700+ AI 회사에 "우리 카탈로그를 학습에 쓰지 말라"는 옵트아웃 통지를 보냈습니다. 이 통지는 AI 음악 산업 전체에 학습 데이터 출처를 다시 점검하게 만든 계기였습니다.

17.5 공정 이용의 한계

미국 저작권법의 변혁적 공정 이용 원칙은 "원작과 다른 목적/표현"을 만들 때 적용됩니다. AI 음악 생성기가 특정 곡을 거의 그대로 복원할 수 있다는 점은 이 원칙의 적용을 어렵게 만듭니다. 2026년 시점에서 미국 법원의 일관된 판례는 아직 없으며, 산업은 라이선싱 합의로 가는 길을 선택하고 있습니다.

18. 한국 서비스 — SKT MetaSpace Music과 Naver Clova Music

18.1 SK텔레콤 MetaSpace Music

SK텔레콤은 2024년 메타버스 전략의 일환으로 MetaSpace Music 베타를 공개했습니다. 한국어 가사 처리에 강점이 있는 텍스트-투-뮤직 모델로, 2026년 시점에서는 ifland(SKT의 메타버스 플랫폼) 안에서 사용자 생성 음악으로 활용되고 있습니다.

18.2 Naver Clova Music

Naver의 Clova AI 라인업 중 하나로, BGM 생성과 보컬 합성에 특화돼 있습니다. Naver의 자체 가수 보컬 데이터로 학습된 한국어 보컬 합성 모델이 핵심 차별점입니다.

18.3 K-pop 산업의 AI 활용

SM 엔터테인먼트는 nævis라는 가상 아티스트를 2024년 공개했고, HYBE는 2024년 미국 자회사 MIN Music을 통해 AI 음악 도구 개발에 투자했습니다. JYP는 보컬 가이드와 데모 제작에 AI를 활용한다고 공식 발언했습니다.

19. 일본 서비스 — Sound Catalyst와 Vocaloid AI

19.1 NTT Sound Catalyst

NTT 그룹의 음악 AI 라인업으로, 2025년 시점에서 라이브 공연용 실시간 음악 생성에 특화돼 있습니다. 도쿄돔 같은 대형 공연장에서 군중 반응을 입력으로 받아 BGM을 동적으로 생성하는 데모가 화제가 됐습니다.

19.2 Yamaha Vocaloid AI Yui / Aoi

Yamaha는 Vocaloid 6에서 새로운 라이브러리 "Yui"와 "Aoi"를 공개했습니다. 둘 다 인공지능 학습 기반 보컬 합성 라이브러리로, 기존 Vocaloid의 픽처/규칙 기반 합성과 다릅니다. 일본어 가사에 가장 자연스러운 결과를 줍니다.

19.3 Synthesizer V (Dreamtonics)

Synthesizer V는 도쿄 Dreamtonics에서 개발한 AI 보컬 합성 도구입니다. SynthV Studio Pro로 2026년 시점에서 일본어/영어/중국어/한국어 보컬 합성을 모두 지원합니다. 일본 콘텐츠 제작 현장에서 가장 폭넓게 쓰입니다.

19.4 일본 프로듀서의 AI 활용

三浦大知(Daichi Miura) 같은 일본 J-pop 아티스트의 프로듀서들이 AI를 데모 제작, 보컬 가이드, BGM 스케치에 활용한다고 인터뷰에서 언급한 바 있습니다.

20. 워크플로우 — Prompt → Generate → Extend → Stems → DAW

실제 프로덕션에서 AI 음악을 활용하는 워크플로우는 다음과 같습니다.

20.1 표준 워크플로우 (5단계)

  1. Prompt: 장르, 분위기, 템포, 키, 악기를 명시한 텍스트 프롬프트 작성. 예: lofi hip hop, 70 BPM, A minor, piano + jazz drums, melancholic.
  2. Generate: Suno/Udio/Stable Audio에서 곡 생성. 보통 2-4개 변형을 받음.
  3. Extend: 마음에 드는 변형을 8분까지 연장. 인트로/벌스/코러스/아웃트로 추가.
  4. Stems: 완성된 곡을 스템 분리. Suno/Udio 내장 또는 Demucs로.
  5. DAW: 스템을 DAW에 임포트해 후처리. 보컬 다시 녹음, 비트 교체, 마스터링.

20.2 프롬프트 작성 팁

  • 장르 명시: style of jazz, genre: synthwave 같은 식.
  • 악기 명시: featuring acoustic guitar and harmonica.
  • 분위기 명시: melancholic, uplifting, tense.
  • 레퍼런스: style of Miles Davis (회색지대 — 라이선싱된 모델에서만 안전).
  • 기술 명시: lo-fi production, analog tape saturation, vinyl crackle.

20.3 한국어/일본어 가사 워크플로우

  • 영어 가사로 먼저 생성 → 만족스러우면 가사만 한국어/일본어로 교체 → 재생성.
  • 이렇게 하면 음악적 구조는 영어로 학습된 데이터의 강점을 살리고, 가사만 모국어로 가져갈 수 있습니다.
  • Suno v4.5는 한국어/일본어 가사를 어느 정도 처리하지만, 4분 이상 가면 일관성이 무너집니다.

21. 비교표 — 7대 도구 한눈에 보기

도구카테고리풀송 길이가격강점약점라이선스
Suno v4.5풀송 (보컬+반주)4분 (Extend 8분)10 USD/월~UI/UX, 메인스트림 장르한국어/일본어Pro 이상 상업 가능
Udio v2풀송 (보컬+반주)1분 30초 (Extend 15분)10 USD/월~힙합/R&B/라틴약간 거친 보컬Pro 이상 상업 가능
Stable Audio 2.0인스트루멘털3분12 USD/월~사운드 디자인, audio-to-audio보컬 안 됨ARC 라이선스
MusicGen 3.3B오픈, 인스트루멘털30초~ (확장 가능)무료 (셀프 호스팅)오픈, 파인튜닝CC-BY-NC, 보컬 안 됨비상업
AIVA오케스트라/시네마틱5분+15 USD/월~MIDI 편집, 영화/게임보컬 안 됨Pro에서 완전 소유
MubertAPI/스트리밍무한 스트림14 USD/월~API, 게임 통합곡 단위 컨트롤 약함Creator 이상 상업
Soundraw구조적 BGM사용자 지정17 USD/월~영상 편집 정확 컷보컬 안 됨영구 로열티 프리

22. 자주 묻는 질문 — FAQ

22.1 AI 음악을 Spotify에 올려도 되나요?

AI 도구의 라이선스에 따라 다릅니다. Suno Pro, Udio Pro, AIVA Pro, Soundraw Creator 이상에서는 상업적 사용이 명시적으로 허용되며, Spotify와 Apple Music도 이를 받아들입니다. 다만 Spotify는 "비정상적 스트리밍"으로 의심되는 트랙(예: Boomy 사태)을 일괄 제거한 적이 있습니다.

22.2 저작권은 누구에게 있나요?

AI 도구의 약관에 따라 다릅니다. AIVA Pro와 Soundraw는 사용자에게 완전한 저작권을 부여합니다. Suno와 Udio는 사용자에게 사용 권리를 부여하지만 도구 회사도 일정 권리를 유지합니다. 미국 저작권청은 "AI가 생성한 콘텐츠에는 인간의 창작적 기여가 있어야 저작권 등록이 가능하다"는 입장입니다.

22.3 어떤 도구로 시작해야 하나요?

  • 취미/실험: Suno 무료 플랜.
  • 유튜브 BGM: Mubert, Soundraw, AIVA.
  • 인디 게임 사운드트랙: Mubert API, Soundraw, MusicGen(셀프 호스팅).
  • 상업적 음원 발매: Udio Pro, Suno Premier(법적 리스크 인지).
  • 영화/광고: AIVA Pro, Stable Audio 2.0.

22.4 AI 음악은 진짜 음악인가요?

이 질문은 답이 없습니다. 다만 한 가지 사실은 명확합니다 — 2026년의 AI 음악은 "사람을 대체"가 아니라 "이전에 음악을 못 만들던 사람도 만들기 시작"의 도구입니다. 그 경계를 인정하면 어떤 도구를 어떻게 쓸지가 명확해집니다.

23. 참고 자료

Discuss on Twitter • View on GitHub