AI 음악 편집: 생성과 편집을 헷갈리지 말자

AI 음악 편집: 생성과 편집을 헷갈리지 말자

지금의 AI 음악 편집은 세 가지 다른 일이 한 가지 이름으로 불리는 거다. 스템 분리(stem separation), 트랙 내부 재생성, 자동 마스터링. 이미 가지고 있는 파일에서 보컬을 떼어내고 싶거나, 다시 녹음 없이 한 마디만 바꾸거나, 거친 믹스를 -14 LUFS에 가깝게 조정하고 싶다면 다 있다. 그리고 대부분 제대로 작동한다. 다만 아직까지는 트랙이 어떻게 들려야 하는지 아는 프로듀서는 대체하지 못한다.

명칭이 헷갈린 이유는 간단하다. 지금 AI 음악 판의 최강자는 Suno와 Udio인데, 이 둘은 '생성'으로 마케팅했다. 그래서 모든 리스트 기사가 같은 도구를 다른 검색어에 쓴다. "AI 음악 편집"을 치는 사람은 보통 이미 파일을 들고 있지, 빈 프롬프트창을 찾는 게 아니다. 이 글은 그런 사람을 위한 거다.

AI 음악 편집은 스템 분리지, 생성이 아니다

"AI 음악 편집"을 검색하면 결과의 절반이 생성 도구를 손에 쥐여준다. Suno, Udio, AIVA. 이들은 텍스트 프롬프트에서 음악을 만든다. 그게 생성이다. 편집은 다르다. 이미 있는 트랙, 스템, 보컬 테이크가 있고 그걸 처음부터 다시 하지 않고 바꾸려는 거다.

구분이 중요한 이유는 워크플로우가 안 겹친다는 것. 생성 도구는 완성된 루프를 한 번에 내놓는다. 편집 도구는 이미 있는 것을 가져다가 격리하고, 자르고, 깨끗하게 하고, 밸런스를 맞춘다. 이 둘을 헷갈리면 오후를 낭비한다. 혼합된 트랙을 새 음악을 만드는 도구에 올린다.

스템 분리가 실제로 시간을 줄여주는 이유

"AI 음악 편집"에서 실제로 편집이라 부를 만한 것은 스템 분리다. 혼합된 트랙을 올리면 보컬, 드럼, 베이스, 악기 트랙이 분리되어 나온다. 거기서 한 섹션을 리믹스하거나, 캡엘라 버전을 따로 만들거나, 새로 깔린 신스와 충돌하는 악기를 뮤트할 수 있다.

스템 출력 개수는 도구마다 다르다. Soundverse는 최대 6개 스템까지 분리한다. Moises는 5개다. 저음 신스를 베이스 스템과 따로 떼야 한다면 이 차이가 의미 있다.

실제로 이렇게 쓰는 건 네 가지다. 참고 트랙에서 캡엘라 떼기 (라이브 리믹스용). 새 신스 라인과 충돌하는 기타 뮤트. 전체 어레인지에서 인트로 루프만 따로 빼기, 테이크 다시 안 해도 된다. 그리고 스트리머 영상 세그먼트용 백킹 트랙. 악기 스템만 따고 보컬 빼서 별도 악기음 버전 라이센싱 안 해도 된다. 작은 편집인데 채널에서 자주 쓰면 무가치하지 않다.

처리 자체는 더 이상 병목이 아니다. 클라우드 분리 도구는 4분짜리 곡을 커피 마실 시간 안에 끝낸다. 병목은 그 이후다. 분리된 스템은 거의 항상 인접 악기에서 새어 나오는 음이 있다. 그 잡음을 정리하는 데는 아직도 인간의 귀가 알고리즘을 이긴다.

스템 분리 도구 비교에 더 알고 싶으면 Soundverse의 스템 분리 비교 문서를 10분쯤 들여 읽을 가치가 있다.

Stable Audio의 오디오 투 오디오 모드가 리믹스 버튼에 가장 가깝다

대부분의 생성 도구는 텍스트에서 오디오로만 간다. Stable Audio는 오디오 투 오디오도 한다. 기존 루프나 스템을 집어넣으면 그 텍스처, 장르, 에너지를 바꾼다. 기저 구조는 유지하면서. 이건 프로듀서에겐 중요한 의미의 편집이다. 빈 페이지에서의 생성이 아니라.

정밀하지는 않다. 어느 16분음표가 바뀔지는 조절할 수 없다. 이미 좋아하는 베이스라인 10개 변형을 빨리 만들고, 어레인지에 맞는 걸 고르는 거다. 편집 세션 안에 들어간 스케치 도구로 보면 된다. 대체제가 아니라.

트랜지션이나 필에서 막혔고 스스로 고르기보다는 10개 빠른 옵션을 원할 때 쓸 만하다. 이미 있는 퍼포먼스를 유지해야 한다면 건너뛰자. 오디오 투 오디오는 입력을 다시 해석한다. 유지하지 않는다.

텍스트 기반 편집이 웨이브폼 편집을 대체하고 있다

다른 변화는 텍스트로 오디오를 편집하는 거다. Descript가 보컬 테이크를 전사하면 트랜스크립트에서 바로 문장을 자르고, 옮기고, 지울 수 있다. 텍스트에서 문장을 지우면 오디오도 잘린다. "음" 같은 필러는 자동 표시돼 한 클릭에 없어진다.

이건 팟캐스트에서 시작했다. 이제 음악 편집으로 번지고 있다. 스트림 오프닝, 보컬 ad-lib, 콘텐츠로 편집하는 모든 세션에서다. 일회 숨 한 번을 찾으려고 타임라인을 30분 헤맨 적이 있다면 텍스트 편집은 그 답이다.

스네어 히트를 조이거나 5개 퍼포먼스에서 보컬을 콤핑하는 건 도와주지 않는다. 그건 여전히 웨이브폼 작업인데, 단축키를 알면 더 빨다. 텍스트 편집이 이기는 건 콘텐츠 기반 편집이다. 인트로, 아웃트로, 스트림 드롭, 음정보다는 가사가 중요한 모든 보컬.

AI 마스터링은 -14 LUFS를 만들지, 완성된 믹스는 아니다

자동 마스터링 도구는 믹스를 듣고 EQ, 컴프레션, 리미터를 -14 LUFS 목표값(스트리밍 표준)에 맞춘다. 이 부분은 작동한다. 합리적으로 밸런스된 믹스를 집어넣으면 더 크게, 더 고른 상태로 나온다. Spotify 클리핑 없이 준비 완료다.

못 고치는 건 처음부터 밸런스가 안 된 믹스다. iZotope의 RX는 Music Rebalance 모듈을 탑재하는데, 믹스다운 때 분리됐어야 할 요소들을 분리한다. Bridge.audio의 2026 프로덕션 도구 정리는 이런 수리 도구가 순수 자동 마스터링과 어디서 다른지 보여준다.

라우드니스 타겟은 범용이 아니다. Spotify와 YouTube는 -14 LUFS 정도에 노말라이즈하고, Apple Music은 -16에 더 가깝다. 한 플랫폼 숫자에 맞춘 자동 마스터는 다른 곳에서 과압축으로 들릴 수 있다. 한 곳 이상에 배포하면 기본값 믿지 말고 수동 확인하자.

자동 마스터링을 유일한 단계로 건너뛰자. 참고 포인트로 써라. 거친 믹스를 돌려보고, 뭐가 바뀌었는지 들어보고, 그 변화를 영구히 원하는지 귀로 판단하자.

Suno와 Udio는 편집 도구가 아니다 (사람들이 그렇게 부르지만)

스킵 포인트를 가자. 대부분의 "AI 음악 편집" 리스트는 Suno와 Udio를 맨 위에 놓는다. 둘 다 이미 있는 오디오를 편집하도록 만들어지지 않았다. Suno는 프롬프트에서 전체 곡을 생성한다. Udio도 똑같은데, 달린 기능 하나는 진정한 편집이다. 인페인팅인데, 생성된 트랙의 한 섹션을 선택하고 나머지는 유지한 채 그 부분만 재생성한다.

그 인페인팅 기능은 실제 편집이다. 다만 Udio가 생성한 트랙에서만 작동한다. 자신의 보컬 테이크나 DAW의 믹스를 올리면 둘 다 할 수 있는 게 없다. 이미 녹음한 오디오에서 시작하면 둘 다 틀린 문이다.

이건 두 도구가 만들어진 일에 대한 까짓이 아니다. 생성은 실제 카테고리고 실제 쓰임이 있다. 스트림 백킹 트랙, 무드보드, 나중에 제대로 다시 녹음할 멜로디 초안. 단지 편집이 아니고, 둘을 같은 것처럼 취급하는 검색 결과가 왜 절반의 가이드가 틀린 도구로 보내는지다.

AIVA는 같은 버킷이다. 스타일 프리셋에서 오케스트라곡과 시네마틱 곡을 작곡한다. 몬타주나 인트로 스팅에 쓸 가치는 있다. 녹음한 파일을 열어서 섹션을 바꿀 모드는 없다. 같은 카테고리 착각, 다른 장르.

실제 편집 세션에서 뭘 쓸지

두 경우는 AI 편집이 세션에 들어갈 자격이 있고, 한 경우는 없다. 참고 트랙에서 스템을 떼고, 웨이브폼을 20분 헤매는 대신 텍스트로 보컬을 정리할 때는 쓸 가치가 있다. 릴리스 직전 마지막 마스터링 단계로는 가치가 없다. 그 일은 여전히 귀의 몫이다.

빠른 편집이 필요한 스트리머에게는 라이브 사용을 위해 만들어진 실시간 도구가 다른 카테고리다. Mubert는 DAW 안 건드릴 로열티 프리 루핑 백드롭을 생성해서 바로 세트에 떨어뜨릴 수 있다. 오전 2시 스튜디오 편집보다는 AfreecaTV 라이브일 때가 훨씬 중요하다.

기억할 실제 분기는 이거다. 트랙이 이미 있는 세션용 편집 도구, 뭔가 새로 필요한 순간 생성 도구. 이미 테이크가 있으면 스템 분리와 텍스트 기반 보컬 편집을 쓰자. 스트림이 라이브고 DMCA 문제 없이 지금 당장 백드롭이 필요하면 실시간 생성 도구를 쓰자.

이미 녹음한 트랙을 편집하면 스템 분리와 보컬 텍스트 편집부터 시작하자. 자동 마스터링은 참고용이지, 최종 판단은 아니다.