← The Practice Room
스템 분리

AI는 실제로 어떻게 곡을 스템으로 분리할까

완성된 믹스에서 보컬, 드럼, 베이스를 빼낸다는 건 다 구운 케이크를 재료로 되돌리는 것만큼 불가능하게 들려요. 실제로 무슨 일이 일어나는지, 그리고 왜 어떤 파트는 깔끔하게 나오고 어떤 파트는 조금 지저분하게 남는지 알아볼게요.

RR Roy Rosenberg
색소폰 연주자 & Riffloop 코치
· 2026년 7월 4일 · 6분 분량

간단히 답하면

AI 스템 분리기는 어떻게 작동하나요?

AI 스템 분리기는 스펙트로그램에서 각 악기의 지문을 알아보고 모든 파트를 각각의 트랙으로 다시 만들어서, 믹스된 곡을 보컬, 드럼, 베이스, 기타, 피아노로 나눠요. Riffloop은 이 분리를 내 기기에서 실행해요. 지금 보고 있는 YouTube 곡이든 업로드한 파일이든 되니까, 연습하면서 어떤 파트든 솔로로 듣거나 음소거할 수 있어요.

케이크를 재료로 되돌리기 ♪
하나의 믹스· 추정된 여섯 파트 ·솔로 또는 음소거

곡을 재생할 때 스피커 콘이 하는 일은 딱 하나예요. 한 경로를 따라 앞뒤로 움직이는 것뿐이죠. 모든 악기, 모든 목소리, 밴드 전체가 이미 하나로 섞인 파형으로 합쳐져 있어요. 파일 안에 "보컬 트랙"이 숨어서 꺼내지기를 기다리고 있는 게 아니에요. 합쳐진 결과만 있을 뿐이에요.

그러니 소프트웨어에게 분리된 보컬을 돌려 달라고 하는 건, 다 구운 케이크를 재료로 되돌려 달라는 것과 같아요. 완성된 믹스를 보고, 함께 섞였고 엄밀히 말하면 버려진 재료를 다시 만들어 내야 하니까요. 그게 된다는 것 자체가 정말 놀라운 일이에요. 그리고 어떻게 되는지 알면 언제 믿어도 되는지 정확히 알 수 있어요.

분리는 마법이 아니에요. 아주 정확한 추측이고, 믹스가 깔끔할수록 추측도 더 정확해져요.

01모델은 각 파트가 어떻게 생겼는지 배워요

AI 분리는 분리된 트랙이 알려져 있는 방대한 곡 라이브러리로 학습해요. 스튜디오에는 진짜 보컬, 진짜 드럼, 진짜 베이스가 따로 남아 있으니까요. 신경망은 전체 믹스와 그 진짜 파트들을 함께 보고 또 보면서, 보컬, 스네어, 베이스 음이 시간에 따른 주파수를 그린 그림, 즉 스펙트로그램에서 대체로 어떻게 보이는지 배워요.

그다음 한 번도 들어 본 적 없는 새 곡을 만나면, 각 파트마다 일종의 스텐실을 추정해서 매 순간 어떤 주파수가 보컬에 속하고 어떤 주파수가 드럼에 속하는지 등을 판단하고 그걸 들어내요. 원본 파일을 복구하는 게 아니에요. 학습한 모든 곡을 바탕으로 근거 있는 추측을 하는 거예요.

02어떤 파트가 더 깔끔하게 나오는 이유

모든 악기가 똑같이 추측하기 쉬운 건 아니에요. 결과를 판단하기 전에 알아 두면 좋은 부분이에요.

03도구보다 녹음이 더 중요해요

스템이 물 탄 듯 흐릿하게 나오면 다들 소프트웨어 탓을 하지만, 더 큰 요인은 대개 음원이에요. 깔끔하게 믹스된 스튜디오 녹음은 모델에게 나누기 쉬운 분명한 재료를 줘요. 휴대폰으로 찍은 라이브 영상, 로파이 업로드, 처리를 많이 거친 트랙은 음원들이 이미 서로 뭉개진 믹스를 건네는 셈이라, 아무리 똑똑해도 완전히 풀어내지는 못해요.

그러니 결과가 실망스럽다면 도구를 탓하기 전에 같은 곡의 더 깔끔한 버전을 먼저 시도해 보세요. 쓰레기를 넣으면 꼭 쓰레기가 나오는 건 아니지만, 꺼내기가 더 어려워지는 건 맞아요. 그건 버그가 아니라 물리예요.

04내 기기에서, 아니면 서버로

조용히 중요한 설계상의 선택이 하나 더 있어요. 분리를 어디서 실행하느냐예요. 많은 도구가 오디오를 서버에 업로드해서 클라우드에서 처리하고 스템을 돌려보내요. 즉, 직접 녹음한 것까지 포함해서 내 파일이 내 컴퓨터를 떠난다는 뜻이에요.

Riffloop은 대신 내 기기에서 분리를 실행해요. 지금 보고 있는 YouTube 영상이나 업로드한 파일에서 바로, 곡을 보컬, 드럼, 베이스, 기타, 피아노, 나머지의 여섯 스템으로 나누기 때문에 아무것도 업로드되지 않아요. 데모나 레슨 녹음에도 쓰게 될 연습 도구라면, 오디오를 기기 안에 두는 것이 그런 걱정 자체를 하지 않게 해 주는 차이예요.

파트별로 들어 보세요

어떤 곡이든 여섯 스템으로 분리하세요

곡을 보컬, 드럼, 베이스, 기타, 피아노, 나머지로 나눈 다음 각각 솔로로 듣거나 음소거하세요. YouTube 영상에서도, 업로드한 파일에서도 돼요. 무료로 시작하고, 가입도 필요 없고, 아무것도 기기 밖으로 나가지 않아요.

01 불러오기YouTube 곡을 열거나 파일을 업로드하세요.
02 분리여섯 스템으로 나누세요.
03 솔로한 파트만 남기고 나머지는 음소거.
04 반복 연습구간 반복하고 속도를 늦춰 익히세요.

05추측이라는 걸 알면 더 잘 쓸 수 있어요

완벽을 기대하지 않으면, 스템은 엄청나게 유용한 연습 도구가 돼요. 보컬, 드럼, 베이스 분리는 믿으셔도 돼요. 스트링과 신스 묶음은 거칠 거라고 생각하고, 거기서 세밀한 부분까지 채보하려고 하지 마세요. 구할 수 있는 가장 깔끔한 녹음을 넣으세요. 그러면 분리가 잘하는 것을 정확히 얻게 돼요. 한 파트를 마침내 익힐 수 있을 만큼 또렷하게 듣는 것 말이에요.

처음부터 마법은 아니었어요. 산더미 같은 음악으로 학습해서 내 노트북에서 조용히 돌아가는, 아주 정확한 추측이에요. 연습하는 방식을 바꾸기엔 그걸로 충분하고도 남아요.

RR
Roy Rosenberg
색소폰 연주자 · Riffloop 코치

Roy는 같은 네 마디를 반복한 시간이 본인이 인정하는 것보다 훨씬 길어요. The Practice Room에 연습법과 청음 훈련에 관한 글을 쓰고 있어요.