← The Practice Room
ステム分離

AIはどうやって曲をステムに分離するのか

完成したミックスからボーカル、ドラム、ベースを取り出すなんて、焼き上がったケーキを元の材料に戻すくらい不可能に思えます。実際に何が起きているのか、そしてなぜきれいに分かれるパートと少し濁りが残るパートがあるのかを解説します。

RR Roy Rosenberg
サックス奏者 & Riffloop コーチ
· 2026年7月4日 · 6分で読めます

短く答えると

AI ステム分離ツールはどういう仕組みですか?

AI ステム分離ツールは、スペクトログラム上で各楽器の「指紋」を認識し、それぞれのパートを独立したトラックとして再構築することで、ミックスされた曲をボーカル、ドラム、ベース、ギター、ピアノに分けます。Riffloop はこの分離をあなたの端末上で実行します。今見ている YouTube の曲でも、アップロードしたファイルでも使えるので、練習しながらどのパートもソロにしたりミュートしたりできます。

ケーキを材料に戻す ♪
ひとつのミックス· 推定された6つのパート ·ソロかミュート

曲を再生するとき、スピーカーのコーンがしていることはたったひとつ、一本の軌道に沿って前後に動くことだけです。すべての楽器、すべての声、バンド全体が、すでにひとつの波形に足し合わされています。ファイルの中に「ボーカルトラック」が隠れていて、取り出されるのを待っているわけではありません。あるのは合計だけです。

つまりソフトウェアに、分離されたボーカルを返してほしいと頼むのは、焼き上がったケーキを材料に戻せと頼むようなものです。完成したミックスを見て、混ぜ合わされ、厳密に言えば捨てられてしまった材料を再構築するのですから。それがそもそも成立していること自体、本当にすごいことです。そしてどうやっているのかを理解すれば、どんなときに信頼できるのかが正確にわかります。

分離は魔法ではありません。非常に精度の高い推測であり、ミックスがきれいなほど推測も正確になります。

01モデルは各パートの「見た目」を学ぶ

AI による分離は、分離されたトラックがわかっている膨大な曲のライブラリで学習されます。スタジオには本物のボーカル、本物のドラム、本物のベースが単独で残っているからです。ネットワークはフルミックスとそれらの正解パートを何度も何度も見せられ、ボーカルやスネア、ベースの音が、時間ごとの周波数を描いた画像、つまりスペクトログラム上でどう見えがちなのかを学んでいきます。

そして一度も聴いたことのない新しい曲に出会うと、各パートのいわば型紙を推定し、各瞬間のどの周波数がボーカルに属し、どれがドラムに属するのか……と判断して、それを抜き出します。元のファイルを復元しているのではありません。学習したすべての曲の知識をもとに、根拠のある推測をしているのです。

02きれいに分かれるパートがある理由

どの楽器も同じように推測しやすいわけではありません。結果を判断する前に、ここは知っておく価値があります。

03ツールより録音が重要

ステムが水っぽく聴こえるとソフトウェアのせいにされがちですが、大きな要因はたいてい音源のほうです。きれいにミックスされたスタジオ録音なら、モデルは分けやすい明確な材料を受け取れます。スマホで録ったライブ映像、ローファイなアップロード、強く加工されたトラックでは、音源同士がすでに混ざり合ってぼやけたミックスを渡すことになり、どれだけ賢くてもそれを完全に解きほぐすことはできません。

ですから結果にがっかりしたら、ツールを責める前に同じ曲のもっときれいなバージョンを試してみてください。ゴミを入れたら必ずゴミが出てくるわけではありませんが、取り出すのは難しくなります。それは物理の問題で、バグではありません。

04端末上で処理するか、サーバーへ送るか

もうひとつ、静かに効いてくる設計上の選択があります。分離をどこで実行するかです。多くのツールは音声をサーバーにアップロードし、クラウドで処理してステムを送り返します。つまり、自分で録音したものも含めて、あなたのファイルがマシンの外に出ることになります。

Riffloop は代わりにあなたの端末上で分離を実行します。今見ている YouTube の動画でも、アップロードしたファイルでもそのまま処理し、曲をボーカル、ドラム、ベース、ギター、ピアノ、その他の6つのステムに分けるので、何もアップロードされません。デモ音源やレッスンの録音にも使う練習ツールだからこそ、音声を手元に置いておけることで、そのことを気にせずに済むのです。

パートごとに聴く

どんな曲も6つのステムに分離

曲をボーカル、ドラム、ベース、ギター、ピアノ、その他に分け、それぞれをソロにしたりミュートしたりできます。YouTube の動画でも、アップロードしたファイルでも使えます。無料で始められ、登録不要。データが端末の外に出ることはありません。

01 読み込むYouTube の曲を開くか、ファイルをアップロード。
02 分離する6つのステムに分ける。
03 ソロにする1つのパートを残し、ほかはミュート。
04 反復練習ループしてテンポを落とし、覚える。

05推測だと知れば、もっと上手に使える

完璧を期待するのをやめれば、ステムは信じられないほど役に立つ練習ツールになります。ボーカル、ドラム、ベースの分離は信頼して大丈夫。ストリングスやシンセの「その他」は粗いものと考え、そこから細かい部分を採譜しようとしないこと。そして手に入るいちばんきれいな録音を使うこと。そうすれば分離が得意なことを、まさにそのまま得られます。ひとつのパートを、ついに覚えられるくらいはっきりと聴けるのです。

それは最初から魔法ではありませんでした。山のような音楽で学習し、あなたのノートパソコンで静かに動く、非常に精度の高い推測です。それだけで、練習のやり方を変えるには十分すぎるほどです。

RR
Roy Rosenberg
サックス奏者・Riffloopコーチ

Royは、同じ4小節をループし続けた時間が本人が認める以上に長いミュージシャンです。The Practice Roomで練習法と耳トレについて書いています。