AIはどうやって曲をステムに分離するのか
完成したミックスからボーカル、ドラム、ベースを取り出すなんて、焼き上がったケーキを元の材料に戻すくらい不可能に思えます。実際に何が起きているのか、そしてなぜきれいに分かれるパートと少し濁りが残るパートがあるのかを解説します。
短く答えると
AI ステム分離ツールはどういう仕組みですか?
AI ステム分離ツールは、スペクトログラム上で各楽器の「指紋」を認識し、それぞれのパートを独立したトラックとして再構築することで、ミックスされた曲をボーカル、ドラム、ベース、ギター、ピアノに分けます。Riffloop はこの分離をあなたの端末上で実行します。今見ている YouTube の曲でも、アップロードしたファイルでも使えるので、練習しながらどのパートもソロにしたりミュートしたりできます。
曲を再生するとき、スピーカーのコーンがしていることはたったひとつ、一本の軌道に沿って前後に動くことだけです。すべての楽器、すべての声、バンド全体が、すでにひとつの波形に足し合わされています。ファイルの中に「ボーカルトラック」が隠れていて、取り出されるのを待っているわけではありません。あるのは合計だけです。
つまりソフトウェアに、分離されたボーカルを返してほしいと頼むのは、焼き上がったケーキを材料に戻せと頼むようなものです。完成したミックスを見て、混ぜ合わされ、厳密に言えば捨てられてしまった材料を再構築するのですから。それがそもそも成立していること自体、本当にすごいことです。そしてどうやっているのかを理解すれば、どんなときに信頼できるのかが正確にわかります。
01モデルは各パートの「見た目」を学ぶ
AI による分離は、分離されたトラックがわかっている膨大な曲のライブラリで学習されます。スタジオには本物のボーカル、本物のドラム、本物のベースが単独で残っているからです。ネットワークはフルミックスとそれらの正解パートを何度も何度も見せられ、ボーカルやスネア、ベースの音が、時間ごとの周波数を描いた画像、つまりスペクトログラム上でどう見えがちなのかを学んでいきます。
そして一度も聴いたことのない新しい曲に出会うと、各パートのいわば型紙を推定し、各瞬間のどの周波数がボーカルに属し、どれがドラムに属するのか……と判断して、それを抜き出します。元のファイルを復元しているのではありません。学習したすべての曲の知識をもとに、根拠のある推測をしているのです。
02きれいに分かれるパートがある理由
どの楽器も同じように推測しやすいわけではありません。結果を判断する前に、ここは知っておく価値があります。
- ボーカルとドラムはきれいに分離できます。声には独特の指紋があり、ドラムは時間軸上の鋭い音の塊なので、モデルが自信を持って見つけられます。良いミックスなら、原音に近い状態で取り出せます。
- ベースとピアノも非常にうまく分離できます。比較的予測しやすい音域を占めているので、推測の余地が少ないのです。
- シンセ、ストリングス、そして「その他」はいちばんノイズが残ります。ほかの楽器と同じ周波数帯に広がっているため、モデルはどの音が誰のものかをきれいに判断できません。この残り物の「その他」は、どんな分離でもいちばん粗い部分です。特定のツールに限らず、市場にあるすべてのツールで同じです。
03ツールより録音が重要
ステムが水っぽく聴こえるとソフトウェアのせいにされがちですが、大きな要因はたいてい音源のほうです。きれいにミックスされたスタジオ録音なら、モデルは分けやすい明確な材料を受け取れます。スマホで録ったライブ映像、ローファイなアップロード、強く加工されたトラックでは、音源同士がすでに混ざり合ってぼやけたミックスを渡すことになり、どれだけ賢くてもそれを完全に解きほぐすことはできません。
ですから結果にがっかりしたら、ツールを責める前に同じ曲のもっときれいなバージョンを試してみてください。ゴミを入れたら必ずゴミが出てくるわけではありませんが、取り出すのは難しくなります。それは物理の問題で、バグではありません。
04端末上で処理するか、サーバーへ送るか
もうひとつ、静かに効いてくる設計上の選択があります。分離をどこで実行するかです。多くのツールは音声をサーバーにアップロードし、クラウドで処理してステムを送り返します。つまり、自分で録音したものも含めて、あなたのファイルがマシンの外に出ることになります。
Riffloop は代わりにあなたの端末上で分離を実行します。今見ている YouTube の動画でも、アップロードしたファイルでもそのまま処理し、曲をボーカル、ドラム、ベース、ギター、ピアノ、その他の6つのステムに分けるので、何もアップロードされません。デモ音源やレッスンの録音にも使う練習ツールだからこそ、音声を手元に置いておけることで、そのことを気にせずに済むのです。
どんな曲も6つのステムに分離
曲をボーカル、ドラム、ベース、ギター、ピアノ、その他に分け、それぞれをソロにしたりミュートしたりできます。YouTube の動画でも、アップロードしたファイルでも使えます。無料で始められ、登録不要。データが端末の外に出ることはありません。
05推測だと知れば、もっと上手に使える
完璧を期待するのをやめれば、ステムは信じられないほど役に立つ練習ツールになります。ボーカル、ドラム、ベースの分離は信頼して大丈夫。ストリングスやシンセの「その他」は粗いものと考え、そこから細かい部分を採譜しようとしないこと。そして手に入るいちばんきれいな録音を使うこと。そうすれば分離が得意なことを、まさにそのまま得られます。ひとつのパートを、ついに覚えられるくらいはっきりと聴けるのです。
それは最初から魔法ではありませんでした。山のような音楽で学習し、あなたのノートパソコンで静かに動く、非常に精度の高い推測です。それだけで、練習のやり方を変えるには十分すぎるほどです。