RoEx Automixはどのように機能しているのか
このポストでは、弊社の RoEx Automix テクノロジーの内部を少し覗き見し、あなたのオーディオをどのように処理して、数日ではなくわずか数分でプロフェッショナルでバランスの取れたミックスに仕上げるのか、その仕組みをご紹介します。
AI音楽ミキシングとマスタリングによるオーディオの変革
オーディオミキシングの分野は、複雑さに満ちています。多様な音響成分のバランスを取ることは、世界中のサウンドエンジニアが直面する課題です。主な問題の1つは「マスキング」です。これは、ベースギターのような音量の大きい要素によって、キックドラムなどの音源が聞こえなくなる現象です。これに対処するため、エンジニアはさまざまなテクニックやオーディオエフェクトを駆使し、それぞれの音が明確に存在感を持つ、調和の取れたバランスの良いミックスを作り上げます。
音量レベルの微調整、ステレオ位置（パンニング）の管理、特定の周波数を調節するためのイコライゼーション（EQ）の適用は、重要なステップです。音源のラウドネスをコントロールするために使用される技術であるダイナミックレンジ圧縮（DRC）も、重要な役割を果たします。しかし、この複雑なプロセスを自動化し、手作業を排除してエラーの余地を減らすことができたらどうでしょう。
人工知能がマエストロを務める、AI音楽ミキシングの世界へようこそ。オーディオミキシングおよびマスタリングシステムにおけるAIは、ミキシングプロセスを合理化・強化し、完璧にバランスの取れた高品質なオーディオを実現します。AIを搭載した自動オーディオミキシングとマスタリングの魅力的な領域を掘り下げ、音楽制作の未来を探る旅に一緒に出かけましょう。
私たちのミキシングシステム
当社の革新的なAI音楽ミキシングシステムであるAutomixは、最適なオーディオエフェクト設定を決定する複雑なプロセスを自動化することで、オーディオミキシングを再定義します。ミキシングのために送信されたあらゆるマルチトラックオーディオにおいて、空間的なバランスを細心の注意を払って維持し、マスキングを最小限に抑え、感知されるラウドネスを調整します。
高度な音楽情報検索（MIR）技術を活用し、Automix は、影響を与える他のすべてのトラック/ステムの文脈の中で、各トラックまたはステムを徹底的に分析します。この分析ステージは、上の図に示すように「マルチトラック分析モジュール」で行われます。ここでは、多数のマルチトラックオーディオの特長を分析・抽出しており、その一部はリアルタイムで処理できるため、リアルタイムオーディオミキシングの可能性を提供します。
各トラック/ステムから抽出されたマルチトラック機能は、確立されたミックスエンジニアリングのルールを理解しているAIモデルに送られます。このモデルは、送信された各トラック/ステムの音響特性、それらの相互作用、および音楽スタイルに基づいて、音量、EQ、DRC、パンニング、およびリバーブの最適な設定を識別します。その結果、Automix は、個々のステムやフルマルチトラックを効果的にミキシングする優れた能力を発揮します。
モデルが最適なマルチトラックオーディオ設定（EQ、DRC、パンニング、ラウドネス）を最終決定すると、これらの設定が各トラック/ステムに適用されます。その後、マルチトラックオーディオが統合され、マスタリングに必要なヘッドルームを確保するために、ピークが-3dBFsにノーマライズされます。
さらに、同様のテクノロジーに基づくマスタリングモジュールも開発しました（使用はオプションです）。このモジュールは、ミックスされたオーディオとユーザーのラウドネスの好みを考慮して、当社のAIマスタリングシグナルチェーンを適用します。最終製品は、wave、FLAC、またはmp3ファイルとなり、完全に最適化され、Spotify、Soundcloud、または Bandcamp などのプラットフォームですぐに配信できるようになります。
APIの紹介：Tonn - AI音楽ミキシング＆マスタリングの原動力
私たちは、革新的なAutomixテクノロジーを、Tonn APIの一部として、堅牢なGoogle Cloud Platform（GCP）上でホストしています。これは、スケーラブルなコンテナ化されたアプリケーションとして動作し、任意の時点で必要なミックスの数に適合させることができます。この柔軟性により、需要の増加に効率的に対応し、お客様のユニークなニーズを満たすことができます。さらに、これにより外部アプリケーションから複数のミックスタスクを同時に開始できるようになり、大規模なマルチトラックプロジェクトのミキシングプロセスを大幅に加速させます。
これを説明するために、具体的な例を挙げてみましょう。ギター10トラック、ドラム10トラック、ストリングス10トラック、シンセ10トラックの計40トラックで構成されるマルチトラックを想定します。当社のTonn APIを使用すると、ユーザーは楽器グループごとにミックスタスクを作成し、並行して実行できます。個々のギター、ドラム、ストリングス、シンセのミックスが完了すると、ユーザーは上の図に示すように、これらのミックスから最終的なミックスとマスタリング済みのトラックをコンパイルできます。
Tonn API を使用した現在のベンチマークでは、当社のRoEx Automixテクノロジーにより、3分（一般的なポップソングの長さ）のトラック8本を約4.5分でミキシングできることが示されています。私たちは常にこのパフォーマンスの向上に努めています。Tonn APIのパワーを直接体験してみたい方は、APIキーについてお問い合わせください。Tonn APIのドキュメントは こちら でご覧いただけます。
RoEx Realtime Mix：リアルタイムアプリケーション向けのAI音楽ミキシング
Automixの背後にある革新的なテクノロジーを基に、私たちは現在、リアルタイムのオーディオ課題に対処するために設計されたシステムである「RoEx Realtime Mix」を開発しています。複数のオーディオチャンネルを同時に扱い、各チャンネルを分析し、臨機応変にオーディオエフェクトを適用することで、マスキングを低減し、聴覚的な明瞭度を高めることができます。
複数の音源が時間の経過とともにダイナミックに相互作用する、ライブ配信、ビデオゲーム、VRなどのアプリケーションに最適なRoEx Realtime Mixは、変化する刺激に対応し、それに適応することができます。たとえば、ビデオゲームのメインキャラクターが話している場合、システムは自動的にその音声を強調し、他の音を微妙にフィルタリングしてマスキングを最小限に抑えます。
結論：AI音楽ミキシングによる音楽制作の未来
伝統的な音楽制作、すなわち「ミキシング」は、音楽制作とは異なるスキルセットを必要とする、労力の伴うプロセスです。通常、それぞれが独自の環境で生成され、異なる特性を持つ多数の音源を伴う中で、各音源がクリアに聴こえ、調和の取れた歯切れの良い音のブレンドに貢献することを目指します。このバランスを達成することは困難であり、通常はプロのサウンドエンジニアのスキルが必要です。
しかし、Automixのような自動化された音楽制作ツールの登場が、この展望を塗り替えつつあります。AI音楽ミキシングの力を活用することで、これらのツールは音楽制作の複雑な側面に切り込み、ミュージシャン自身がミキシングやマスタリングを行ったり、プロのサービスに外注したりするよりも、迅速、簡単、かつコスト効率よくコンテンツをターゲット層に届けることを可能にします。
このテクノロジーは、音楽業界への参入障壁を下げ、技術的なバックグラウンドを持たない人々にとっても音楽のキャリアをより身近なものにします。今後、RoEx AutomixのようなAI音楽ミキシング・マスタリングシステムは、音楽制作を民主化し、世界中のアーティストにクリエイティブな表現の新たな扉を開くことを約束します。
この記事が執筆されて以降、Automixは Automix Desktop (Beta) もリリースしました。サーバーへのアップロードを行わずに、Macローカルで同じAIエンジンを実行できます。