Tonn SDK v2のご紹介：映画、テレビ、広告向けのAI搭載オーディオポストプロダクション

2023年以降、Tonnプラットフォームは当社のミキシングおよびマスタリングエンジンを通じて500万曲以上の音楽トラックを処理してきました。今日、私たちはTonn SDK v2を発表します。これは、映画、テレビ、ストリーミング、広告、ポッドキャストのワークフローに同じオーディオインテリジェンスをもたらす、用途特化型のポストプロダクション用モジュールです。

これは、音楽ツールを流用したものではありません。ポストプロダクションの実際の作業方法に合わせて設計された、まったく新しい処理パイプラインです。ダイアログを最優先し、納品仕様に準拠し、放送局や各種プラットフォームが求めるフォーマット向けに構築されています。

ポストプロダクションモジュールは現在、Tonn C++ SDKで利用可能で、クラウドAPIは今後数週間以内に提供開始予定です。

なぜポストプロダクションに新しいアプローチが必要なのか

オーディオのポストプロダクションには一貫性の問題があります。各プロジェクトにはダイアログ、音楽、効果音、フォーリー、アンビエンスがそれぞれ異なる比率で含まれ、納品先プラットフォームごとに独自のラウドनेस仕様があります。ミックスを正しく聴こえるようにし、さらにNetflix、YouTube、放送テレビ、映画館向けのQCに合格させるには、納品物ごとに何時間もの手作業が必要です。

私たちは、この工程をプログラム可能にするためにTonn SDK v2を開発しました。API呼び出しは1回。適正なラウドネス。仕様準拠の納品。必要であれば処理済みステムも出力できます。

内容

ネイティブなポストプロダクション用トラックタイプ

このSDKはポストプロダクションの言語をネイティブに扱い、10種類の専用トラックカテゴリを備えています。ダイアログ（メインおよびセカンダリ）、音楽、SFX、アンビエンス、フォーリー、ADR、ボイスオーバー（低音・高音バリアント）、そして汎用カテゴリです。これにより、処理エンジンは何を扱っているのかを理解し、ダイアログを音楽の床やフォーリートラックとは別に処理します。

インテリジェントなダイアログ強調

コンテンツタイプに応じて調整された3つの処理モードがあります。

• Preserveは、最小限の介入で元の質感を保つことが重要なドキュメンタリーや自然主義的なコンテンツ向けです。

• Enhanceは、標準的なTV、ストリーミング、インタビューコンテンツ向けで、過度な処理を避けながら明瞭度を向上させます。

• AD Enhancedは、コマーシャル、アナウンス、ボイスオーバー向けで、可聴性を可能な限り高めます。

内部では、エンジンは処理を適用する前にノイズフロアの検出、周波数バランスの評価、クリッピング分析、残響特性のプロファイリングを行います。聞こえている内容に応じて適応します。

ADRとロケ音のマッチング

ポストプロダクションで最も難しい作業の1つは、再録音したダイアログ（ADR）を元のロケ音に自然に馴染ませることです。SDKのDialogueMatcherは、元の録音の周波数応答、ダイナミクス、音色、残響特性を解析し、その後ADRテイクにマッチング処理を適用します。類似度スコアも返すため、プログラムで一致を確認できます。

自動サイドチェイン・ダッキング

ダイアログが検出されると、背景音声（音楽、SFX、アンビエンス）は自動的にダッキングされます。5つのプリセットで一般的なシナリオをカバーし、バックグラウンド音楽に対する穏やかな-6 dBの低減から、スコア付きナレーション向けの強い-20 dBカットまで対応します。完全にカスタム可能なモードでは、低減量、アタック、リリースを制御できます。マルチトラックのダッキングにも対応しているため、1つのダイアログサイドチェインで複数の背景トラックを同時に制御できます。

7つの納品フォーマットプリセット

各プリセットは、ラウドネス目標、True Peak上限、LRA（Loudness Range）制約を備えた特定の納品基準に合わせて調整されています。

出力には、プログラムラウドネス、ダイアログラウドネス、True Peak、プログラムLRA、ダイアログLRAを含む合否判定のコンプライアンスレポートが含まれます。これをそのままエンドユーザーに表示することも、QCパイプラインに渡すこともできます。

処理済みステムの出力

必要に応じて、最終ミックスと並行して個別に処理したステムをエクスポートできます。QC、修正、下流の編集作業に便利です。

GPUアクセラレーション

処理はmacOS（Metal）とLinux（CUDA）の両方でGPUアクセラレーションされ、GPUが利用できない場合は自動的にCPUへフォールバックします。

実際の動作を見る

以下は、ポストプロダクションモジュールの動作を示す2つのビフォー・アフター例です。

例1: 広告スポット

この例では、サイドチェインダッキングを有効にしたAd Mix納品プロファイルを使用し、ダイアログトラックをサイドチェインソースとして使っています。マスタリング段階では広告向けのEBU R128をターゲットにしています。

例2: ストリーミング向けアニメーション

この例では、ダッキングを適用しないストリーミング納品プロファイルを使用しています。マスタリングは主要ストリーミングプラットフォームのラウドネス仕様をターゲットにしています。

現在C++ SDKで利用可能。クラウドAPIも近日公開。

ポストプロダクションモジュールは本日よりTonn C++ SDKで提供され、完全なドキュメント、サンプルアプリケーション、一般的なワークフロー向けのJSON設定テンプレートも付属します。

この機能は今後数週間でクラウドAPIにも対応予定です。ポストプロダクションサービスは既存の音楽APIと同じクレジットシステムを使用するため、APIクレジットを持つすべてのお客様がすぐに新しいエンドポイントを利用できます。別途のプランやライセンスは不要です。

次の展開

私たちは、ポストプロダクションモジュールを拡張するための明確なロードマップを持っています。

• クラウドAPIの公開を今後数週間以内に開始し、まずダイアログ強調、納品フォーマットのマスタリング、ラウドネス準拠に対応します。

• 完全なパイプラインエンドポイントは、その後すぐにサイドチェインダッキング、ADRマッチング、バンドルされたポストプロダクションミックスを含めて提供します。

• サラウンドおよびイマーシブオーディオのサポートもロードマップに含まれています（納品フォーマットのメタデータには既にサラウンドとチャンネル数のフィールドがあります）。

ポストプロダクション、放送、ポッドキャスト、または動画プラットフォーム向けのツールを開発しているなら、ぜひご相談ください。SDKのドキュメントは公開済みで、APIアクセスの登録はtonn-portal.roexaudio.comから行えます。

Tonn SDKとAPIは、AutomixとMix Check Studioを支えるオーディオテクノロジー企業RoExによって開発されています。2023年以降、500万トラック以上を処理してきました。