Tonn SDK v2'yi Tanıtıyoruz: Film, TV ve Reklamlar İçin Yapay Zeka Destekli Ses Post-Prodüksiyonu

2023'ten bu yana, Tonn platformu miksaj ve mastering motorumuz aracılığıyla beş milyondan fazla müzik parçasını işledi. Bugün, aynı ses zekâsını film, televizyon, yayın akışı, reklam ve podcast iş akışlarına taşıyan, bu amaç için geliştirilmiş bir post-prodüksiyon modülü olan Tonn SDK v2'yi kullanıma sunuyoruz.

Bu, yeniden amaçlandırılmış bir müzik aracı değil. Post-prodüksiyonun gerçekte çalışma biçimi etrafında tasarlanmış, tamamen yeni bir işleme hattı: önce diyalog, teslimat teknik özellikleriyle uyumlu ve yayıncıların ve platformların talep ettiği formatlar için geliştirilmiş.

Post-prodüksiyon modülü şu anda Tonn C++ SDK içinde kullanılabilir; bulut API erişimi ise önümüzdeki birkaç hafta içinde gelecek.

Post-prodüksiyonun neden yeni bir yaklaşıma ihtiyacı var

Ses post-prodüksiyonunun bir tutarlılık sorunu var. Her projenin diyalog, müzik, ses efektleri, foley ve ambiyansdan oluşan kendi karışımı vardır ve her teslimat platformunun kendine özgü bir ses yüksekliği teknik şartı vardır. Bir miksin hem doğru duyulmasını hem de Netflix, YouTube, yayın TV'si ve sinema için QC'den geçmesini sağlamak, her teslim edilebilir çıktı için saatlerce manuel çalışma demektir.

Bu süreci programlanabilir hale getirmek için Tonn SDK v2'yi geliştirdik. Tek bir API çağrısı. Doğru ses yüksekliği. Uyumlu teslimat. İhtiyacınız olursa işlenmiş stem'ler.

Kutunun içinde neler var

Yerel post-prodüksiyon parça türleri

SDK, 10 özel parça kategorisiyle post-prodüksiyon dilini yerleşik olarak konuşur: Diyalog (ana ve ikincil), Müzik, SFX, Ambiyans, Foley, ADR, Seslendirme (alçak tonlu ve yüksek tonlu varyantlar) ve genel amaçlı bir kategori. Bu, işleme motorunun neyle çalıştığını anladığı ve diyaloğu bir müzik altyapısından ya da bir foley parçasından farklı ele aldığı anlamına gelir.

Akıllı diyalog iyileştirme

Farklı içerik türlerine göre ayarlanmış üç işleme modu:

• Koru belgeseller ve doğal anlatımlı içerikler için; minimal müdahale özgün karakteri korur

• İyileştir standart TV, yayın akışı ve röportaj içerikleri için; aşırı işlem yapmadan netliği artırır

• AD Geliştirilmiş reklamlar, anonslar ve seslendirme için; anlaşılırlığı mümkün olan en üst düzeye çıkarır

Arka planda, motor herhangi bir işlem uygulamadan önce gürültü tabanı tespiti, frekans dengesi değerlendirmesi, kırpılma analizi ve yankı profillemesi gerçekleştirir. Duyduğuna göre uyum sağlar.

ADR'den mekân sesi eşleştirme

Post-prodüksiyonda en zor görevlerden biri, yeniden kaydedilmiş diyaloğun (ADR) özgün mekân sesiyle doğal biçimde oturmasını sağlamaktır. SDK'nin DialogueMatcher'ı, özgün kaydın frekans yanıtını, dinamiklerini, tınısını ve yankı özelliklerini analiz eder, ardından ADR kaydına eşleştirme işlemi uygular. Eşleşmeyi programlı olarak doğrulayabilmeniz için benzerlik puanlarını geri bildirir.

Otomatik yan zincir kısma

Arka plan sesi (müzik, SFX, ambiyans), diyalog algılandığında otomatik olarak kısılır. Beş hazır ayar, arka plan müziği için hafif bir -6 dB azaltmadan anlatımın skor üzerinde yer aldığı durumlarda agresif bir -20 dB kesintiye kadar yaygın senaryoları kapsar. Tamamen özel mod, azaltma derinliği, attack ve release üzerinde kontrol sağlar. Çok kanallı kısma desteklenir; böylece tek bir diyalog yan zinciri aynı anda birden fazla arka plan parçasını kontrol edebilir.

Yedi teslimat formatı ön ayarı

Her ön ayar, ses yüksekliği hedefleri, true peak sınırları ve LRA (Ses Yüksekliği Aralığı) kısıtlamalarıyla belirli bir teslimat standardına göre kalibre edilmiştir:

Çıktı, program ses yüksekliği, diyalog ses yüksekliği, true peak, program LRA'sı ve diyalog LRA'sını kapsayan bir başarılı/başarısız uyumluluk raporu içerir. Bunu doğrudan son kullanıcılara sunabilir veya QC hattınıza aktarabilirsiniz.

İşlenmiş stem çıktısı

İsteğe bağlı olarak, nihai miksle birlikte tek tek işlenmiş stem'leri dışa aktarın. QC, revizyon ve sonraki editoryal çalışmalar için kullanışlıdır.

GPU hızlandırma

İşleme, hem macOS'te (Metal) hem de Linux'ta (CUDA) GPU hızlandırmalıdır; GPU bulunmadığında otomatik olarak CPU'ya geri dönülür.

İş başında dinleyin

İşte post-prodüksiyon modülünün çalışmasını gösteren iki öncesi-sonrası örneği.

Örnek 1: Reklam spotu

Bu örnek, sidechain ducking etkinleştirilmiş Ad Mix teslimat profilini kullanır ve sidechain kaynağı olarak diyalog parçasını kullanır. Mastering aşaması reklam için EBU R128'i hedefler.

Örnek 2: Yayın akışı için animasyon

Bu örnek, herhangi bir ducking uygulanmadan yayın akışı teslimat profilini kullanır. Mastering, başlıca yayın akışı platformunun ses yüksekliği teknik şartını hedefler.

Şu anda C++ SDK'da kullanılabilir. Bulut API yakında geliyor.

Post-prodüksiyon modülü bugün Tonn C++ SDK ile birlikte; tam dokümantasyon, örnek uygulamalar ve yaygın iş akışları için JSON yapılandırma şablonlarıyla sunuluyor.

Bu yetenekleri önümüzdeki haftalarda bulut API'mize de getiriyoruz. Post-prodüksiyon hizmetleri, mevcut müzik API'mizle aynı kredi sistemini kullanacak; böylece API kredisi olan herhangi bir müşteri yeni uç noktaları hemen kullanmaya başlayabilir. Ayrı bir plan veya lisans gerekmez.

Sırada ne var

Post-prodüksiyon modülünü genişletmek için net bir yol haritamız var:

• Bulut API lansmanı önümüzdeki haftalarda, diyalog iyileştirme, teslimat formatı mastering'i ve ses yüksekliği uyumluluğuyla başlayacak

• Tam işlem hattı uç noktaları, buna sidechain ducking, ADR eşleştirme ve paketlenmiş post-prodüksiyon miks dahildir; bunlar kısa süre sonra gelecek

• Surround ve sürükleyici ses desteği yol haritamızda (teslimat formatı meta verileri zaten surround ve kanal sayısı alanlarını içeriyor)

Post-prodüksiyon, yayıncılık, podcast veya video platformları için araçlar geliştiriyorsanız, sizinle konuşmaktan memnuniyet duyarız. SDK belgeleri yayında ve API erişimi için tonn-portal.roexaudio.com adresinden kayıt olabilirsiniz.

Tonn SDK ve API, Automix ve Mix Check Studio'nun arkasındaki ses teknolojisi şirketi RoEx tarafından geliştirilmiştir. 2023'ten bu yana 5 milyondan fazla parçayı işledik.