Tonn SDK v2 소개: 영화, TV, 광고를 위한 AI 기반 오디오 포스트 프로덕션

2023년부터 Tonn 플랫폼은 우리의 믹싱 및 마스터링 엔진을 통해 5백만 개가 넘는 음악 트랙을 처리해 왔습니다. 오늘 우리는 영화, 텔레비전, 스트리밍, 광고, 팟캐스트 워크플로우에 동일한 오디오 인텔리전스를 제공하는, 목적에 맞게 설계된 포스트 프로덕션 모듈인 Tonn SDK v2를 출시합니다.

이것은 용도를 바꾼 음악 도구가 아닙니다. 실제 포스트 프로덕션 방식에 맞춰 설계된 완전히 새로운 처리 पाइ프라인입니다: 대화 우선, 전달 사양 준수, 그리고 방송사와 플랫폼이 요구하는 형식을 위해 구축되었습니다.

포스트 프로덕션 모듈은 현재 Tonn C++ SDK에서 사용할 수 있으며, 클라우드 API는 앞으로 몇 주 안에 제공될 예정입니다.

왜 포스트 프로덕션에 새로운 접근 방식이 필요한가

오디오 포스트 프로덕션에는 일관성 문제가 있습니다. 모든 프로젝트는 대화, 음악, 음향 효과, 폴리, 앰비언스가 저마다 다르게 섞여 있고, 모든 전달 플랫폼은 각기 다른 음량 사양을 가지고 있습니다. 믹스를 제대로 들리게 하면서 동시에 Netflix, YouTube, 방송 TV, 영화관의 QC를 통과시키려면 납품물마다 몇 시간씩 수작업이 필요합니다.

우리는 이 과정을 프로그램 방식으로 처리할 수 있도록 Tonn SDK v2를 만들었습니다. API 호출 한 번이면 됩니다. 올바른 음량. 준수되는 전달. 필요하다면 처리된 스템도 제공합니다.

구성 내용

네이티브 포스트 프로덕션 트랙 유형

이 SDK는 포스트 프로덕션의 언어를 기본적으로 이해하며, 10개의 전용 트랙 카테고리를 제공합니다: 대화(메인 및 보조), 음악, SFX, 앰비언스, 폴리, ADR, 보이스오버(저음 및 고음 변형), 그리고 범용 카테고리입니다. 이는 처리 엔진이 무엇을 다루고 있는지 이해하고, 대화를 음악 베드나 폴리 트랙과 다르게 취급한다는 뜻입니다.

지능형 대화 향상

다양한 콘텐츠 유형에 맞게 조정된 세 가지 처리 모드:

• Preserve 다큐멘터리와 자연주의 콘텐츠용으로, 최소한의 개입으로 원래의 특성을 그대로 유지합니다

• Enhance 표준 TV, 스트리밍, 인터뷰 콘텐츠용으로, 과도한 처리 없이 명료도를 향상시킵니다

• AD Enhanced 광고, 안내 방송, 보이스오버용으로, 가독성을 가능한 한 최대한 끌어올립니다

엔진은 내부적으로 어떤 처리도 적용하기 전에 노이즈 플로어 감지, 주파수 밸런스 평가, 클리핑 분석, 리버브 프로파일링을 수행합니다. 들리는 내용에 맞춰 적응합니다.

ADR을 로케이션 사운드에 맞추기

포스트 프로덕션에서 가장 어려운 작업 중 하나는 재녹음 대화(ADR)를 원본 로케이션 사운드에 자연스럽게 맞춰 놓는 것입니다. SDK의 DialogueMatcher는 원본 녹음의 주파수 응답, 다이내믹스, 음색, 리버브 특성을 분석한 다음 ADR 테이크에 맞춤 처리합니다. 또한 일치도 점수를 다시 보고하므로 프로그래밍 방식으로 매칭을 검증할 수 있습니다.

자동 사이드체인 덕킹

배경 오디오(음악, SFX, 앰비언스)는 대화가 감지되면 자동으로 덕킹됩니다. 다섯 가지 프리셋은 배경 음악에 대한 -6 dB의 미묘한 감소부터 내레이션 오버 스코어에 대한 -20 dB의 강한 감소까지 일반적인 상황을 다룹니다. 완전한 사용자 지정 모드에서는 감소 깊이, 어택, 릴리스를 제어할 수 있습니다. 멀티트랙 덕킹이 지원되므로 하나의 대화 사이드체인이 여러 배경 트랙을 동시에 제어할 수 있습니다.

7가지 전달 형식 프리셋

각 프리셋은 음량 목표, true peak 제한, LRA(Loudness Range) 제약을 포함한 특정 전달 표준에 맞게 보정됩니다:

출력에는 프로그램 음량, 대화 음량, true peak, 프로그램 LRA, 대화 LRA를 다루는 합격/불합격 준수 보고서가 포함됩니다. 이를 최종 사용자에게 직접 표시하거나 QC 파이프라인에 입력할 수 있습니다.

처리된 스템 출력

필요한 경우 최종 믹스와 함께 개별적으로 처리된 스템을 내보낼 수 있습니다. QC, 수정, 후속 편집 작업에 유용합니다.

GPU 가속

처리는 macOS(Metal)와 Linux(CUDA) 모두에서 GPU 가속으로 수행되며, GPU가 없을 경우 자동으로 CPU로 전환됩니다.

실제 동작을 들어보세요

다음은 포스트 프로덕션 모듈이 작동하는 모습을 보여주는 전후 비교 예시 두 가지입니다.

예시 1: 광고 스팟

이 예시는 대화 트랙을 사이드체인 소스로 사용하여 사이드체인 덕킹을 활성화한 Ad Mix 전달 프로필을 사용합니다. 마스터링 단계는 광고용 EBU R128을 목표로 합니다.

예시 2: 스트리밍용 애니메이션

이 예시는 덕킹을 적용하지 않은 상태로 스트리밍 전달 프로필을 사용합니다. 마스터링은 주요 스트리밍 플랫폼의 음량 사양을 목표로 합니다.

현재 C++ SDK에서 사용 가능. 클라우드 API는 곧 제공 예정.

포스트 프로덕션 모듈은 오늘 Tonn C++ SDK와 함께 제공되며, 전체 문서, 예제 애플리케이션, 일반적인 워크플로우용 JSON 구성 템플릿을 포함합니다.

우리는 앞으로 몇 주 안에 이러한 기능을 클라우드 API에 도입할 예정입니다. 포스트 프로덕션 서비스는 기존 음악 API와 동일한 크레딧 시스템을 사용하므로, API 크레딧이 있는 모든 고객은 새 엔드포인트를 즉시 사용할 수 있습니다. 별도의 플랜이나 라이선스는 필요하지 않습니다.

다음 단계

우리는 포스트 프로덕션 모듈을 확장하기 위한 명확한 로드맵을 가지고 있습니다:

• 클라우드 API 출시는 앞으로 몇 주 안에 시작되며, 대화 향상, 전달 형식 마스터링, 음량 준수를 포함합니다

• 전체 파이프라인 엔드포인트, 사이드체인 덕킹, ADR 매칭, 번들형 포스트 프로덕션 믹스를 포함하며, 그 직후 제공됩니다

• 서라운드 및 몰입형 오디오 지원은 우리의 로드맵에 있습니다(전달 형식 메타데이터에는 이미 서라운드 및 채널 수 필드가 포함되어 있습니다)

포스트 프로덕션, 방송, 팟캐스팅, 비디오 플랫폼용 도구를 만들고 계시다면, 꼭 이야기 나누고 싶습니다. SDK 문서는 공개되어 있으며, tonn-portal.roexaudio.com에서 API 액세스를 등록할 수 있습니다.

Tonn SDK와 API는 RoEx가 만들었으며, RoEx는 Automix와 Mix Check Studio를 만든 오디오 기술 회사입니다. 우리는 2023년 이후 5백만 개가 넘는 트랙을 처리했습니다.