介绍 Tonn SDK v2:面向电影、电视和广告的 AI 驱动音频后期制作

自 2023 年以来,Tonn 平台通过我们的混音与母带处理引擎已处理超过五百万首音乐曲目。今天,我们正式推出 Tonn SDK v2——一个专为后期制作打造的模块,将同样的音频智能带入电影、电视、流媒体、广告和播客工作流程。

这不是把音乐工具简单改造后拿来用。它是一条全新的处理管线,围绕后期制作的实际工作方式设计:以对白为先,符合交付规范,并专为广播机构和平台所需的格式而构建。

后期制作模块现已在 Tonn C++ SDK 中提供,云 API 将在接下来的几周内上线。

为什么后期制作需要一种新方法

音频后期制作存在一致性问题。每个项目都有自己对白、音乐、音效、拟音和环境声的组合,而每个交付平台又都有自己的响度规范。要让混音既听起来合适,能通过 Netflix、YouTube、广播电视和影院的 QC,意味着每个交付件都需要数小时的人工工作。

我们打造 Tonn SDK v2,就是为了让这一流程可编程。一次 API 调用。正确的响度。合规交付。若你需要,还可输出处理后的分轨。

盒中包含什么

原生后期制作轨道类型

SDK 原生理解后期制作语言,提供 10 种专用轨道类别:对白(主对白和次对白)、音乐、音效、环境声、拟音、ADR、配音(低沉和高亢变体)以及一个通用类别。这意味着处理引擎能够理解自己正在处理什么,并会区别对待对白、音乐底和拟音轨道。

智能对白增强

三种针对不同内容类型调校的处理模式:

  • 保留:适用于纪录片和写实内容,以尽量少的干预保留原始质感

  • 增强:适用于常规电视、流媒体和采访内容,在不过度处理的前提下提升清晰度

  • AD 增强:适用于广告、公告和配音,将可懂度尽可能提升到最高

在底层,引擎会先进行噪声底检测、频率平衡评估、削波分析和混响特征分析,然后再应用任何处理。它会根据听到的内容自适应调整。

ADR 到现场声音匹配

后期制作中最难的任务之一,是让重新录制的对白(ADR)自然地融入原始现场声音。SDK 的 DialogueMatcher 会分析原始录音的频率响应、动态、音色和混响特征,然后对 ADR 片段应用匹配处理。它还会回传相似度评分,方便你通过程序验证匹配结果。

自动侧链闪避

检测到对白时,背景音频(音乐、音效、环境声)会自动闪避。五种预设覆盖常见场景,从背景音乐轻微的 -6 dB 降低,到用于旁白压配乐的激进 -20 dB 削减。完全自定义模式可让你控制衰减深度、起音和释放。支持多轨闪避,因此一个对白侧链可以同时控制多个背景轨道。

七种交付格式预设

每个预设都针对特定交付标准进行了校准,包含响度目标、真峰值限制和 LRA(响度范围)约束:

格式

目标

标准

电影

-24 LUFS / -2 dBTP

影院 / Dolby 参考

电视

-23 LUFS / -2 dBTP

EBU R128

流媒体

-27 LUFS / -2.3 dBTP

主流流媒体平台

YouTube

-14 LUFS / -1 dBTP

YouTube 推荐值

广播

-23 LUFS / -1 dBTP

严格 EBU R128

广告混音

-23 LUFS / -1 dBTP

用于广告的 EBU R128

播客

-16 LUFS / -1 dBTP

播客标准

输出中包含通过/失败合规报告,涵盖节目响度、对白响度、真峰值、节目 LRA 和对白 LRA。你可以直接向终端用户展示这些信息,或将其送入你的 QC 管线。

输出处理后的分轨

可选择将单独处理后的分轨与最终混音一起导出。适用于 QC、修改和下游编辑工作。

GPU 加速

处理在 macOS(Metal)和 Linux(CUDA)上均支持 GPU 加速,在没有可用 GPU 时会自动回退到 CPU。

实际效果

下面有两个前后对比示例,展示后期制作模块的实际工作效果。

示例 1:广告片

此示例使用 Ad Mix 交付配置,并启用了侧链闪避,以对白轨道作为侧链源。母带处理阶段针对广告使用 EBU R128。

示例 2:流媒体动画

此示例使用流媒体交付配置,没有应用闪避。母带处理目标为主流流媒体平台的响度规范。

现已在 C++ SDK 中提供。云 API 即将上线。

后期制作模块今天随 Tonn C++ SDK 一同发布,包含完整文档、示例应用和常见工作流程的 JSON 配置模板。

我们将在接下来的几周内把这些能力带到云 API。后期制作服务将使用与现有音乐 API 相同的积分系统,因此任何拥有 API 积分的客户都可以立即开始使用这些新端点。无需单独的套餐或许可证。

下一步计划

我们已经为扩展后期制作模块制定了清晰的路线图:

  • 云 API 发布将在接下来的几周内开始,首批提供对白增强、交付格式母带处理和响度合规

  • 完整管线端点,随后会加入侧链闪避、ADR 匹配以及打包后的后期制作混音

  • 环绕声和沉浸式音频支持已在我们的路线图中(交付格式元数据已经包含环绕声和声道数字段)

如果你正在为后期制作、广播、播客或视频平台构建工具,我们很乐意与你交流。SDK 文档已经上线,你可以在 tonn-portal.roexaudio.com 注册 API 访问权限。

Tonn SDK 和 API 由 RoEx 开发,这是一家音频技术公司,推出了 Automix 和 Mix Check Studio。自 2023 年以来,我们已处理超过 500 万首曲目。