介绍 Tonn SDK v2:面向电影、电视和广告的 AI 驱动音频后期制作

自 2023 年以来,Tonn 平台通过我们的混音与母带处理引擎已处理超过五百万首音乐曲目。今天,我们正式推出 Tonn SDK v2——一个专为后期制作打造的模块,将同样的音频智能带入电影、电视、流媒体、广告和播客工作流程。
这不是把音乐工具简单改造后拿来用。它是一条全新的处理管线,围绕后期制作的实际工作方式设计:以对白为先,符合交付规范,并专为广播机构和平台所需的格式而构建。
后期制作模块现已在 Tonn C++ SDK 中提供,云 API 将在接下来的几周内上线。
为什么后期制作需要一种新方法
音频后期制作存在一致性问题。每个项目都有自己对白、音乐、音效、拟音和环境声的组合,而每个交付平台又都有自己的响度规范。要让混音既听起来合适,又能通过 Netflix、YouTube、广播电视和影院的 QC,意味着每个交付件都需要数小时的人工工作。
我们打造 Tonn SDK v2,就是为了让这一流程可编程。一次 API 调用。正确的响度。合规交付。若你需要,还可输出处理后的分轨。
盒中包含什么
原生后期制作轨道类型
SDK 原生理解后期制作语言,提供 10 种专用轨道类别:对白(主对白和次对白)、音乐、音效、环境声、拟音、ADR、配音(低沉和高亢变体)以及一个通用类别。这意味着处理引擎能够理解自己正在处理什么,并会区别对待对白、音乐底和拟音轨道。
智能对白增强
三种针对不同内容类型调校的处理模式:
保留:适用于纪录片和写实内容,以尽量少的干预保留原始质感
增强:适用于常规电视、流媒体和采访内容,在不过度处理的前提下提升清晰度
AD 增强:适用于广告、公告和配音,将可懂度尽可能提升到最高
在底层,引擎会先进行噪声底检测、频率平衡评估、削波分析和混响特征分析,然后再应用任何处理。它会根据听到的内容自适应调整。
ADR 到现场声音匹配
后期制作中最难的任务之一,是让重新录制的对白(ADR)自然地融入原始现场声音。SDK 的 DialogueMatcher 会分析原始录音的频率响应、动态、音色和混响特征,然后对 ADR 片段应用匹配处理。它还会回传相似度评分,方便你通过程序验证匹配结果。
自动侧链闪避
检测到对白时,背景音频(音乐、音效、环境声)会自动闪避。五种预设覆盖常见场景,从背景音乐轻微的 -6 dB 降低,到用于旁白压配乐的激进 -20 dB 削减。完全自定义模式可让你控制衰减深度、起音和释放。支持多轨闪避,因此一个对白侧链可以同时控制多个背景轨道。
七种交付格式预设
每个预设都针对特定交付标准进行了校准,包含响度目标、真峰值限制和 LRA(响度范围)约束:
格式 | 目标 | 标准 |
|---|---|---|
电影 | -24 LUFS / -2 dBTP | 影院 / Dolby 参考 |
电视 | -23 LUFS / -2 dBTP | EBU R128 |
流媒体 | -27 LUFS / -2.3 dBTP | 主流流媒体平台 |
YouTube | -14 LUFS / -1 dBTP | YouTube 推荐值 |
广播 | -23 LUFS / -1 dBTP | 严格 EBU R128 |
广告混音 | -23 LUFS / -1 dBTP | 用于广告的 EBU R128 |
播客 | -16 LUFS / -1 dBTP | 播客标准 |
输出中包含通过/失败合规报告,涵盖节目响度、对白响度、真峰值、节目 LRA 和对白 LRA。你可以直接向终端用户展示这些信息,或将其送入你的 QC 管线。
输出处理后的分轨
可选择将单独处理后的分轨与最终混音一起导出。适用于 QC、修改和下游编辑工作。
GPU 加速
处理在 macOS(Metal)和 Linux(CUDA)上均支持 GPU 加速,在没有可用 GPU 时会自动回退到 CPU。
实际效果
下面有两个前后对比示例,展示后期制作模块的实际工作效果。
示例 1:广告片
此示例使用 Ad Mix 交付配置,并启用了侧链闪避,以对白轨道作为侧链源。母带处理阶段针对广告使用 EBU R128。
示例 2:流媒体动画
此示例使用流媒体交付配置,没有应用闪避。母带处理目标为主流流媒体平台的响度规范。
现已在 C++ SDK 中提供。云 API 即将上线。
后期制作模块今天随 Tonn C++ SDK 一同发布,包含完整文档、示例应用和常见工作流程的 JSON 配置模板。
我们将在接下来的几周内把这些能力带到云 API。后期制作服务将使用与现有音乐 API 相同的积分系统,因此任何拥有 API 积分的客户都可以立即开始使用这些新端点。无需单独的套餐或许可证。
下一步计划
我们已经为扩展后期制作模块制定了清晰的路线图:
云 API 发布将在接下来的几周内开始,首批提供对白增强、交付格式母带处理和响度合规
完整管线端点,随后会加入侧链闪避、ADR 匹配以及打包后的后期制作混音
环绕声和沉浸式音频支持已在我们的路线图中(交付格式元数据已经包含环绕声和声道数字段)
如果你正在为后期制作、广播、播客或视频平台构建工具,我们很乐意与你交流。SDK 文档已经上线,你可以在 tonn-portal.roexaudio.com 注册 API 访问权限。
Tonn SDK 和 API 由 RoEx 开发,这是一家音频技术公司,推出了 Automix 和 Mix Check Studio。自 2023 年以来,我们已处理超过 500 万首曲目。