RoEx Automix 在幕后是如何工作的

在这篇文章中,我们将一探我们的 RoEx Automix 技术的幕后,让您了解我们是如何处理您的音频,从而在几分钟而不是几天内,为您提供专业且均衡的混音效果。
利用 AI 音乐混音和母带制作彻底变革音频
音频混音领域充满了复杂性。平衡多样化的声音元素是全球声音工程师面临的一大挑战。其中一个关键问题是“掩蔽”,即由于一个更响亮的元素(如贝斯吉他),导致另一个声源(例如大鼓)变得听不见。为了解决这个问题,工程师们采用了各种技术和音频效果,创造出和谐且均衡的混音,让每个声音都有其独特的表现力。
微调音量、管理立体声定位或“声像”,以及应用均衡(EQ)来调节特定频率,都是至关重要的步骤。用于控制声源响度的动态范围压缩(DRC)技术也起着重要作用。但是,想象一下,如果这个复杂的过程可以自动完成,消除人工干预,并减少出错的空间,会是怎样的一番景象?
欢迎来到 AI 音乐混音的世界,在这里人工智能扮演着指挥家的角色。音频混音和母带制作系统中的 AI 能够简化并增强混音过程,从而获得完美均衡的高品质音频。加入我们,一起深入探讨由 AI 驱动的自动化音频混音和母带制作的迷人领域,并探索音乐制作的未来。
我们的混音系统
Automix,我们创新的 AI 音乐混音系统,通过自动确定完美的音频效果设置,重新定义了音频混音。它能细致地保持空间平衡、最大程度地减少掩蔽,并调节提交混音的任何多轨音频的感知响度。

利用先进的音乐信息检索(MIR)技术,Automix 在所有其他受影响音轨/分轨的背景下,对每个音轨或分轨进行深入分析。这一分析阶段如上图所示,在“多轨分析模块”中进行。在这里,我们分析并提取大量的多轨音频特征,其中一些可以进行实时处理,从而为实时音频混音提供了可能。
从每个音轨/分轨提取的多轨特征随后被输入到一个理解既定混音工程规则的 AI 模型中。该模型根据提交的每个音轨/分轨的声学特性、它们之间的相互作用以及音乐风格,辨别出最适合的音量、EQ、DRC、声像和混响设置。因此,Automix 展示出了有效混合单个分轨和完整多轨的熟练能力。
在模型最终确定了最佳的多轨音频设置后,这些设置(EQ、DRC、声像和响度)就会应用到每个音轨/分轨上。然后,将多轨音频进行合并,并进行峰值归一化至 -3dBFs,以保留母带制作所需的必要余量。
此外,我们还开发了一个基于类似技术的母带制作模块,不过这是可选使用的。该模块根据混音后的音频和用户的响度偏好,应用我们的 AI 母带信号链。最终产品是一个 wave、FLAC 或 mp3 文件,经过充分优化,随时可以在 Spotify、Soundcloud 或 Bandcamp 等平台上分发。
介绍我们的 API:Tonn - 助力 AI 音乐混音与母带制作
作为 Tonn API 的一部分,我们将开创性的 Automix 技术部署在强大的 Google Cloud Platform (GCP) 上。它作为一个可扩展的容器化应用程序运行,能够适应任何给定时间所需的混音数量。这种灵活性使我们能够有效地进行扩展,以满足不断增长的需求和我们客户的独特需求。此外,它使任何外部应用程序都能够同时启动多个混音任务,从而显著加速大型多轨项目的混音过程。

让我们用一个实际的例子来阐明这一点:想象一个包含 40 个音轨的多轨项目——10 个吉他音轨、10 个鼓音轨、10 个弦乐音轨和 10 个合成器音轨。借助我们的 Tonn API,用户可以为每个乐器组创建一个混音任务以同时运行。在单独的吉他、鼓、弦乐和合成器混音完成后,用户可以从这些混音中汇编出最终的混音和母带轨道,如上图所示。
我们目前使用 Tonn API 的基准测试表明,我们的 RoEx Automix 技术可以在大约 4.5 分钟内混合 8 个各长 3 分钟的音轨(典型的流行歌曲时长)。我们正不断努力提升这一性能。如果您有兴趣亲自体验 Tonn API 的强大功能,请联系我们以获取 API 密钥。您可以在此处找到 Tonn API 文档。
RoEx 实混:适用于实时应用的 AI 音乐混音
基于 Automix 背后的变革性技术,我们目前正在开发 RoEx Realtime Mix——一个旨在解决实时音频挑战的系统。它具备同时处理多个音频通道、分析每个通道并随时应用音频效果的能力,旨在减少掩蔽并提高听觉清晰度。
RoEx Realtime Mix 非常适合现场直播、视频游戏或虚拟现实(VR)等多个声源随时间动态交融的应用场景,它可以适应并对不断变化的刺激做出反应。例如,如果视频游戏中的主角正在说话,系统会自动突出他们的言语,同时微妙地过滤掉其他声音以减少掩蔽。
结论:AI 音乐混音助力音乐制作的未来
传统的音乐制作或“混音”是一个劳动密集型过程,需要一套与音乐创作不同的技能。通常涉及众多声源,每个声源都在独特的环境中产生并具有不同的属性,其目的是让每个声源都能被清晰地听到,从而创造出和谐清脆的混音。实现这种平衡极具挑战性,通常需要专业声音工程师的技能。
然而,像 Automix 这样的自动化音乐制作工具的出现正在改变这一格局。通过利用 AI 音乐混音的力量,这些工具可以解决音乐制作中的复杂方面,使音乐人能够比自己进行混音和母带制作或外包给专业服务更快、更轻松、更具成本效益地将内容传递给目标受众。
这项技术降低了进入音乐行业的门槛,使缺乏技术背景的人更容易从事音乐职业。随着我们不断前进,像 RoEx Automix 这样的 AI 音乐混音和母带制作系统有望让音乐制作走向大众化,为世界各地的艺术家打开创意表达的新大门。
自本文撰写以来,Automix 还推出了 Automix Desktop (Beta)——在 Mac 本地运行的相同 AI 引擎,无需任何服务器上传。