RoEx Automix 在幕后是如何工作的

在这篇文章中,我们将窥探我们RoEx Automix技术的内部运作,以便让您了解我们是如何处理您的音频,并在几分钟内给您一个专业且平衡的混音,而不是几天。
用AI音乐混音和母带制作革命性地改变音频
音频混音领域充满了复杂性。平衡多样的声音成分是世界各地声音工程师面临的挑战。一个关键问题是“掩蔽”,这是一种现象,例如一个踢鼓声由于一个更响亮的元素(如贝斯吉他)而变得不可闻。为了解决这个问题,工程师采用各种技术和音频效果,创建了一个和谐且平衡的混音,每个声音都有其独特的存在。
微调音量水平、管理立体声定位或“声像”,以及应用均衡器(EQ)以调节特定频率是关键步骤。动态范围压缩(DRC),是一种用于控制声音源响度的技术,也扮演着重要角色。但是想象一下,如果这个复杂的过程可以自动化,消除人工干预并减少错误的余地。
欢迎来到AI音乐混音的世界,在这里,人工智能充当指挥。AI在音频混音和母带系统中简化并增强了混音过程,从而生成完美平衡的高质量音频。加入我们,深入探讨由AI驱动的自动音频混音和母带制作的迷人领域,探索音乐制作的未来。
我们的混音系统
Automix,我们的创新AI音乐混音系统,通过自动化确定完美音频效果设置的复杂过程重新定义了音频混音。它仔细维护空间平衡,最小化掩蔽,并调节所提交任何多轨音频的感知响度。

利用先进的音乐信息检索(MIR)技术,Automix在所有其他影响它的音轨/音轨上下文中彻底分析每个音轨或声部。这个分析阶段在“多轨分析模块”中进行,如上图所示。在这里,我们分析并提取大量多轨音频特征,其中有些可以实时处理,提供实时音频混音的潜力。
从每个音轨/声部提取的多轨特征随后被输入到一个理解已建立混音工程规则的AI模型中。该模型根据每个提交的音轨/声部的声学特性、它们的相互作用和音乐风格,识别出音量、EQ、DRC、声像和混响的最合适设置。因此,Automix 展示了有效混合单个声部和完整多轨的能力。
在模型最终确定最佳多轨音频设置后,这些设置 - EQ、DRC、声像和响度 - 被应用到每个音轨/声部。然后多轨音频被组合并峰值归一化至-3dBFs,以保存母带制作所需的余量。
此外,我们还开发了一个基于类似技术的母带模块,尽管其使用是可选的。该模块考虑混合音频和用户的响度偏好,以应用我们的AI母带信号链。最终产品是一个完全优化的wav、FLAC或mp3文件,准备在Spotify、Soundcloud或Bandcamp等平台上分发。
介绍我们的API:Tonn - 驱动AI音乐混音和母带制作
我们在强大的谷歌云平台(GCP)上托管我们开创性的Automix技术,作为我们Tonn API的一部分。它作为一个可扩展的容器化应用程序运行,能够根据任何给定时间所需的混音数量进行调整。这种灵活性使我们能够有效地扩展以满足日益增长的需求,满足客户的独特需求。此外,它使任何外部应用程序能够同时启动多个混音任务,从而显著加快大型多轨项目的混音过程。

让我们通过一个实际的例子来说明这一点:想象一个包含40个音轨的多轨音频 - 10个吉他音轨、10个鼓音轨、10个弦乐音轨和10个合成器音轨。通过我们的Tonn API,用户可以为每个乐器组创建一个混音任务并同时运行。在个别的吉他、鼓、弦乐和合成器混音完成后,用户可以从这些混音中编制最终混音和母带音轨,如上图所示。
我们使用Tonn API的当前基准显示,我们的RoEx Automix技术可以在大约4.5分钟内混音八个三分钟的音轨(典型流行歌曲时长)。我们正在不断努力提升这一性能。如果您有兴趣亲自体验Tonn API的强大,请与我们联系以获取API密钥。您可以在此处找到Tonn API文档。
RoEx实时混音:实时应用的AI音乐混音
基于Automix背后的变革性技术,我们目前正在开发RoEx实时混音 - 一个旨在应对实时音频挑战的系统。它能够同时处理多个音频通道,分析每个通道,并实时应用音频效果,旨在减少掩蔽并提升听觉清晰度。
适用于如直播、视频游戏或VR等应用,其中多个声音源随着时间的推移动态互动,RoEx实时混音可以适应并响应变化的刺激。例如,如果视频游戏中的主角在说话,系统会自动突出他们的演讲,同时微妙地过滤掉其他声音以最小化掩蔽。
结论:AI音乐混音的音乐制作未来
传统的音乐制作或“混音”是一项劳动密集型的过程,需要一组不同于音乐创作的技能。通常涉及众多音源,每个音源在独特的环境中生成,具有不同的属性,其目的是让每个音源清晰地被听到,贡献于和谐美好的声音混合。实现这种平衡是具有挑战性的,通常需要专业声音工程师的技能。
然而,像Automix这样的自动化音乐制作工具的出现正在改变这一格局。通过利用AI音乐混音的力量,这些工具解决了音乐制作的复杂方面,使音乐人能够更快速、更轻松、更经济地将他们的内容传递给他们的目标受众,而不是自己进行混音和母带制作或外包给专业服务。
这项技术降低了音乐行业的进入门槛,使没有技术背景的人更容易获得音乐事业。随着我们向前发展,像RoEx Automix这样的AI音乐混音和母带制作系统承诺将使音乐制作民主化,为全世界的艺术家开启创造性表达的新门。