RoEx Automix가 내부에서 작동하는 방식

이 게시물에서는 RoEx Automix 기술의 내부를 들여다보고, 며칠씩 걸리던 믹싱 작업을 단 몇 분 만에 전문적이고 균형 잡힌 사운드로 되돌려 주기 위해 귀하의 오디오를 어떻게 처리하는지 설명해 드리겠습니다.

AI 음악 믹싱 및 마스터링으로 오디오 혁신하기

오디오 믹싱 분야는 복잡함으로 가득 차 있습니다. 다양한 사운드 요소를 균형 있게 조화시키는 것은 전 세계 사운드 엔지니어들이 직면한 과제입니다. 주요 문제 중 하나는 '마스킹(masking)' 현상으로, 예를 들어 킥 드럼과 같은 음원이 베이스 기타처럼 더 큰 소리를 내는 요소 때문에 들리지 않게 되는 현상입니다. 이를 해결하기 위해 엔지니어들은 다양한 기술과 오디오 이펙트를 도입하여 각 사운드가 고유한 존재감을 갖는 조화롭고 균형 잡힌 믹스를 만들어냅니다.

볼륨 레벨을 미세 조정하고, 스테레오 포지셔닝('패닝'이라고 함)을 관리하고, 이퀄라이제이션(EQ)을 적용하여 특정 주파수를 조절하는 것은 중요한 단계입니다. 음원의 라우드니스를 제어하는 데 사용되하는 기술인 다이내믹 레인지 컴프레션(DRC)도 중요한 역할을 합니다. 하지만 이 복잡한 과정이 자동화되어 수동 개입이 사라지고 오류의 여지가 줄어든다면 어떨지 상상해 보십시오.

인공지능이 거장(마에스트로)의 역할을 수행하는 AI 음악 믹싱의 세계에 오신 것을 환영합니다. 오디오 믹싱 및 마스터링 시스템의 AI는 믹싱 프로세스를 간소화하고 향상시켜 완벽하게 균형 잡힌 고품질 오디오를 만들어냅니다. AI로 구동되는 자동화된 오디오 믹싱 및 마스터링의 매력적인 영역을 살펴보고 음악 제작의 미래를 알아보는 여정에 함께해 보세요.

당사의 믹싱 시스템

당사의 혁신적인 AI 음악 믹싱 시스템인 Automix는 완벽한 오디오 이펙트 설정을 결정하는 복잡한 프로세스를 자동화함으로써 오디오 믹싱을 재정의합니다. 믹싱을 위해 제출된 모든 멀티트랙 오디오에서 공간적 균형을 세심하게 유지하고, 마스킹을 최소화하며, 인지되는 라우드니스를 조절합니다.

고급 음악 정보 검색(MIR) 기술을 활용하는 Automix는 이에 영향을 미치는 다른 모든 트랙/스템의 맥락 내에서 각 트랙 또는 스템을 철저하게 분석합니다. 이 분석 단계는 위의 그림에 표시된 '멀티트랙 분석 모듈'에서 진행됩니다. 여기에서 당사는 실시간 오디오 믹싱의 가능성을 제공하며 실시간으로 처리할 수 있는 다수의 멀티트랙 오디오 기능을 분석하고 추출합니다.

각 트랙/스템에서 추출된 멀티트랙 기능은 확립된 믹스 엔지니어링 규칙을 이해하는 AI 모델로 입력됩니다. 이 모델은 제출된 각 트랙/스템의 음향적 특성, 상호 작용 및 음악 스타일에 따라 볼륨, EQ, DRC, 패닝 및 리버브에 가장 적합한 설정을 알아냅니다. 결과적으로 Automix는 개별 스템과 전체 멀티트랙을 효과적으로 믹싱하는 데 탁월한 능력을 보여줍니다.

모델이 최상의 멀티트랙 오디오 설정을 최종 결정하면 이러한 설정(EQ, DRC, 패닝 및 라우드니스)이 각 트랙/스템에 적용됩니다. 그런 다음 멀티트랙 오디오를 병합하고 -3dBFs로 피크 노멀라이즈하여 마스터링에 필요한 헤드룸을 확보합니다.

또한, 옵션으로 선택하여 사용할 수 있지만 유사한 기술을 기반으로 마스터링 모듈도 개발했습니다. 이 모듈은 믹싱된 오디오와 사용자의 라우드니스 선호도를 고려하여 당사의 AI 마스터링 시그널 체인을 적용합니다. 최종 결과물은 Spotify, Soundcloud, Bandcamp와 같은 플랫폼에서 바로 유통할 수 있도록 편의성이 최적화된 wave, FLAC 또는 mp3 파일입니다.

당사의 API 소개: Tonn - AI 음악 믹싱 및 마스터링 구동

당사는 획기적인 Automix 기술을 Tonn API의 일부로 강력한 Google Cloud Platform(GCP)에 탑재했습니다. 이 기술은 확장 가능한 컨테이너화된 애플리케이션으로 작동하여 언제든지 필요한 믹스 수에 맞게 조정할 수 있습니다. 이러한 유연성 덕분에 증가하는 수요에 맞춰 효율적으로 확장하고 고객의 독특한 요구 사항을 충족할 수 있습니다. 또한, 외부 애플리케이션이 여러 믹스 작업을 동시에 시작할 수 있도록 지원하여 대규모 멀티트랙 프로젝트의 믹싱 프로세스를 크게 가속화합니다.

이를 설명하기 위해 실질적인 예를 들어보겠습니다. 기타 트랙 10개, 드럼 트랙 10개, 현악기 트랙 10개, 신디사이저 트랙 10개 등 총 40개 트랙으로 구성된 멀티트랙이 있다고 상상해 보십시오. 당사의 Tonn API를 사용하면 사용자는 각 악기 그룹에 대한 믹스 작업을 생성하여 동시에 실행할 수 있습니다. 개별 기타, 드럼, 현악기 및 신디사이저 믹스가 완료되면 사용자는 위의 그림과 같이 이러한 믹스에서 최종 믹스 및 마스터링된 트랙을 컴파일할 수 있습니다.

Tonn API를 사용한 현재의 벤치마크에 따르면 RoEx Automix 기술은 각각 3분 길이(일반적인 팝송 길이)의 트랙 8개를 약 4.5분 안에 믹싱할 수 있습니다. 당사는 이 성능을 향상시키기 위해 지속적으로 노력하고 있습니다. Tonn API의 강력한 기능을 직접 경험해보고 싶으시다면 당사에 연락하여 API 키를 받으세요. Tonn API 문서는 여기에서 찾을 수 있습니다.

RoEx Realtime Mix: 실시간 애플리케이션을 위한 AI 음악 믹싱

Automix의 이면에 있는 혁신적인 기술을 기반으로, 당사는 현재 실시간 오디오 문제를 해결하도록 설계된 시스템인 RoEx Realtime Mix를 개발하고 있습니다. 여러 오디오 채널을 동시에 처리하고, 각 채널을 분석하고, 즉석에서 오디오 이펙트를 적용하여 마스킹을 줄이고 청각적 선명도를 높이도록 설계되었습니다.

시간이 지남에 따라 여러 음원이 동적으로 상호 작용하는 라이브 방송, 비디오 게임 또는 VR과 같은 애플리케이션에 이상적인 RoEx Realtime Mix는 변화하는 자극에 적응하고 반응할 수 있습니다. 예를 들어, 비디오 게임의 주인공이 말하는 경우 시스템은 마스킹을 최소화하기 위해 주인공의 음성을 자동으로 강조하는 동시에 다른 소리를 미세하게 걸러냅니다.

결론: AI 음악 믹싱과 함께하는 음악 제작의 미래

전통적인 음악 제작 또는 '믹싱'은 음악 제작과는 또 다른 기술이 요구되는 노동 집약적인 프로세스입니다. 일반적으로 고유한 환경에서 생성되고 서로 다른 속성을 지닌 수많은 음원이 포함되므로, 목표는 각 음원이 선명하게 들리도록 하여 조화롭고 깔끔한 사운드의 혼합을 만드는 것입니다. 이러한 균형을 달성하는 것은 까다로우며 일반적으로 전문 사운드 엔지니어의 기술을 필요로 합니다.

그러나 Automix와 같은 자동화된 음악 제작 도구의 등장은 이러한 환경을 변화시키고 있습니다. AI 음악 믹싱의 힘을 활용함으로써 이러한 도구들은 음악 제작의 복잡한 측면을 해결하여 음악가가 직접 믹싱 및 마스터링을 수행하거나 전문 서비스에 아웃소싱하는 것보다 더 빠르고 쉽고 비용 효율적으로 타겟 오디언스에게 콘텐츠를 전달할 수 있도록 돕습니다.

이 기술은 음악 산업의 진입 장벽을 낮추어 기술적 배경이 부족한 사람들도 음악 분야의 커리어를 더 쉽게 시작할 수 있도록 만듭니다. 앞으로 나아가면서, RoEx Automix와 같은 AI 음악 믹싱 및 마스터링 시스템은 음악 제작을 대중화하여 전 세계 아티스트들에게 창의적 표현의 새로운 문을 열어줄 것입니다.

이 게시물이 작성된 이후, Automix는 서버 업로드 없이 Mac에서 로컬로 실행되는 동일한 AI 엔진인 Automix Desktop (Beta)도 출시했습니다.