Como o RoEx Automix funciona por trás das cenas

Neste post, daremos uma espiada nos bastidores de nossa tecnologia RoEx Automix para que você tenha uma ideia de como tratamos o seu áudio, entregando de volta uma mixagem com som profissional e equilibrado em minutos, em vez de dias.

Revolucionando o Áudio com Mixagem e Masterização de Música por IA

O campo da mixagem de áudio está repleto de complexidades. Equilibrar diversos componentes sonoros é um desafio enfrentado por engenheiros de som no mundo todo. Um problema fundamental é o 'mascaramento', um fenômeno onde uma fonte de som, como um bumbo, torna-se inaudível devido a um elemento mais alto, como um contrabaixo. Para enfrentar isso, os engenheiros utilizam várias técnicas e efeitos de áudio, criando uma mixagem harmoniosa e equilibrada onde cada som tem sua presença distinta.

Ajustar os níveis de volume, gerenciar o posicionamento estéreo ou 'panning' (balanço) e aplicar equalização (EQ) para modular frequências específicas são etapas críticas. A compressão de faixa dinâmica (DRC), uma técnica usada para controlar o volume de fontes de som, também desempenha um papel significativo. Mas imagine se esse processo intrincado pudesse ser automatizado, eliminando a intervenção manual e deixando menos margem para erros.

Bem-vindo ao mundo da Mixagem de Música por IA, onde a inteligência artificial atua como o maestro. A IA em sistemas de mixagem e masterização de áudio otimiza e aprimora o processo de mixagem, resultando em um áudio perfeitamente equilibrado e de alta qualidade. Junte-se a nós enquanto nos aprofundamos no fascinante domínio da mixagem e masterização de áudio automatizadas por IA e exploramos o futuro da produção musical.

Nosso Sistema de Mixagem

O Automix, nosso inovador sistema de mixagem de música por IA, redefine a mixagem de áudio ao automatizar o processo complexo de determinar os ajustes perfeitos dos efeitos de áudio. Ele mantém meticulosamente o equilíbrio espacial, minimiza o mascaramento e regula o volume percebido em qualquer áudio multipista enviado para mixagem.

Aproveitando técnicas avançadas de recuperação de informação musical (MIR), o Automix analisa minuciosamente cada pista ou stem no contexto de todas as outras pistas/stems que a influenciam. Esta etapa analítica ocorre no 'Módulo de Análise Multipista', conforme ilustrado na figura acima. Aqui, analisamos e extraímos uma infinidade de recursos de áudio multipista, alguns dos quais podem ser processados em tempo real, oferecendo potencial para mixagem de áudio em tempo real.

Os recursos multipista extraídos de cada pista/stem são então inseridos em um modelo de IA que compreende as regras estabelecidas da engenharia de mixagem. Este modelo discerne as configurações mais adequadas para volume, EQ, DRC, Panning e Reverb com base nas características sonoras de cada pista/stem enviada, sua interação e o estilo musical. Consequentemente, o Automix demonstra uma capacidade apta para mixar stems individuais e multipistas completas de forma eficaz.

Após a determinação final do modelo sobre as melhores configurações de áudio multipista, essas configurações – EQ, DRC, balanço e volume – são aplicadas a cada pista/stem. O áudio multipista é então combinado e normalizado pelo pico para -3dBFs para reservar o headroom necessário para a masterização.

Além disso, desenvolvemos um módulo de masterização baseado em tecnologia semelhante, embora seu uso seja opcional. Este módulo leva em consideração o áudio mixado e a preferência de volume do usuário para aplicar nossa cadeia de sinal de masterização por IA. O produto final é um arquivo wave, FLAC ou mp3, totalmente otimizado e pronto para distribuição em plataformas como Spotify, Soundcloud ou Bandcamp.

Apresentando nossa API: Tonn - Impulsionando a Mixagem e Masterização de Música por IA

Hospedamos nossa inovadora tecnologia Automix na robusta Google Cloud Platform (GCP) como parte de nossa API Tonn. Ela opera como uma aplicação conteinerizada e escalável, capaz de se ajustar ao número de mixagens necessárias a qualquer momento. Essa flexibilidade nos permite escalar de forma eficiente para atender à crescente demanda e satisfazer as necessidades exclusivas de nossos clientes. Além disso, permite que qualquer aplicação externa inicie várias tarefas de mixagem simultaneamente, acelerando significativamente o processo de mixagem de grandes projetos multipista.

Vejamos um exemplo prático para ilustrar isso: imagine uma multipista composta por 40 pistas - 10 pistas de guitarra, 10 pistas de bateria, 10 pistas de cordas e 10 pistas de sintetizador. Com a nossa API Tonn, os usuários podem criar uma tarefa de mixagem para cada grupo instrumental para rodar simultaneamente. Depois que as mixagens individuais de guitarra, bateria, cordas e sintetizador estiverem concluídas, os usuários podem compilar uma mixagem final e uma pista masterizada a partir dessas mixagens, como mostrado na figura acima.

Nosso benchmark atual usando a API Tonn demonstra que nossa tecnologia RoEx Automix pode mixar oito pistas de três minutos cada (duração típica de uma música pop) em aproximadamente 4,5 minutos. Estamos continuamente nos esforçando para melhorar esse desempenho. Se você tiver interesse em experimentar o poder da API Tonn em primeira mão, entre em contato conosco para obter uma chave de API. Você pode encontrar a documentação da API Tonn aqui.

RoEx Realtime Mix: Mixagem de Música por IA para Aplicações em Tempo Real

Com base na tecnologia transformadora por trás do Automix, estamos desenvolvendo atualmente o RoEx Realtime Mix – um sistema projetado para lidar com desafios de áudio em tempo real. Ele está equipado para processar múltiplos canais de áudio simultaneamente, analisar cada canal e aplicar efeitos de áudio em tempo real, visando reduzir o mascaramento e aumentar a clareza auditiva.

Ideal para aplicações como transmissões ao vivo, videogames ou VR, onde múltiplas fontes de som interagem dinamicamente ao longo do tempo, o RoEx Realtime Mix pode se adaptar e responder a estímulos em mudança. Por exemplo, se o personagem principal de um videogame estiver falando, o sistema destacaria automaticamente sua fala, enquanto filtraria sutilmente outros sons para minimizar o mascaramento.

Conclusão: O Futuro da Produção Musical com Mixagem de Música por IA

A produção musical tradicional ou 'mixagem' é um processo que exige muita mão de obra e requer um conjunto de habilidades diferente da criação musical. Geralmente envolvendo inúmeras fontes de som, cada uma gerada em um ambiente único e com atributos distintos, o objetivo é permitir que cada fonte seja ouvida com clareza, contribuindo para uma mistura de sons harmoniosa e nítida. Alcançar esse equilíbrio é um desafio e normalmente exige as habilidades de um engenheiro de som profissional.

No entanto, o surgimento de ferramentas automatizadas de produção musical como o Automix está transformando esse cenário. Ao aproveitar o poder da mixagem de música por IA, essas ferramentas lidam com os aspectos complexos da produção musical, permitindo que os músicos entreguem seu conteúdo ao público-alvo com mais rapidez, facilidade e de forma mais econômica do que se eles próprios fizessem a mixagem e a masterização ou terceirizassem para serviços profissionais.

Esta tecnologia reduz as barreiras de entrada na indústria musical, tornando a carreira na música mais acessível para aqueles que não têm formação técnica. À medida que avançamos, os sistemas de mixagem e masterização de música por IA, como o RoEx Automix, prometem democratizar a produção musical, abrindo novas portas de expressão criativa para artistas de todo o mundo.

Desde que este post foi escrito, o Automix também lançou o Automix Desktop (Beta) – o mesmo mecanismo de IA rodando localmente no Mac, sem nenhum upload para o servidor.