Wie RoEx Automix im Hintergrund funktioniert

In diesem Beitrag werfen wir einen Blick unter die Haube unserer RoEx Automix-Technologie, um Ihnen eine Vorstellung davon zu geben, wie wir Ihr Audio bearbeiten, damit Sie in Minuten statt in Tagen einen professionellen und ausgewogenen Mix zurückerhalten.

Revolutionierung von Audio mit KI-Musikmischung und -Mastering

Der Bereich des Audiomischens ist voller Komplexitäten. Das Ausbalancieren verschiedener Soundkomponenten ist eine Herausforderung, vor der Toningenieure weltweit stehen. Ein Hauptproblem ist die „Maskierung“, ein Phänomen, bei dem eine Tonquelle, beispielsweise eine Kick-Drum, aufgrund eines lauteren Elements, wie einer Bassgitarre, unhörbar wird. Um dies zu bewältigen, setzen Ingenieure verschiedene Techniken und Audioeffekte ein, um einen harmonischen und ausgewogenen Mix zu erstellen, in dem jeder Sound seine eigene Präsenz hat.

Die Feinabstimmung von Lautstärkepegeln, die Steuerung der Stereopositionierung oder des „Panning“ und die Anwendung von Equalization (EQ) zur Modulation bestimmter Frequenzen sind entscheidende Schritte. Auch die Dynamikkompression (DRC), eine Technik zur Steuerung der Lautstärke von Schallquellen, spielt eine wichtige Rolle. Aber stellen Sie sich vor, dieser komplizierte Prozess könnte automatisiert werden, was manuelle Eingriffe überflüssig macht und weniger Raum für Fehler lässt.

Willkommen in der Welt des KI-Musikmischens, in der künstliche Intelligenz den Ton angibt. KI in Audiomisch- und Mastering-Systemen rationalisiert und verbessert den Mischprozess, was zu perfekt ausgewogenem, hochwertigem Audio führt. Begleiten Sie uns, wenn wir in den faszinierenden Bereich des automatisierten, KI-gestützten Audiomischens und -Masterings eintauchen und die Zukunft der Musikproduktion erkunden.

Unser Mischsystem

Automix, unser innovatives KI-Musikmischsystem, definiert das Audiomischen neu, indem es den komplexen Prozess der Ermittlung der perfekten Audioeffekt-Einstellungen automatisiert. Es sorgt akribisch für eine räumliche Balance, minimiert Maskierungen und reguliert die wahrgenommene Lautstärke bei jedem für das Mischen eingereichten Multitrack-Audio.

Unter Nutzung fortschrittlicher Techniken des Music Information Retrieval (MIR) analysiert Automix jeden Track oder STEM im Kontext aller anderen Tracks/Stems, die ihn beeinflussen, gründlich. Diese Analysephase findet im „Multitrack-Analysemodul“ statt, wie in der obigen Abbildung dargestellt. Hier analysieren und extrahieren wir eine Vielzahl von Multitrack-Audiomerkmalen, von denen einige in Echtzeit verarbeitet werden können, was das Potenzial für Echtzeit-Audiomischen bietet.

Die aus jedem Track/Stem extrahierten Multitrack-Merkmale werden dann in ein KI-Modell eingespeist, das etablierte Regeln der Mischtechnik versteht. Dieses Modell ermittelt die am besten geeigneten Einstellungen für Lautstärke, EQ, DRC, Panning und Hall auf der Grundlage der klanglichen Eigenschaften jedes eingereichten Tracks/Stems, ihres Zusammenspiels und des Musikstils. Folglich zeigt Automix eine ausgeprägte Fähigkeit, einzelne Stems und vollständige Multitracks effektiv zu mischen.

Nachdem das Modell endgültig die besten Multitrack-Audioeinstellungen ermittelt hat, werden diese Einstellungen – EQ, DRC, Panning und Lautstärke – auf jeden Track/Stem angewendet. Das Multitrack-Audio wird dann zusammengeführt und auf -3 dBFs peak-normalisiert, um den erforderlichen Headroom für das Mastering zu reservieren.

Zusätzlich haben wir ein Mastering-Modul entwickelt, das auf einer ähnlichen Technologie basiert, obwohl seine Verwendung optional ist. Dieses Modul berücksichtigt das gemischte Audio und die Lautstärkepräferenz des Benutzers, um unsere KI-Mastering-Signalkette anzuwenden. Das fertige Produkt ist eine Wave-, FLAC- oder MP3-Datei, die vollständig optimiert und bereit für den Vertrieb auf Plattformen wie Spotify, Soundcloud oder Bandcamp ist.

Wir stellen unsere API vor: Tonn – Die Power für KI-Musikmischung und -Mastering

Wir hosten unsere wegweisende Automix-Technologie auf der robusten Google Cloud Platform (GCP) als Teil unserer Tonn-API. Sie arbeitet als skalierbare, containerisierte Anwendung, die sich an die Anzahl der zu einem bestimmten Zeitpunkt benötigten Mischungen anpassen kann. Diese Flexibilität ermöglicht es uns, effizient zu skalieren, um der wachsenden Nachfrage gerecht zu werden und die einzigartigen Bedürfnisse unserer Kunden zu erfüllen. Darüber hinaus ermöglicht sie es jeder externen Anwendung, mehrere Mischaufgaben gleichzeitig zu starten, was den Mischprozess großer Multitrack-Projekte erheblich beschleunigt.

Lassen Sie uns ein praktisches Beispiel nehmen, um dies zu veranschaulichen: Stellen Sie sich einen Multitrack vor, der aus 40 Spuren besteht – 10 Gitarrenspuren, 10 Schlagzeugspuren, 10 Streicherspuren und 10 Synthie-Spuren. Mit unserer Tonn-API können Benutzer für jede Instrumentengruppe eine Mischaufgabe erstellen, die gleichzeitig ausgeführt wird. Nachdem die einzelnen Gitarren-, Schlagzeug-, Streicher- und Synthie-Mischungen fertiggestellt sind, können Benutzer daraus eine endgültige Mischung und einen gemasterten Track zusammenstellen, wie in der Abbildung oben dargestellt.

Unser aktueller Benchmark mit der Tonn-API zeigt, dass unsere RoEx Automix-Technologie acht Spuren von jeweils drei Minuten (typische Popsong-Dauer) in etwa 4,5 Minuten mischen kann. Wir sind ständig bestrebt, diese Leistung zu verbessern. Wenn Sie daran interessiert sind, die Leistungsfähigkeit der Tonn-API aus erster Hand zu erleben, kontaktieren Sie uns bitte für einen API-Schlüssel. Die Dokumentation zur Tonn-API finden Sie hier.

RoEx Realtime Mix: KI-Musikmischung für Echtzeitanwendungen

Aufbauend auf der transformativen Technologie hinter Automix entwickeln wir derzeit RoEx Realtime Mix – ein System, das für die Bewältigung von Audio-Herausforderungen in Echtzeit konzipiert ist. Es ist in der Lage, mehrere Audiokanäle gleichzeitig zu verarbeiten, jeden Kanal zu analysieren und Audioeffekte direkt anzuwenden, mit dem Ziel, Maskierungen zu reduzieren und die Hörklarheit zu verbessern.

RoEx Realtime Mix ist ideal für Anwendungen wie Live-Übertragungen, Videospiele oder VR, bei denen mehrere Soundquellen im Laufe der Zeit dynamisch interagieren, und kann sich an veränderte Reize anpassen und darauf reagieren. Wenn beispielsweise die Hauptfigur in einem Videospiel spricht, würde das System deren Sprache automatisch hervorheben, während andere Geräusche dezent gefiltert werden, um Maskierungen zu minimieren.

Fazit: Die Zukunft der Musikproduktion mit KI-Musikmischung

Die traditionelle Musikproduktion oder das „Mischen“ ist ein arbeitsintensiver Prozess, der andere Fähigkeiten erfordert als die Musikkreation. Da in der Regel zahlreiche Tonquellen beteiligt sind, die jeweils in einer einzigartigen Umgebung und mit unterschiedlichen Attributen erzeugt wurden, besteht das Ziel darin, jede Quelle klar hörbar zu machen und so zu einer harmonischen und klaren Klangmischung beizutragen. Das Erreichen dieser Balance ist eine Herausforderung und erfordert in der Regel die Fähigkeiten eines professionellen Toningenieurs.

Das Aufkommen automatisierter Musikproduktionstools wie Automix verändert diese Landschaft jedoch. Durch die Nutzung der Leistungsfähigkeit des KI-Musikmischens bewältigen diese Tools die komplexen Aspekte der Musikproduktion. Dies ermöglicht es Musikern, ihre Inhalte schneller, einfacher und kostengünstiger an ihr Zielpublikum zu liefern, als wenn sie das Mischen und Mastering selbst in die Hand genommen oder an professionelle Dienste ausgelagelt hätten.

Diese Technologie senkt die Einstiegshürden in der Musikindustrie und macht eine Karriere in der Musik auch für diejenigen zugänglicher, die keinen technischen Hintergrund haben. Auf unserem Weg in die Zukunft versprechen KI-Musikmisch- und -Mastering-Systeme wie RoEx Automix, die Musikproduktion zu demokratisieren und Künstlern auf der ganzen Welt neue Türen des kreativen Ausdrucks zu öffnen.

Seit dem Schreiben dieses Beitrags hat Automix auch Automix Desktop (Beta) auf den Markt gebracht – dieselbe KI-Engine, die lokal auf dem Mac läuft, ganz ohne Server-Uploads.