Im vergangenen Jahr riefen Hörer*innen allein in Deutschland 165 Milliarden Musiktitel-Streamings ab. Rechnerisch hat also jeder und jede Deutsche über zweitausendmal Audioinhalte der Streaming-Plattformen von Amazon und Apple über Spotify bis Youtube angehört. Die Auswahl an Titeln ist dabei gewaltig: Wer zum Beispiel Spotify nutzt, dem stehen mehr als 70 Millionen Pop- und Klassikstücke zur Verfügung. Natürlich sind nicht alle Titel so beliebt und oft gehört wie Last Christmas. Allein für diesen Weihnachtsklassiker der Band Wham! Hat der Bundesverband Musikindustrie BVMI binnen 24 Stunden deutschlandweit fünf Millionen Abrufe erfasst. Dass Hörer*innen auch die unbekannteren und neu aufgenommenen Musikstücke in den Streaming-Bibliotheken finden können, gewährleisten vor allem die Empfehlungssysteme der Plattformen. Sie schlagen den Nutzer*innen auch unbekanntere Interpret*innen und Musiktitel vor, die ihnen gefallen könnten.

Grundlegende Technologien, Analysealgorithmen und KI-Modelle für die Bestimmung musikalischer Ähnlichkeiten und die Generierung von Hörempfehlungen entwickelten unter anderem Forscher*innen des Fraunhofer-Instituts für Digitale Medientechnologien IDMT. Mit ihrem Softwaresystem SoundsLike beispielsweise lassen sich die Titel einer Musikbibliothek automatisiert bezüglich vielfältiger Kriterien analysieren und mit Metadaten anreichern – von Instrumentalisierung, Rhythmus und Tonart über Dynamik und Tempi bis zur Genre-Zuordnung oder die Einordnung der emotionalen Grundstimmung des Stückes. »Durch diese umfassende Katalogisierung der Musikbibliotheken schaffen wir die Voraussetzung, um mit KI-Modellen ähnliche Musikstücke zu finden und den Hörerinnen und Hörern für ihre Vorlieben passende Vorschläge zusammenzustellen«, erklärt Hanna Lukashevich vom Fraunhofer IDMT. So können sie ohne konkreten Suchauftrag neben den Klassikern insbesondere auch neuerschienene Titel kennenlernen. Zum Beispiel eine der rund 370.000 Pop-Singles, die allein im Jahr 2020 neu zu den digitalen Musikbibliotheken hinzugekommen sind.

Musikproduzenten auf Sound-Suche

Bevor jedes einzelne dieser neuen Musikstücke gehört werden kann, muss es allerdings erst einmal produziert worden sein. Und während dieses und anderer kreativer Prozesse im Laufe der Musikproduktion spielen digitale Sound-Dateien eine zentrale Rolle. Das sind zum Beispiel Dateien mit der isolierten Tonspur eines Instruments oder einer Singstimme. Oder sie enthalten bereits vorproduzierte Klangsets wie Samples, Beats oder Loops. Sie alle werden an einer Digital Audio Workstation (DAW) und mit speziellen Softwareprogrammen für die Bearbeitung von Musikstücken aufeinander abgestimmt, kombiniert, übereinandergelegt und aneinandergereiht. Von der Akzentuierung und dem Klang einzelner Instrumente der orchestralen Begleitung über die Melodik und den Gesang bis zum Beat: »Für diese Zusammenstellung der Klangelemente stehen Musikproduzierenden nicht nur eigene Inhalte zur Verfügung, die sie selbst produziert haben oder von beauftragten Musikschaffenden einspielen ließen«, betont Lukashevich. »Viele Musikproduzierende und vor allem auch immer mehr Musikerinnen und Musiker greifen auch auf vorgefertigte Samples, Beats und Loops zurück, die andere Musikschaffende anbieten.« Die prinzipiell verfügbare Auswahl sei damit ähnlich umfangreich wie die Anzahl der fertigen Musikstücke auf den Streaming-Plattformen.

So fantastisch vielfältig diese Auswahlmöglichkeiten jedoch auch sein mögen, in der Praxis kann die Fülle an Angeboten auch den kreativen Prozess blockieren: der oder die Produzent*in sieht den Wald vor lauter Bäumen nicht beziehungsweise hört seinen oder ihren idealen Sample aus der Kakofonie der Sequenzen nicht mehr heraus. »Die kreativen Möglichkeiten sind so vielfältig, dass sie Musikschaffende mit den eigenen Händen und Ohren allein nicht mehr ausschöpfen können«, sagt Lukashevich weiter. Hier helfe auch das mittlerweile übliche automatisierte Empfehlen, wie es beispielsweise Musikplattformen anbieten, nicht weiter. Denn in der Regel suchen Kreative seltener nach vergleichbarem, sondern eher nach außerordentlichem und speziellem Material für ihre Komposition. »Das hat zur Konsequenz, dass Musikschaffende und Musikproduzierende viel Zeit darauf verwenden müssen, mögliche Samples für ihr Stück auf der eigenen Festplatte, in Online-Bibliotheken oder sogar auf der im Regal stehenden DVD-Sammlung herauszusuchen, anzuhören und zu bewerten, ob es für das eigene Musikstück geeignet sein könnte«, erklärt Lukashevich.

Empfehlungssystem für Digital Audio Workstations

Gemeinsam mit den Spezialist*innen für KI-gestützte Audioanalysen des Fraunhofer IDMT entwickelte die Jamahook AG deshalb das Jamahook VST Plugin. Das Plugin lässt sich unkompliziert in nahezu jede Digital Audio Workstation integrieren und ermöglicht eine deutlich einfachere und schnellere Suche nach möglicherweise gewünschten Klangelementen: Die Software »hört« sich das unfertige Musikstück beziehungsweise die Passage daraus an und analysiert die vorhandenen spezifischen Kenngrößen. Dazu gehören musikalische Kriterien wie Tonart, Rhythmus oder das Tempo in Beats per Minute ebenso wie Genre, Instrumentalisierung, Dynamik oder Gemütsstimmung. Das Ergebnis dieser Analyse nutzt das Jamahook VST Plugin, um dazu passende Klangelemente zu finden, die das Stück möglicherweise bereichern könnten.

Mit dem Plugin für Digital Audio Workstations Jamahook lassen sich umfangreiche Bestände an Samples, Loops oder Beats zielgerichtet nach passenden Klangelementen für neue Musikproduktion durchforsten. Bild: Jamahook

KI mit musikalischem Experten-Know-how

Doch was sich so einfach anhört, ist technisch weitaus komplexer als beispielsweise die Ähnlichkeitssuche, die bei Streamingdiensten angeboten wird. »Während es bei Hörempfehlungen ausreicht, nach Ähnlichkeiten in den Musikstücken zu suchen, wäre es für Musikproduzierende wenig hilfreich, Klangelemente zu finden, die sie in ganz ähnlicher Form bereits vorliegen haben«, betont Lukashevich. Die Algorithmen müssen vielmehr gezielt nach Klangelementen suchen, die teils äußerst unterschiedlich zu dem von ihnen angehörten Sample sind. »Trotzdem müssen sie musikalische Spezifika aufweisen, die in Kombination mit dem unfertigen Musikstück eine klangliche Einheit ergeben können«. Selbst Disharmonien oder unerwartete Rhythmen können in einem Musikstück besondere Akzente setzen und das akustische Gesamtbild eines Stückes aufwerten. Wann und wie solche Kombinationen möglich sind, erfordert das Wissen und die Erfahrung von Musiker*innen und umfangreiche Trainings der künstlichen Intelligenz, die im Jamahook VST Plugin genutzt wird. Die Expert*innen des Fraunhofer IDMT konnten dafür die musikalische Expertise von Musiker*innen und Musikproduzent*innen der Jamahook AG nutzen. Dank ihres Wissens wurde die KI so weiterentwickelt, dass sie einzelne Musiksequenzen richtig interpretieren und ergänzende Elemente selbstständig suchen kann. »Der Einsatz von KI hat die Fähigkeiten des Jamahook VST Plugins erheblich verfeinert und erweitert. Inzwischen beherrschen die KI-Modelle zumindest ein Stück weit auch das musikalische ‚Gespür‘ für miteinander kombinierbare Klangelemente«, resümiert Lukashevich.

Plattform für die Suche nach dem richtigen Sound

Für die Suche nach geeigneten Klangelementen können Musikproduzent*innen an ihrem DAW-Arbeitsplatz nun automatisch das gesamte verfügbare Repertoire an gespeicherten Audiodateien durchforsten lassen. Integriert in das Jamahook VST Plugin ist aber zusätzlich der Zugang zu einer Online-Plattform, auf der Produzent*innen und Rechteinhaber*innen Audiodateien mit Loops, Beats und Samples gegen Gebühr anbieten können. Über das Plugin stehen Musikproduzierenden also neben den eigenen Beständen an Klangelementen eine Vielzahl weiterer Audioinhalte zur Verfügung. Startet er oder sie eine Suchanfrage, schlägt Jamahook eine Auswahl möglicherweise passender Klangelemente vor. Die Suchalgorithmen berücksichtigen dabei auch Treffer, die zwar in der vorliegenden Form noch nicht exakt passen, aber durch Nachbearbeitung zum Beispiel bezüglich Tempo oder Tonhöhe passend gemacht werden können. Über Filtereinstellungen lässt sich der Suchauftrag zudem konkretisieren und eingrenzen. Wenn der oder die Musikproduzent*in beispielsweise speziell nach einem Loop mit Streichern sucht oder einem Percussion Beat. Die vorgeschlagenen Klangelemente lassen sich sofort an der Digital Audio Workstation mit der aktuellen Musikproduktion kombinieren und anhören.

Jamahook schlägt Musikproduzierenden passende Soundelemente vor, um ein Musikstück mit den gewünschten Tonspuren von Gesang und Instumentalisierung bis zu Loops und Beats zu ergänzen. Bild: Jamahook

Kreativunterstützung für Profis und Amateure

Interessierte können Jamahook sofort ausprobieren und mit eingeschränktem Funktionsumfang an ihrer Audio Workstation einsetzen. Mit dem Abschluss eines Abonnements steht den Nutzer*innen Jamahook vollumfänglich zur Verfügung – inklusive Weiterverwendung der je nach Abo-Modell gewählten Anzahl an Sounddateien. Und es gibt noch eine Möglichkeit, von der Fraunhofer-Jamahook Technologie zu profitieren: Die Loopcloud des Samples- und Loopanbieters Loopmasters hat im Rahmen einer Partnerschaft mit Jamahook den intelligent-kreativen Suchalgorithmus in sein Online-Angebot integriert. Und selbst für Amateure, die nicht über das Profi-Equipment einer Digital Audio Workstation verfügen, will Jamahook schon bald ein KI-gestütztes Musikkreieren ermöglichen: Das Unternehmen arbeitet derzeit an einer intuitiv benutzbaren »Musikmach-App«. Anwender*innen können damit die gemeinsam von Fraunhofer und Jamahook entwickelte Technologie nutzen, um am Smartphone oder Tablet selbst Musikstücke oder Sounduntermalungen für eigenen Content zu entwickeln.

(ted)