Bereits aufgenommene Musikstücke zu rekonstruieren, für die keine Partituren oder Noten vorhanden sind, ist für ausgebildete Musiker so etwas wie eine Königsdisziplin. Selbst unter Berufsmusikern soll nur jeder Zehnte über ein „absolutes Gehör“ verfügen, also die Fähigkeit, einen Ton exakt in ein Tonsystem einordnen zu können. Eine Chance, Audiodaten möglichst „treffsicher“ abzubilden, ist die automatische Rekonstruktion einer Partitur. Technisch gesehen werden dabei die vorhandenen Audiodaten in so genannte MIDI-Signale übersetzt. MIDI dient bereits seit Jahren der Übermittlung, Aufzeichnung und Wiedergabe von musikalischen Steuerinformationen zwischen Computern und elektronischen Musikinstrumenten. Diese MIDI-Signale speichern somit nur die zur Erzeugung der Töne nötigen Steuerdaten – aber nicht den Klang selber. Diese Daten können dann wieder an einen Klangerzeuger wie etwa einen Synthesizer oder einen Sampler zum Abspielen übermittelt werden. Generell besteht der Vorteil von MIDI-Signalen darin, dass die gespeicherten Steuerdaten zum einen im Nachhinein leicht bearbeitet werden können und zum anderen verglichen mit digitalen Audioaufnahmen nur wenig Rechenkapazität und Speicherplatz benötigen.

Bei der Transkription von Audio- zu MIDI Daten werden Tondauer, Tonhöhe und Lautstärke aller gespielten Noten abgebildet. War bisher die Transkription von monophonen Melodien technisch weitgehend gelöst, stellen Stücke, in denen mehrere Instrumente zeitgleich gespielt werden, eine Herausforderung dar, denn jedes Instrument muss getrennt transkribiert werden. Da aber die Audiosignale der aufgenommen Stücke in der Regel aus einer Vielzahl von Einzelkomponenten bestehen, die sich in vielen Frequenzbereichen überlagern, ist dies nicht ganz einfach. Am Fraunhofer IDMT setzen die Experten bei der Rekonstruktion das Transcription Toolbox System ein, das die jeweiligen Instrumententypen trennt und analysiert. Dafür werden die Schallwellen der Musikaufnahme als Zeit-Frequenz-Darstellung erfasst, die eine detaillierte Detektion von Noten verschiedenster Instrumente ermöglicht. Die gewonnenen Merkmale charakterisieren die Solo- und Begleitinstrumente rhythmisch, melodisch, harmonisch, aber auch strukturell. Darüber hinaus wird auch die Interaktion der beteiligten Musikinstrumente beschrieben. Nach der Transkription liegen die Partiturinformationen als Vektoren vor, die dann in Notensprache übersetzt werden.

Die möglichen Anwendungsszenarien der automatischen Transkription von Audio zu MIDI sind zahlreich. Ein Beispiel dafür ist der Bereich der Musikausbildung: In der Regel werden meist Notenbücher verwendet, denen eine CD beiliegt, auf der die Stücke des Lehrbuchs vorgespielt werden. Hätte ein Schüler die Möglichkeit, seine eigenen musikalischen Versuche aufzunehmen und diese dann in eine Partitur rückübersetzen zu lassen, könnte er gezielt seine Schwachstellen analysieren. Darüber hinaus wäre ein Schüler nicht mehr nur auf die Stücke in dem Lehrbuch angewiesen, sondern er könnte sich alle Musiktitel, die ihm gefallen, in eine Partitur übersetzen lassen und sie zum Üben nutzen.

Immer beliebter ist das Neuabmischen von vorhandenen Musiktiteln geworden, nicht nur bei professionellen DJs, sondern auch bei Privatanwendern. Dabei spielen die Produzenten mit Geschwindigkeit und Klangeffekten, fügen neue Tonspuren hinzu und blenden vorhandene aus. So werden Musiktitel, die sich zum Beispiel im Rhythmus ähneln, für die Tanzfläche aufbereitet. Professionelle DJs erstellen Collagen, bei denen die Titel nahtlos ineinander übergehen. Die Möglichkeiten der automatischen Transkription könnte nun das Remixen deutlich vereinfachen, weil es die Suche nach geeigneten Tonspuren übernimmt und diese in den vorhandenen Musiktitel einfügen kann. Auf diese Weise können auch Privatanwender ohne großen technischen Aufwand und Vorwissen ihre Lieblingstitel neu zusammenstellen.

Aber auch Liebhaber von Karaoke können diese Technologie nutzen, um Lieder zum Nachsingen aufzubereiten, indem sie aus der gewonnen Partitur wieder eine Version ohne Gesang erstellen. Bis dato sind die Nutzer darauf angewiesen, dass die Hersteller von Karaoke CDs und DVDs neue, meist teure Produkte auf den Markt bringen. Spannende Optionen bietet die Technologie auch für musikbasierte Videospiele. Die Popularität entsprechender Titel ist derzeit ungebrochen: Mithilfe der automatischen Transkription können Spieler aus ihren Lieblingsliedern automatisch kleine Musikspiele generieren, bei denen das Ziel möglichst gutes Nachsingen, Nachspielen oder Tanzen von Rhythmus und Melodie mittels Gitarrencontroller oder Tanzmatten ist.

Keine Kommentare vorhanden

Das Kommentarfeld darf nicht leer sein
Bitte einen Namen angeben
Bitte valide E-Mail-Adresse angeben
Sicherheits-Check:
Vier + = 7
Bitte Zahl eintragen!
image description
Experte
Alle anzeigen
Christian Dittmar
  • Fraunhofer-Institut für Digitale Medientechnologie IDMT
Weitere Artikel
Alle anzeigen
Chips für Ohr  
Hallo Magenta! 
Das interaktive Spiel mit Gesang und Klang
Stellenangebote
Alle anzeigen