Sind KIs die neuen Komponisten?

Über die letzten Jahre sind Computer mittels neuer Architekturen und mehr Rechenkapazität in die Lage versetzt worden, Probleme zu bewältigen, deren Lösung sich üblicherweise nur ein Mensch zugetraut hätte. Beim Verarbeiten von Bildern sind KIs vom Unterscheiden zwischen Hund und Katze über das automatische Identifizieren von Personen beim Generieren täuschend echt aussehender Fotos und Videos angekommen. Auf der Textseite können wir nach Rechtschreibkorrektur und Textvervollständigung nun auch komplette Aufsätze, Artikel und mathematische Beweise generieren. Die Vielzahl neuer Anwendungsfälle erweckt schnell den Eindruck, KI laufe in allen Belangen dem menschlichen Intellekt den Rang ab. Doch die meisten KI-Programme verhalten sich in der Regel nur wie Zaubertricks. Hat man diese einmal durchschaut und verstanden, stellt sich eine gesunde Erkenntnis über ihre Stärken und Schwächen ein. Versteht man dann auch noch die Grundbausteine, aus denen die Systeme aufgebaut sind, kann man sie effektiv für sich nutzen.

Es hat vor allem praktische Gründe, warum die meisten bekannten Meilensteine der KI-Entwicklung wie das Generieren von Bildern und Texten, bisher hauptsächlich visueller oder sprachlicher Natur waren. Die Ergebnisse, die KIs mit Bildern und Texten generieren, sind für die meisten Menschen ohne spezielles Equipment einfach zu verstehen und zu beurteilen, und sie sind in ihrer digitalen Repräsentation einfach zu verarbeiten. Dazu kommt, dass Bild- und Textinhalte, mit denen Systeme trainiert werden können, in großem Umfang im Internet frei zugänglich sind. Mit Audio ist das nicht im gleichen Maße der Fall. Die meisten Endkonsumenten können nur schwer beurteilen, was einer schlechten im Vergleich zu einer guten Tonaufnahme fehlt, um dies einem System mitzuteilen. Auf der technischen Seite stellte die hohe Dichte an Informationen, die wir Menschen aus einfachen Schallwellen extrahieren können, Computer lange Zeit vor Probleme. Letztlich sind die meisten Tonaufnahmen auch nicht in beliebiger Qualität frei verfügbar, um ausreichend große, hochqualitative Datensätze zusammenzustellen. Deshalb pflegte die KI-Entwicklung im Audiobereich lange Zeit ein Nischendasein. Das hat begonnen, sich zu ändern.

Abbildung 1: Trainingszyklus unseres CNNs. Das CNN sagt vorher, mit welcher Wahrscheinlichkeit eine Aufnahme den jeweiligen Genres entspricht. Anhand der gepaarten Beispiele aus Aufnahme und tatsächlichem Genre lernt es mit der Zeit, korrektere Vorhersagen zu treffen.

Da CNNs in ihrer Beschaffenheit – insbesondere in Bezug auf die angesprochenen Filter – auf Bildeingaben optimiert sind, müssen die Audioaufnahmen so umgewandelt werden, dass das CNN sie genauso leicht wie ein Bild verarbeiten kann. Eine sehr verbreitete Methode hierfür ist die Berechnung des Betrags der schnellen Fourier-Transformation des Eingangssignals. Umgangssprachlich spricht man hier vom Spektrogramm der Aufnahme, wie man es zum Beispiel aus Restaurationssoftware wie iZotope RX kennt. Wer öfter Spektrogramme begutachtet, versteht, wie man Instrumente, Rhythmus und andere Bestandteile einer Aufnahme darin erkennen kann. Letzteres wird auch unser CNN lernen, indem wir es entsprechend trainieren. Dafür benötigen wir einen existierenden Datensatz, der sowohl aus Tonaufnahmen oder deren Spektrogramm besteht, und deren tatsächliche Genre-Klassifizierung, die beispielsweise von einem Menschen vorgenommen wurde. Typischerweise sind hier Datensätze in der Größenordnung mehrerer zehntausend bis hunderttausend Beispiele nötig, um stabile Ergebnisse zu erzielen.

Für das Training werden die Spektrogramme der Aufnahmen in unserem Datensatz dem CNN paketweise, in sogenannten Batches, als Eingabe verabreicht. Die vom CNN vorhergesagten Wahrscheinlichkeiten, dass die Aufnahmen in dem Batch einem jeweiligen Genre entsprechen, werden anschließend mit der tatsächlichen Genreklassifizierung aus dem Datensatz, Ground Truth genannt, verglichen. Aus der Abweichung der Vorhersage des CNNs vom tatsächlich richtigen Genre wird daraufhin über ein Verfahren namens Back Propagation berechnet, wie das CNN seine einzelnen Neuronen im Inneren aktualisieren muss, damit es beim Begutachten des nächsten Batch mit höherer Wahrscheinlichkeit das richtige Genre ausgibt. Dieser Prozess, in Abbildung 1 dargestellt, wiederholt sich über mehrere Iterationen, sogenannte Epochen, auf dem Trainingsdatensatz. Da es noch keinen Zusammenhang zwischen einer Tonaufnahme und dem korrekten Genre kennt, wird das CNN zu Beginn sinnlose Wahrscheinlichkeiten angeben. Nach und nach wird es allerdings verstehen, auf welche Aspekte in den Tonaufnahmen es seinen Blick, also seine Filter und Neuronen, schärfen muss, um eine hohe Wahrscheinlichkeit für das richtige Genre auszugeben. Tritt diese Erkenntnis ein, spricht man davon, dass das CNN konvergiert. Da es dabei selbst seine Neuronen im Inneren anpasst und ein nach außen hin verstecktes Verständnis dafür entwickelt, wie es unsere Aufgabe lösen kann, nennt man den Lernprozess Deep Learning. Da wir dem Modell explizite Lernbeispiele aus Eingabe, dem Spektrogramm, und erwarteter Ausgabe, dem richtigen Genre, präsentieren, spricht man zudem von Supervised Learning. Sofern unser Datensatz repräsentativ für andere Tonaufnahmen ist, ist unser CNN nach dem Training in der Lage, das Genre unbekannter Aufnahmen in Sekunden treffsicher zu klassifizieren, sofern sie in eines der gelernten Genres fallen.

Abbildung 3: Musikgenerierung mit Riffusion. Schritt für Schritt erzeugt das Modell das Spektrogramm einer Musikaufnahme zu der Texteingabe „funk bassline with a jazzy saxophone solo“. Das finale Spektrogramm wird dann wieder zurück in ein Zeitsignal umgewandelt. Quelle: Forsgren, Seth and Martiros, Hayk, 2022. „Riffusion – Stable diffusion for real-time music generation.“

Unabhängig von der gewählten Architektur haben die präsentierten Ansätze eines gemeinsam: Sie benötigen Unmengen an Daten, die für das Training erforderlich sind. Das stößt auf urheberrechtliche und ethische Probleme. Gerade bei großen Modellen ist es schwer, eine hohe Datenqualität zu gewährleisten und zu verifizieren, dass alle Daten aus rechtmäßigen Quellen stammen. Darüber hinaus ist nach dem Training nicht mehr nachvollziehbar, auf Basis welcher Daten ein Modell gelernt hat, bestimmte Ausgaben zu generieren. Gleichzeitig ist es schwer, vorherzusagen, wie viele neue Daten ein Modell braucht, um etwaige Fehler zu korrigieren, oder um neue Fähigkeiten zu lernen. Transparent AI ist deshalb ein neuer Fokus in der KI-Forschung, der darauf abzielt, die gelernten Strukturen in Deep-Learning-Modellen verständlich offenzulegen, um deren Entscheidungen besser nachvollziehen zu können. Verfolgt wird dieser Fokus allerdings primär in akademischen Kreisen, da sich wirtschaftlich noch keine direkten Vorteile daraus ableiten lassen und rechtliche KI-Rahmenbestimmungen fehlen. Dennoch gibt es für bestimmte Probleme eine Alternative zu großen Trainingsdatensätzen mithilfe des Reinforcement Learning. Hierbei lernt eine KI, meist allgemeingültiger „Agent“ genannt, nicht anhand vieler Beispiele, sondern anhand mathematischer Belohnungsfunktionen, eine Aufgabe zu lösen. Diese Funktionen vermitteln dem Agenten, welche Zustände für ihn erstrebenswert sind und welche Zustände er vermeiden soll. Möchte man etwa einem Roboter beibringen zu laufen, kann man eine Belohnungsfunktion implementieren, die einer KI für die entsprechende Motorik immer einen hohen Belohnungswert ausspricht, wenn der Roboter sich aufrecht fortbewegt. Die KI lernt ähnlich wie ein Kind, wie sie diesen Zustand erreicht, wie Gelenke und Motoren zu steuern sind, um aufrecht zu gehen. Dies alles passiert, ohne dass die KI jemals mit Beispielen anderer Gelenk- oder Motoreinstellungen anderer laufender Roboter konfrontiert wurde.

Abbildung 4: Der Feedbackkreislauf im Reinforcement Learning. Ein intelligenter Agent lernt, welche Aktionen er in welchem Zustand in seiner Umgebung ausführen muss, um seine Belohnung zu maximieren.

Die Vorteile des Reinforcement Learnings sind erheblich, denn man kann klar definieren, welche Szenarien herbeigeführt oder verhindert werden sollen, und durch kontinuierliche Verbesserung der Belohnungsfunktionen verbessert sich auch die KI fortwährend weiter. Die Schwierigkeit besteht in der mathematischen Definition der Belohnungen, da nicht für alle Probleme offensichtlich ist, auf welche Aspekte hin optimiert wird. Im Musikbereich ist „Masterchannel“ wohl deshalb auch eine der wenigen prominenten Plattformen, die diesen Ansatz erfolgreich im Mastering verfolgen, wie im Artikel „KI als Masteringwerkzeug“ beschrieben.