Im Interview erörtert Andrew Paley die Beziehung zwischen Musik und Künstlicher Intelligenz (KI) und untersucht, wie sie sich gegenseitig beeinflussen und welchen potenziellen Einfluss sie auf künstlerische Bestrebungen haben können.

Warum interessieren Sie sich sowohl für Musik als auch für künstliche Intelligenz und wie beeinflussen sich diese Bereiche gegenseitig?

Andrew Paley: Beide Bereiche sind auf ihre Weise sehr kreativ – beide beinhalten den Einsatz eines Instruments, sei es ein musikalisches oder ein statistisches, das dabei hilft, eine Idee zu formen und in gewissem Sinne daran mitzuwirken, dass sie auch umgesetzt wird. Und in beiden Fällen kann es sein, dass man einen Blitz in einer Flasche einfängt – eine gewisse Spontanität, die in einem Medium festgehalten wird.

Wie beeinflussen sie sich gegenseitig? Nun, es könnte direkt sein – indem man KI nutzt, um Klänge oder Audiomuster zu erzeugen – oder indirekt, wie bei jeder anderen Kunst, indem man eine Stimmung erzeugt oder eine Idee inspiriert. Auf der anderen Seite gibt es die Möglichkeit der Vermischung – ich bin fasziniert davon, Audiosignale zu erforschen und in generative Modelle zu leiten, um zu sehen, welche Art von Bildern (und andere Medien) hervorgerufen werden können. Und ich denke, mit der Zeit besteht die Möglichkeit einer dynamischeren, direkteren und flüssigeren Zusammenarbeit zwischen den beiden Räumen in allen möglichen Formen.

Können Sie uns mehr über Ihre Erfahrungen und Ihren Beitrag zum Einsatz von KI bei der Erstellung von Inhalten erzählen, insbesondere bei Narrative Science und Storyline? Wie sehen Sie die Entwicklung von KI in der Medienbranche und welche Chancen und Herausforderungen ergeben sich daraus?

Andrew Paley: Sowohl bei Narrative Science als auch bei Storyline habe ich mich für den Einsatz von KI eingesetzt, um die Art und Weise, wie Menschen auf Informationen zugreifen und die Welt um sie herum verstehen, neu zu gestalten. Bei Narrative Science haben wir uns voll und ganz auf die Generierung von Sprache und Dokumenten konzentriert, und ich habe meine Zeit dort als Ingenieur und Designer damit verbracht, unsere Plattform innovativ zu gestalten, um sie leistungsfähiger und zugänglicher zu machen. Nach einer gewissen Zeit, in der ich an meiner Doktorarbeit gearbeitet habe, habe ich Storyline mitbegründet, um etwas Größeres zu erforschen.

Der Journalist in mir interessiert sich am meisten für das Medium, das als Schnittstelle für menschliche Informationen am effektivsten ist, und angesichts der Entwicklungen im Bereich der künstlichen Intelligenz in den letzten zehn Jahren gibt es eine ganze Reihe von Möglichkeiten, unsere Beziehung zum Wissen auf sinnvolle Weise zu verbessern. Diese Schnittstelle steht im Mittelpunkt unserer Arbeit bei Storyline, wobei wir uns um Klarheit und Vertrauen bemühen, und ich bin begeistert von dem, was wir aufbauen.

Abgesehen davon stellt die künstliche Intelligenz natürlich eine Herausforderung für Medien und Informationen dar. Ein wesentliches Problem ist die Möglichkeit bzw. Unvermeidbarkeit, dass Online-Räume ohne vertrauenswürdige Informationen bleiben. Wenn jede Art von Medien überzeugend generiert werden kann – Texte, Bilder, Videos, Töne -, wird es in digitalen Räumen einen ständigen Kampf zwischen einer ständig wachsenden Flut von Unsinn und Fehlinformationen und dem Bruchteil an Wahrheit geben, den man für sich herausholen kann. Durch Rückkopplungsschleifen wird dies natürlich noch schlimmer. Und das ist nur eine Randbemerkung zum Potenzial dieser neuen Werkzeuge, absichtliche Desinformation zu verstärken und uns proaktiv die Aufmerksamkeit und Handlungsfähigkeit anderer Menschen zu rauben, was an sich schon eine große Bedrohung darstellt.

Können Sie uns mehr über Ihren kreativen Ansatz bei der Verwendung von KI zur Erstellung von Musikvideos erzählen und wie sich dies auf die Musikproduktion und Kreativität auswirken könnte?

Andrew Paley: Ich betrachte diese neuen Modelle einfach als eine neue Gruppe von Mitarbeitern und Werkzeugen, mit denen man Ideen erforschen kann. In gewisser Weise ist das Verständnis für die Arbeit mit ihnen wie das Erlernen eines anderen Instruments – niemand konnte gut Gitarre spielen, bevor die Gitarre erfunden wurde. Meine Musikvideoexperimente waren eine Möglichkeit, die Grenzen des Möglichen auszutesten – mit diesen neuen Bausteinen herumzuspielen, um zu sehen, was die Maschine und ich uns gemeinsam ausdenken können.

Manchmal war es eher maschinengesteuert – die Pixie-App, die ich 2020 entwickelt habe, generierte Bilder, aus denen ich auswählen und bei der Sequenzierung helfen konnte, und generierte dann daraus Animationen. Das Video „Sequels“ erforderte eine enorme Menge an manueller Bearbeitung, wobei die Modelle lediglich für die Neusynchronisierung der Clips und die Hochskalierung der Ergebnisse sorgten.

In neueren Experimenten lasse ich Songtexte durch verschiedene Modelle laufen, die ich herunterladen und orchestrieren kann (z. B. Stable Diffusion), um zu sehen, welche Art von Bildern sie hervorrufen, und ich beginne zu erforschen, wie ich aus den Ergebnissen in maschinengenerierten Animationen kohärentere Bilder erzeugen kann.

Und das sind alles nachgelagerte Bereiche, die die Musikproduktion und die Kreativität beeinflussen werden – vom Songwriting über die Sample-Erzeugung und die Instrumentierung bis hin zu Effekten, Abmischung und Mastering – der gesamte Workflow wird im Jahr 2025 für jemanden, der im Jahr 2015 arbeitet, nicht mehr wiederzuerkennen sein. Es ist eine unglaublich aufregende Zeit, in der wir uns an der Grenze zwischen Kreativität und Computern bewegen, und ich glaube, wir stehen erst am Anfang unserer Erkundungen, wie die Zukunft der Kunst aussehen könnte. 

Wie nutzen Sie KI, um den künstlerischen Ausdruck zu erweitern und die traditionellen Grenzen von Musik und Video zu verschieben, wie in Ihrer Musik beschrieben?

Andrew Paley: Ich denke, dass ich vor allem versuche, mich in die Tools hineinzuversetzen, um zu sehen, ob ich ihnen etwas entlocken kann, das ich für sinnvoll halte. Das ist im Grunde die gleiche Art und Weise, wie ich überhaupt zur Musik gekommen bin (das Erstellen von Klanglandschaften mit dem Casio-Keyboard meines Vaters in der Grundschule war meine Einstiegsdroge).

Zum Teil sehe ich es einfach als Chance, umherzuwandern und zu erforschen – es ist ein wilder Ritt, selbst wenn man mit nichts zurückkommt, was man vorzeigen kann – und manchmal verfolge ich einen Faden lange genug oder tief genug, dass ich auf etwas stoße, das es wert ist, daran festzuhalten. Und, wie ich schon sagte, sind die aktuellen Inkarnationen in gewisser Weise einfach eine neue Art von Instrument – und jedes Mal, wenn man auf ein neues Instrument stößt, erweitert man seine eigenen Grenzen, indem man sich einfach hinsetzt und spielt.

Wie sehen Sie die Rolle der künstlichen Intelligenz in der Musikindustrie und wie könnte sie die Art und Weise verändern, wie Musik produziert, verbreitet und konsumiert wird?

Andrew Paley: Eine große Sorge ist die anhaltende Entwertung des Mediums Audio. Es ist schwer zu sagen, wohin das alles führen wird, aber wenn diese neuen Tools den Künstlern die Möglichkeit geben, Ideen zu erforschen, dann bin ich dafür. Wenn wir uns jedoch auf eine Ära unendlich generierter, ständig personalisierter Wiedergabelisten mit Musik zubewegen, die so klingt, wie man sie mag, dann ist das nicht nur eine Bedrohung für die Künstler, die in diesem Bereich arbeiten, sondern klingt auch wie eine Art Hölle.

Für mich besteht der ganze Sinn von Musik darin, dass Songs eine Flaschenpost sind – es gibt etwas Wichtiges über die Ideen und die Kämpfe und die Freuden und das Bindegewebe und die Absicht, die darin eingewickelt sind – und wenn Musik jemals vollständig übernommen und überzeugend auf einen algorithmischen Prozess der Mittelwertbildung über frühere Werke mit einem bisschen Variabilität als Zugabe reduziert werden sollte, gleich nachdem ich fertig damit bin, von der Technologie beeindruckt zu sein, würde ich es als eine Art Tragödie betrachten.

Und dann ist da noch das soziale Element – die Kulturen haben schon genug mit dem sozialen Zusammenhalt zu kämpfen, aber die Gemeinschaften, die sich um Stile und Szenen, Clubs und Bands bilden, sind zu wertvoll, um sie zu verlieren. Das ist etwas, worauf ich mich die meiste Zeit meines Lebens verlassen habe.

Wie können Sie KI in der Musikproduktion einsetzen und wie beeinflusst dies Ihre künstlerische Vision, insbesondere in Bezug auf Ihre Veröffentlichungen auf Spotify?

Andrew Paley: Nun, es ist offensichtlich, dass mit mehr Werkzeugen auch mehr Arbeit möglich ist. Und hier muss ich unterscheiden zwischen den Dingen, die ich selbst baue oder zusammenschustere, und denen, die ich von der Stange verwende. Ich für meinen Teil tendiere dazu, den Kernprozess des Songwritings frei von direkter KI-Beteiligung zu halten, zumindest bis jetzt. Im Anschluss daran nutze ich jedoch eine Reihe von Plugins, die maschinelles Lernen einsetzen, um den Prozess zu erweitern und zu beschleunigen.

NeuralDSP-Plugins sind ein großartiges Beispiel – die Idee, dass ich mit meinem Laptop buchstäblich von überall aus einen fantastischen Verstärkersound mit einer Signalkette aus Effekten und Boxen-/Raumklang erzeugen kann, hat das Spiel verändert. Der Unterschied zwischen den Gitarrensimulationen von vor fünf Jahren und heute ist unfassbar.

Wenn man etwas weiter in die Zukunft blickt, gibt es viele Möglichkeiten, die Grenzen zu verschieben, von KI-Kollaborateuren während des Songwriting- und Ideenfindungsprozesses, die mit einem zusammen eine Idee ausarbeiten können, über Assistenten, die bei der Patch-Auswahl und dem Überlagern von Effekten während des Arrangements helfen, bis hin zur Erforschung von Autoencoder-Modellen, die darauf abzielen, Stimmen zu verändern, um realistische Backing-Chöre zu schaffen, die von einem einzelnen Sänger orchestriert werden (ich habe neulich tatsächlich versucht, mit etwas in diesem Bereich herumzuspielen).

Aber auch hier ist es mir wichtig, dass der Mensch im Prozess eine Rolle spielt – wenn der Mensch nicht im Mittelpunkt dieser Reihe von Werkzeugen und Maschinen steht, dann bin ich wahrscheinlich nicht sonderlich interessiert.
Und dann ist da natürlich noch die visuelle Komponente. Hier hat mir die maschinelle Zusammenarbeit bisher am meisten Spaß gemacht – von der thematischen Ideenfindung bis hin zur Erstellung der bereits erwähnten Musikvideos.

Wie gehen Sie mit ethischen und sozialen Fragen im Zusammenhang mit dem Einsatz von KI in der Kunst um, und welche Überlegungen sind für Sie wichtig, wenn es um den Einsatz von KI in Ihrer kreativen Arbeit geht?

Andrew Paley: Wenn mehr Möglichkeiten zur Verfügung stehen und mehr Ideen von mehr Menschen umgesetzt werden können, halte ich das für eine unbestreitbar gute Sache. Allerdings haben wir noch nicht damit begonnen, uns ausreichend Gedanken darüber zu machen, wie wir mit diesen neuen Möglichkeiten umgehen werden, wenn wir sie auf ihre logische und technologische Spitze treiben. 

Es stellt sich natürlich die Frage, was mit den Schöpfern geschieht, wenn die Modelle den größten Teil oder die gesamte Schöpfung übernehmen können. Der Streik der Drehbuchautoren in Hollywood, während ich diese Zeilen schreibe, hat zum Teil mit dieser Debatte zu tun – was passiert, wenn die Studios Sprachmodelle nutzen können, um von der Einstellung von Autorenteams zu einem einzigen Redakteur überzugehen, der den Output der Maschine bereinigen kann? Und was, wenn das Publikum den Unterschied gar nicht bemerkt?

Ganz zu schweigen von dem, worauf diese Modelle eigentlich trainiert sind – menschliche Ideen, menschliche Kreationen, menschliches Material.

Es gibt keine wirklich gute Möglichkeit, nachzuvollziehen, wie einzelne menschliche Beiträge in hybride Ergebnisse einfließen, aber es scheint einen wachsenden Chor zu geben, der sagt, dass wir vielleicht die Mythologisierung der KI reduzieren und sie eher als eine neue Art von Mashup der Menschheit in unendlich synthetisierbaren Formen sehen sollten – es sind schließlich unsere Daten da drin.

Vielleicht können wir uns stromabwärts neu vorstellen, wie individuelle Schöpfer Anerkennung für ihren Beitrag zur Information des großen Himmelsgehirns erhalten könnten (eine Form der „Datenwürde“, für die Jaron Lanier und andere eintreten), aber ich halte nicht den Atem an, und ich bin mir auch nicht sicher, wie das über das hinausgehen könnte, wo wir uns bereits befinden (wenn wir überhaupt in der Lage wären, es jemals zu implementieren, was an sich schon eine beachtliche Leistung ist).

Auf der anderen Seite denke ich, dass die Gefahr besteht, dass – insbesondere mit dem Fortschreiten dieser Technologien – die unendlichen, persönlich zugeschnittenen Möglichkeiten von On-Demand-Erlebnissen die Bedeutung der Kunst als menschliche Kommunikation abschwächen und die Vorstellung, dass wir uns zu Tode amüsieren könnten, sehr real wird.

Wie sehen Sie die Zukunft der Musik im Zusammenhang mit künstlicher Intelligenz und technologischen Fortschritten? Welche Entwicklungen und Innovationen erwarten Sie und wie könnten sie die Musiklandschaft verändern?

Andrew Paley: Ich denke, es gibt hier zwei Hauptthemen (mit einigen Überschneidungen) – die Nachahmung von Musik und die Entwicklung von Werkzeugen zur Zusammenarbeit für Musiker und Produzenten.Was die Nachahmung angeht, so wird bereits unglaublich beeindruckende Arbeit geleistet, und die Möglichkeiten sind grenzenlos – ich denke, wir werden weiterhin immer überzeugendere „Deep Fakes“ von Musikern in einer Vielzahl von Genres sehen.

Im Bereich der kollaborativen Tools sind die potenziellen Anwendungen endlos – von Begleitungen über Effekte bis hin zu Mischassistenten, die erste Takes zusammenstellen können. Schon allein die Möglichkeiten, die sich durch die Bereitstellung von Frontends zur Beschleunigung von Arbeitsabläufen ergeben, sind aufregend – die Beschreibung eines Signalflusses in einem Satz und die Bereitstellung eines Kanalzugs mit verschiedenen Plugins, die auf die jeweilige Anforderung abgestimmt sind, würde das Experimentieren mit Sounds und Ideen grundlegend verändern.

Aber was mir am meisten am Herzen liegt, sind die Menschen, die im Mittelpunkt all dieser neuen Möglichkeiten stehen. Wir befinden uns an einem Scheideweg, wenn es darum geht, wie künftige Generationen Kunst und Ausdruck verstehen werden, und der Kommerz könnte leicht die Oberhand über uns gewinnen, wenn wir nicht vorsichtig sind.

Wir bedanken uns bei Andrew Paley für das Interview

Aussagen des Autors und des Interviewpartners geben nicht unbedingt die Meinung der Redaktion und des Verlags wieder.