Con Espressione!
Mit dem Computerprogramm Con Espressione! kannst du den Unterschied zwischen einer ausdruckslosen, maschinenähnlichen Wiedergabe eines Musikstücks und einer “ausdrucksstärkeren" Interpretation erkunden, die von einer KI erzeugt wird. Diese KI wurde auf der Grundlage von hunderten aufgenommenen Aufführungen trainiert und kann in deiner eigenen Live-Veranstaltung zum Thema “Musik und KI” eingesetzt werden. Diskutiere die Dimensionen und die Qualität der musikalischen Ausdrucksfähigkeit - sowohl beim Menschen als auch bei einer KI!
Bei der Aufführung eines klassischen Klavierstücks steuerst du das Gesamttempo und die Lautstärke eines Tons über Handbewegungen. Im Hintergrund fügt ein Computermodell ("Basis Mixer") subtile Modifikationen zum Spiel hinzu. Du kannst die Werte des "Basis Mixers" über einen "KI-Schieberegler" bestimmen. Je höher der Wert des Schiebereglers ist, desto mehr Freiheit hat die Software, von den vorgegebenen Parametern abzuweichen. Das Computermodell passt die Lautstärke eines Tons, das Timing und die Artikulation der Noten so an, dass sie leicht von dem abweichen, was du vorgibst. Auf diese Weise wird die Darbietung lebendiger und weniger "mechanisch".
Technische Voraussetzungen
Die Software Con Espressione! besteht aus drei Teilen:
- Das User-Interface mit der Visualisierung der Handbewegungen und der aktuellen Spielparameter.
- Das Menü zum Auswählen der zu spielenden Komposition.
- Das Backend, das die Dynamik-, Tempo- und Zeitabweichungen auf die Noten der gewählten Komposition anwendet.
Die Software, Anweisungen zur Installation und Konfiguration sowie Hintergrundinformationen sind über ein Online-Repository verfügbar.
Das User-Interface sollte den Zuhörer*innen über einen Beamer oder einen großen Bildschirm gezeigt werden. Wir empfehlen einen kleinen Touchscreen für das Menü, es kann aber auch mit Hilfe einer Computermaus und einem normalen Bildschirm bedient werden.
Die Software wurde auf Apple Computern unter macOS und PCs unter Linux getestet. Während unserer Veranstaltungen wurde für den Betrieb der Software der Intel NUC 8 i5 mit 8 GB RAM und 120 GB SSD-Speicher verwendet.
Die Handsteuerung erfolgt mit dem Leap Motion Controller. Der KI-Schieberegler ist ein speziell entwickelter MIDI-Slider, aber jedes Hardware- oder Software-MIDI-Gerät, das MIDI-Steuerungsänderungen unterstützt, sollte ebenfalls geeignet sein.
Außerdem werden Lautsprecher oder Kopfhörer für die Audioausgabe benötigt.
Die Software wurde im Rahmen des Forschungsprojekts Con Espressione! von Prof. Gerhard Widmer und seinem Team von der Johannes Kepler Universität Linz/Österreich entwickelt.
Dein eigenes Event
Die folgenden Ideen lassen sich zu einem einzigartigen Live-Event kombinieren:
- Lade eine*n Pianist*in ein, die/der auf der Bühne klassische Musik spielt.
- Diskutiere über Expressivität, während du gemeinsam mit dem Publikum verschiedene Interpretationen desselben Liedes hörst und dessen Charakter beschreibst. Du kannst auch die Ergebnisse von zwei Experimenten zur Wahrnehmung des musikalischen Ausdrucks in einer interaktiven Visualisierung zeigen.
- Präsentiere Con Espressione! und lasse das Publikum selbst experimentieren. Die folgenden Stücke sind verfügbar:
- Ludwig van Beethoven, Bagatelle in a-Moll WoO 59 (Für Elise).
- Frédéric Copin, Etude Op.10 No.3 in E-Dur (Anfang).
- Ludwig van Beethoven, Piano Sonata Op.27 No.2 in cis-Moll (Mondscheinsonate), 1. Satz.
- Wolfgang Amadeus Mozart, Piano Sonata K.545 in C-Dur (Sonata Facile), 2. Satz.
- Diskutiere mit Musiker*innen, anderen geladenen Gästen und dem Publikum über musikalische Ausdrucksmöglichkeiten.
MUSKI-Veranstaltung in Heidelberg
Zusammen mit unseren Partnern der MAINS (Mathematik-Informatik-Station), organisierten wir die Veranstaltung "Con Espressione! Über Künstliche Intelligenz und lebendige Musik" am 23. Oktober 2022 um 11:00 Uhr in Heidelberg. Gerhard Widmer, Carlos Cancino Chacón und Kollegen von der Johannes Kepler Universität Linz gaben Einblicke in ihre Forschung zur musikalischen Expressivität. Sie stellten ihr neuestes Experiment vor, bei dem Maschinen mit Menschen kommunizieren und gemeinsam mit ihnen live musizieren können. Mit Unterstützung von Yamaha verwendeten wir dafür einen Computerflügel, auf dem auch die Software "Con Espressione!" präsentiert wurde und die Besucher*innen sie selbst ausprobieren konnten.
Gerne unterstützen wir dich bei der Planung deines Events und kündigen es über unser Netzwerk an! Gerne kannst du uns von deinen Erfahrungen bei eigenen Veranstaltungen berichten.
Externe Links
- Forschungsprojekt Con Espressione! (EN)
- Vortrag “Computer Accompanist: Breaking the Wall to Computational Expressivity in Music” von Gerhard Widmer auf der Veranstaltung Falling Walls Berlin (EN)
- Gerhard Widmer über ausdrucksvolle Musikinterpretation, den Bösendorfer CEUS, und ein MIDI Theremin (DE, Englische Untertitel)
- Forschungsprojekt Whither Music? Exploring Musical Possibilities via Machine Simulation (EN)
Hinweis
Die der Software Con Espressione! zugrunde liegende Forschung wurde/wird vom European Research Council (ERC) im Rahmen des Forschungs- und Innovationsprogramms European Union's Horizon 2020 von der Europäischen Union finanziert; Finanzhilfevereinbarungen Nr. 670035 ("Con Espressione") und 101019375 ("Whither Music?").
Autoren von Con Espressione!: Gerhard Widmer, Stefan Balke, Carlos Eduardo Cancino Chacón und Florian Henkel / Johannes-Kepler-Universität Linz, Institute of Computational Perception, Austria.
In Zusammenarbeit mit Christian Stussak, Eric Londaits und Andreas Matt (IMAGINARY).