Sonification: Vermittlungsansätze zwischen Klang und Information

Das Verhältnis von Klang und Information
In diesem Beitrag geht um das rätselhafte Verhältnis zwischen Klang und Information. Rätselhaft deshalb, weil zwischen der meist konkreten und persistenten „Information“ und dem meist unkonkreten, transitorischen „Klang“ kaum Verbindungen möglich erscheinen. Wir kennen ein Verhältnis zwischen beiden aus der Beziehung zwischen erklingender Musik und lesbarer Notenschrift. Auch wenn man kaum davon sprechen kann, dass beide eindeutig voneinander ableitbar wären, stehen sie in einem nachvollziehbaren Verhältnis. Dieses ist durch Regeln bestimmt, die durch die Musiklehre festgelegt ist: Zum Beispiel wissen wir dank einer allgemeinen Konvention, dass der Ton „d“ im Violinschlüssel auf der zweiten Linie von oben notiert wird, der Ton „h“ hingegen auf der dritten; ebenso gibt es Übertragungskonventionen für Zeitmaße, für Lautstärke, für klangliche Parameter und vieles andere. Trotz vieler Unschärfen bei der Übertragung gelingt es in der Regel, von einer Notation ein wiedererkennbares musikalisches Abbild zu erzeugen, während abweichende Wiedergaben unterschiedlichen Interpretationen zuzuschreiben sind. In diesem Beispiel werden also Regeln angewendet, um aus Informationen Klänge zu erzeugen. Wir sind gewohnt, dies als „Kunst“ oder „Unterhaltung“ zu betrachten und schreiben diesem Phänomen, dem wir den Namen Musik geben, eine enorme gesellschaftliche Bedeutung zu.

Eine Analogie: Visualisierungen
Visualisierung en von Informationen sind derzeit en vogue. Dabei erscheinen Visualisierungen, die sich am Konkreten orientieren – etwa Statistiken, Landkarten, Zeitleisten – fast schon überholt. Es gilt, neue Regeln der Informationsabbildung zu entdecken, die alternative Lesarten erlauben und über die konventionellen Übertragungen auf die typischen Kategorien Globus, Kalender und Diagramm hinausgehen. Von besonderem Interesse sind dabei Beziehungsgeflechte und multidimensionale Darstellungen, um damit nicht-metrische Parameter abbilden zu können. Die aus dem kreativen Umgang mit Daten entstehenden Abbildungen sind vielfältig und die Regeln ihrer Generierung im Grunde nur durch Vorstellungskraft begrenzt; zum Teil erwachsen daraus Grafiken von fast künstlerischer Qualität. Der Erkenntniswert dieser Abbildungen ist vielerorts noch auszuloten, das „Lesen“ in solchen Grafiken noch nicht kultiviert, aber zweifellos besteht ein großes Interesse daran, alternative Erkenntnismethoden zu erfinden und zu entdecken.

Hören und Sehen von Daten
Die Wahrnehmung wird allgemein durch den Sehsinn dominiert, während andere Sinne
stark zurückgedrängt sind oder auf bestimmte Vorgänge limitiert sind. Als wahr
gilt, was man mit eigenen Augen gesehen hat. Der Hörsinn hingegen dient zwar dem
Verstehen des gesprochenen Wortes und wird für den Genuss vielschichtig
arrangierter Musik eingesetzt, scheint aber für Erkenntnisvorgänge prinzipiell
nicht infrage zu kommen, da er emotional konnotiert ist und somit als völlig
subjektiv ausscheidet. Ein analytisches Hören ist zwar erlernbar, jedoch stellt
es sich gegen Konventionen oder ist Musikern vorbehalten. Zudem gilt die
Auffassung, dass Hörbares ohnehin besser visualisiert wird. Jedoch ist das
menschliche Gehör dem Sehsinn in einigen Punkten voraus: Es unterscheidet nicht
nur Tonhöhen, sondern auch Lautstärken, Tempo, Klangqualität etc., und ist
dadurch in der Lage, eine Vielzahl an Parametern gleichzeitig darzustellen; die
plötzliche Veränderung eines Parameters kann dabei eine starke Signalwirkung
hervorrufen. Außerdem ist das Gehör ein extrem granularer Sinn: Es nimmt z. B.
äußerst geringe zeitliche Abstände wahr, die mit dem Auge nicht mehr
nachvollziehbar sind (Hintergrund ist ein chemischer Prozess).
Wäre es denkbar, das Prinzip der Visualisierung – d. h. aus Information werden
erfahrbare Bilder – auf die Welt des Klanges zu übertragen, um die Möglichkeiten
des Hörsinns für die Datenexploration auszuschöpfen? Das hieße: aus
Informationen werden erfahrbare Klänge. „Ausgangspunkt dafür [für Sonifikation]
ist die Tatsache, dass der Hörsinn in vielen Fällen ein hohes Potenzial besitzt,
zum Sehsinn komplementäre Informationen auf einfache Weise zu vermitteln.“
(Grond / Schubert-Minski 2009).
Einfache Übertragungen von Information in Klang sind z. B. aus dem Morsecode oder
vom Geigerzähler bekannt; gut in Erinnerung dürfte außerdem das akustische
Einwahlsignal eines Modems sein. Diese Klänge gehorchen keiner Ästhetik, jedoch
müssen sie das auch nicht (um einen Satz von John Cage anzuwenden: „You don’t
have to call it music, if the term shocks you“). Klang und Informationen
verhielten sich dann ähnlich, nur abstrakter, wie Musik und Notation; Klang wäre
dann eine mögliche Darstellungsform von Information, nach vorher bestimmten
Regeln interpretiert.

Sonifikation
Die Idee der Sonifikation wird innerhalb des Technologiezweiges „Auditory Display“ ungefähr seit den 1990ern als Methode verfolgt (vgl. Flowers 2005). Eine von der
International Community for Auditory Display (ICAD) herausgegebene Definition der Sonifikation lautet: „Sonification [is the] use of nonspeech audio to convey information; more specifically sonification is the transformation of data relations into perceived relations in an acoustic signal for the purposes of facilitating communication or interpretation.“ (Schoon / Volmer 2012)

Sonifikation hat inzwischen das experimentelle Stadium verlassen und wird
erfolgreich eingesetzt, um komplexe Daten (Stichwort Big Data) effektiver
auswerten zu können (vgl. Kramer et al. 2010) . Dabei ist es auffällig, dass die
Nutzung in den Naturwissenschaften und in der Medizin bereits fortgeschritten
ist, in den Digital Humanities hingegen kaum repräsentiert ist, obwohl die
Methode grundsätzlich naheliegend wäre. Die bisher genutzten Verfahren
(Audifikation, Auditory Graphing u. a.) werden zu sehr unterschiedlichen Zwecken
eingesetzt (Schoon / Volmer 2012: 12); in der Regel werden die Sonifikationen
automatisch erzeugt, für mediale Zwecke werden sie manchmal aber auch live
produziert.
Eine „Einstiegsmethode“ ist dabei das Pitch Coding, bei dem Tonhöhen und
Codepoints einander zugeordnet werden. Dieses sehr einfache Verfahren lehnt sich
an die Logik der Notation an: hohe Werte werden als hohe Töne übertragen,
niedrige Werte als tiefe Töne. Als anschauliches (aber spielerisches) Beispiel
ist die Higgs Boson Sonification (Rao 2015) zu nennen,
bei der physikalische Messwerte in Tonwerte übertragen werden. Mehrdimensionales
Pitch Coding, bei dem parallele Prozesse modelliert werden, wurde in What climate change sounds like from the Amazon to the
Arctic (Reubold 2015) umgesetzt. Die Live-Umsetzung ist in diesen
Fällen lediglich als Kür anzusehen; den Live-Sonifikationen geht ansonsten
üblicherweise die rechnergestützte Modellierung voraus. Eine schnelle
rechnergestützte Umsetzung erlaubt z. B. das frei verfügbare Tool Sonification Sandbox (Walker 2009), welches das
Experimentieren mit mehreren klanglichen Dimensionen anhand einer Wertetabelle
erlaubt und sowohl über Kommandozeile als auch GUI steuerbar ist.
Über diese grundlegenden Verfahren hinaus gehen Verfahren, die mit
Nutzerinteraktivität arbeiten und neben einer visuellen Darstellung auch
akustische Rückmeldungen geben; dabei kann auch Sprache zum Einsatz kommen.
Diese Anwendungen zielen vor allem darauf, Personen mit eingeschränkter
Sehfähigkeit einen verbesserten Zugang zu Datenabbildungen zu ermöglichen,
allerdings sind die Verfahren auch für uneingeschränkt sehfähige Nutzer von
grundsätzlichem Interesse. Beispielsweise werden in der Sonification for Blind Users (Zhao et al. 2005) Stereo-Effekte für die
Umsetzung der geographischen Dimension genutzt. Von höchster Komplexität sind
schließlich Soundalgorithmen, die entsprechend der Datenveränderung Tempo und
Harmonie nach bestimmten Mustern verändern (Morreale et al. 2013).
Sonifikation führte tatsächlich bereits zu einigen wissenschaftlichen Erfolgen,
etwa bei der Analyse von Sonnenstürmen (Alexander 2012), wobei insbesondere die
akustische Darstellbarkeit der Granularität der Messdaten bei der Analyse
ausschlaggebend waren.

Eine Chance für die Digital Humanities
Das Verfahren der Sonifikation bietet für die Digital Humanities eine Alternative
zur Visualisierung, insbesondere im Hinblick auf die Abbildung zeitlicher,
räumlicher und paralleler Prozesse. Die Möglichkeiten der Sonifikation wurden
bislang nicht in dem gleichen Maße erschlossen und ausgeschöpft, wie es für
Visualisierung bereits im Gange ist. Daher besteht das dringende Desiderat,
Sonifikation als in den Naturwissenschaften bereits etabliertes Verfahren
endlich auch in den Digital Humanities zu erproben und ihr Potenzial zu
entdecken. Der Vortrag gibt einen Überblick über die Methoden und erörtert
Anwendungsmöglichkeiten an verschiedenen Beispielen.

Bibliographie

Alexander, Robert (2012): „How A Solar Storm Sounds –
Particle Sonification Video“, in: Space.com
http://www.space.com/14897-solar-storm-sounds-particle-sonification-video.html
[letzter Zugriff 15. Oktober 2015].

Flowers, John H. (2005): „Thirteen years of reflection
on auditory graphing: Promises, pitfalls, and potential new directions“, in:
Proceedings of the 11th International Conference on
Auditory Display (ICAD2005) 406–409 http://www.icad.org/Proceedings/2005/Flowers2005.pdf [letzter
Zugriff 15. Oktober 2015].

Grond, Florian / Schubert-Minski, Theresa (2009):
„Sonifikation“ http://see-this-sound.at/kompendium/abstract/70 [letzter Zugriff
15. Oktober 2015].

Hermann, Thomas / Hunt, Andy / Neuhoff, John G. (2011):
The Sonification Handbook. Berlin: COST / Logos.

Kramer, Gregory / Walker, Bruce / Bonebright, Terri / Cook,
Perry / Flowers, John H. / Miner, Nadine / Neuhoff, John (2010):„
Sonification Report: Status of the Field and Research Agenda“, in: Faculty Publications, Department of Psychology, University
of Nebraska
http://digitalcommons.unl.edu/psychfacpub/444 [letzter Zugriff
15. Oktober 2015].

Morreale, Fabio / Masu, Raul / De Angeli, Antonella
(2013): "Robin: An algorithmic Composer for Interactive Scenarios", in: Proceedings of the Sound and Music Computing Conference
2013 (SMC 2013) 207–212.

Rao, Achintya (2015):
„What would the Higgs discovery sound like as a heavy-metal song? “ , in: The Cylindrical
Onion
http://cylindricalonion.web.cern.ch/blog/201504/what-would-higgs-discovery-sound-heavy-metal-song
[letzter Zugriff 15. Oktober 2015].

Reubold, Todd (2015): „What climate change sounds like
from the Amazon to the Arctic“, in: Ensia
http://ensia.com/videos/what-climate-change-sounds-like-from-the-amazon-to-the-arctic/
[letzter Zugriff 15. Oktober 2015].

Schoon, Andi / Volmar, Axel (2012): Das geschulte Ohr. Eine Kulturgeschichte der Sonifikation.
Bielefeld: Transcript.

Walker, Bruce N. (2009): Sonification
Sandbox. Atlanta: Georgia Institute of Technology, http://sonify.psych.gatech.edu/research/sonification_sandbox/
[letzter Zugriff 15. Oktober 2015].

Zhao, Haixia / Plaisant, Catherine / Shneiderman, Ben
(2005): iSonic: Interactive Data Sonification for
Blind Users, University of Maryland
https://www.youtube.com/watch?v=8hUIAnXtlc4 [letzter Zugriff 15.
Oktober 2015].