Showtime – sehen und gesehen werden! Erzeugung semantischer (Spiel-)Räume für kollaboratives Arbeiten mit multimedialen Annotationen im Mehrdimensionalen

Zusammenfassung
Dieser Workshop soll seinen Teilnehmerinnen und Teilnehmern aufzeigen, wie sie für ihre Forschung relevante multimediale Objekte (3D-Modelle, Bilder, Sounds und Videos) für kollaboratives interdisziplinäres Arbeiten online bereitstellen, durch Annotationen mit Informationen anreichern und untereinander verknüpfen können. Einerseits steht dabei das Präsentieren der Objekte, andererseits das Sammeln von Informationen zu diesen im Vordergrund. In der praktischen Umsetzung wird hierfür das browserbasierte open-source Tool Kompakkt (https://kompakkt.de) eingesetzt, welches an der Universität zu Köln entwickelt und Mitte des Jahres 2019 veröffentlicht wurde. Es bietet seinen Nutzerinnen und Nutzern einen beinahe spielerischen Interaktionsraum, in dem die Objekte über einen modernen Webbrowser bereitgestellt, kollaborativ exploriert, erforscht und annotiert werden können. Kompakkt nutzt die 3D-Darstellung eines Objekts als Ausgangspunkt für das Sammeln heterogener Informationen, die durch den Einsatz von multimedialen Annotationen entstehen. Annotationen dienen dabei als flexible (Meta-)Daten, die die klassische Erfassung der Informationen erweitern.
Durch individuelle und geteilte Sammlungen von multimedialen Objekten ermöglicht die Software eine neuartige Lösung zum kollaborativen Sammeln und Erzeugen von Informationen. Mittels Annotationen können sowohl textuelle Beschreibungen als auch Objekte als Annotationsinhalt angefügt werden. Anhand dieser können entsprechend Verbindungen zwischen Objekten aufzeigt und Netzwerkstrukturen erstellt werden. Darüber hinaus hebt die Erstellung von Annotationen im dreidimensionalen Raum die zu einer Annotation zugehörige Perspektive auf eine neue Weise hervor: Annotationen sind nicht nur mit einer bestimmten Position im Raum in Relation zu einem Objekt, sondern auch mit der vom Nutzer oder von der Nutzerin gewählten Perspektive verknüpft. Das Festlegen der Reihenfolge von Annotationen eines Objekts wird in Kompakkt dazu genutzt, dass man sich von einer Annotation und der entsprechenden Perspektive zur einer anderen bewegen kann. Die resultierenden interaktiven Kamerafahrten implizieren dann die geführte Bewegung in der Zeit durch den Raum. Dies ermöglicht neue Wege der Präsentation bis hin zum annotationsbasierten Storytelling. Die beschriebene Funktionalität ermöglicht zudem das Erstellen von Bewegungspfaden in VR- und AR-Betrachtungen. Ein 3D-Objekt und dazugehörige Annotationen in der virtuellen oder erweiterten Realität betrachten zu können, bringt eine besondere Qualität in den Interaktionsraum, die es noch zu erforschen gilt. Unter anderem soll dies als eine der zentralen Ausgangsfragen des Workshops diskutiert werden. Das Ziel ist es hierbei, die Möglichkeiten der webbasierten 3D-Anwendungen zu evaluieren, während neue Erkenntnisse und Anwendungsbereiche aus interdisziplinärer Sicht generiert werden.

Finger weg! Damit spielt man nicht.
Physische Objekte können einen zentralen Anknüpfungspunkt für den Austausch und das Erzeugen von Wissen unterschiedlichster Art darstellen. Die Betrachtung eines Gegenstandes aus divergenten Perspektiven eröffnet dabei neue Blickwinkel und kann somit zum Erkenntnisgewinn beitragen. Dies gilt in Bezug auf die Darstellung räumlicher Verhältnisse, aber auch im bildungssprachlichen Sinn, und meint hier konkret multiple wissenschaftliche Perspektiven. 
Eine physische Interaktion mit relevanten Objekten ist in vielen Fällen – insbesondere mit wertvollen historischen Artefakten – nicht möglich, da sie dabei beschädigt werden können. Für viele Arten von Objekten birgt dieser Umstand die Gefahr, dass sie ihren interaktiven Kontext verlieren, und zwar auch dann, wenn er ein wichtiger Bestandteil ihrer kulturellen Energien war. Dies trifft besonders zu, wenn der Untersuchungsgegenstand ein zur interaktiven Nutzung geschaffenes Objekt ist. Die Materialität des Objekts kann hiermit dazu beitragen, dass die Objekte zum einen de-kontextualisiert werden, zum anderen aus physikalischen Gründen nur eingeschränkt erreichbar sind. Manuelle Rekonstruktionen kulturhistorischer Objekte sind oft zu teuer, und solche Rekonstruktionen sind – genauso wie die ursprünglichen Objekte –, nicht unbedingt jenseits ihres festgelegten eingenommenen physischen Standorts off-site erreichbar.
Nicht immer ist aber die Haptik und physische Präsenz eines Objektes für die Forschung und den Erkenntnisgewinn ausschlaggebend, sodass ein 3D Modell, welches das Objekt repräsentiert und abbildet, sowohl einen anderen Zugang als auch eine ähnliche Annäherung zu dem Objekt gewährleisten kann. Die Voraussetzung dafür ist, neben einer adäquaten Abbildung, die Fähigkeit zur effizienten Exploration eines solchen. Die Erstellung dreidimensionaler Objekte, die durch den Modellierungsprozess selbst zum Erkenntnisgewinn beitragen kann, ist dank der technischen Möglichkeiten mit immer geringerem finanziellem, arbeitsintensiven und zeitlichen Aufwand möglich; zeitgemäße Webtechnologien und Programmierschnittstellen (API) wie WebGL und WebXR  ermöglichen zudem eine Darstellung multimedialer Objekte im Webbrowser ohne Installation eines externen PlugIns. Digitale 3D-Modelle können durch ihre Verfügbarkeit als Objekte im Netz eine deutliche größere Verwendergruppe erreichen. 

Hands-on: Kompakkt
Der Fokus dieses Workshops ist auf die praktische Arbeit mit Kompakkt gerichtet. So lernen die Teilnehmerinnen und Teilnehmer der Veranstaltung, 3D-Objekte mitsamt ihrer Metadaten in das Objektrepositorium einzupflegen und online bereitzustellen. Zum anderen führt der Workshop ein in die Erstellung multimedialer Annotationen und geführter Touren durch interessante Aspekte des mit Kompakkt annotierten Objektes; die Teilnehmerinnen und Teilnehmer sind dazu eingeladen, eigene 3D-Objekte (falls vorhanden) einzusetzen. Zudem ist bereits eine Vielzahl von 3D-Objekten, die für unterschiedliche Disziplinen von Interesse sind, frei online und im Kompakkt-Repository verfügbar, die ihre Verwendung im Workshop finden können. Auch Bilder (ebenfalls annotierbar), Sounds und Videos sollen zum Einsatz kommen.
Multimediale Objekte werden von Kompakkt im dreidimensionalen Raum dargestellt, die Interaktionsmöglichkeiten werden dabei individuell auf das Objektmedium angepasst: 3D-Modelle lassen sich wie gewohnt auf x-, y- und z-Achse im kartesischen Koordinatensystem bewegen und rotieren, Rastergraphiken lassen sich horizontal und vertikal verschieben, Audioströme werden über einen interaktiven Platzhalter und Steuerelemente zugänglich gemacht. Zahlreiche Objekte, die in Kompakkt bereitgestellt werden, verweisen auf ein physisches Objekt (das Original). Andere Objekte sind ausschließlich digitaler natur und können nicht einmal in die Welt außerhalb von Computern und Projektionen übersetzt werden – Objekte wie z.B. CGI-Elemente, die in Kino, Theater oder anderen Kunstformen verwendet werden. Kompakkt akkumuliert solch unterschiedlichste Objekte und referenziert sie nicht ausschließlich, somit wird eine unmittelbare Interaktion mit den Objekten ermöglicht. Neben der Angabe allgemeiner standardisierter Metadaten, die sich auf das Objekt als Ganzes beziehen und über eine Schnittstelle zur Eingabe von Metadaten während des Upload-Prozesses gesammelt werden, besteht mit der Annotationsfunktionalität eine weitere Möglichkeit, den Datensatz zu erweitern.
Für das Erstellen einer  Annotation wird durch einen Doppelklick auf die Oberfläche eines Objektes zunächst eine Markierung gesetzt. Der ausgewählte Punkt im Raum, relativ zum Objekt wird anschließend gespeichert und die weitere Bearbeitung der Annotation initialisiert. Der erstellte Referenzpunkt der Annotation wird in Kompakkt durch einen kleinen 2D-Kreis visualisiert. Dieser zeigt  eine Zahl, die zusätzlich den Rang in der geordneten Liste von objektbezogenen Annotationen wiedergibt. Außerdem wird die durch die Nutzerin oder den Nutzer eingenommene Kameraeinstellung und Perspektive zum Zeitpunkt der Erstellung der Annotation erfasst und. Die wiederherstellbare Benutzerperspektive wird somit Teil der Annotation selbst und ist grundlegend für die Funktionalität, eigene sogenannte Walk-Throughs durch den virtuellen Raum  zu erstellen. Dafür werden zusätzliche Steuerelemente im Benutzerinterface bereitgestellt, wenn ein Objekt über mehr als eine Annotation verfügt. Die Walk-Through Funktionalität ermöglicht es den Anwenderinnen und Anwendern, mit einer animierten Kamerafahrt von einer Annotation zur anderen zu navigieren und neben den entsprechend angefügten Informationen auch die verschiedenen Perspektiven der unterschiedlichen Annotationen zu explorieren.
Eine Annotation verfügt über einen Annotationstitel und einen Annotationsinhalt, der textuelle und multimediale Objekte aufnehmen kann – multimediale Objekte wie Texte, Bilder, 3D-Modelle oder Audiodateien aus dem Kompakkt-Repositorium oder Hyperlinks zu externen Webressourcen. Verfügt die Annotation über keinen Inhalt, so ist sie dennoch gebunden an die Nutzerperspektive und ermöglicht geführte Touren durch das Objekt, wie sie zuvor referiert wurden. Der Inhalt einer Annotation wird in einem HTML-Element dargestellt, das dynamisch neben der Markierung der Annotation positioniert wird. Selbst wenn sich die Kamera um das Objekt herum bewegt, werden der ausgewählte Punkt und der Körper der Annotation korrekt positioniert. 
Als ein weiteres zentrales Feature der Webanwendung Kompakkt stellt sich die Möglichkeit dar, kollaborativ an Objekten zu arbeiten. So können Nutzerinnen und Nutzer andere Nutzer einladen, gemeinsam ein Objekt zu annotieren. Die Änderungen können von allen mitarbeitenden Benutzerinnen und Benutzern beobachtet werden. Derzeit wird an einem Feature gearbeitet, dass die kollaborierenden Nutzerinnen und Nutzer in Echtzeit visuell über Annotationen informiert, die von anderen online erstellt, bearbeitet oder entfernt werden. Registrierte Benutzer sind eingeladen, annotierbare Sammlungen von Objekten aus dem Repository zu erstellen. Eine Sammlung enthält alle relevanten Materialien, um mit der Annotation eines Objektes zu beginnen: Das Objekt selbst, darüber hinaus jedoch auch Objekte, die als Teil einer Annotation verwendet werden sollen. Der Zugriff auf eine Sammlung lässt sich individuell gestalten. So können Sammlungen privat, eingeschränkt sichtbar oder für alle Benutzer des Systems zugänglich sein. Neben bereits im Repository vorhandenen Objekten ist es Benutzerinnen und Benutzern möglich, eigene Objekte bereitzustellen, die in Annotationen verwendet werden können. Sowohl einzelne Objekte als auch Sammlungen lassen sich mit ihren Annotationen per Iframe auf externen Webseiten einbetten.
Mit seiner Kernfunktionalität bietet Kompakkt den Teilnehmerinnen und Teilnehmern des Workshops eine leicht zugängliche und leistungsstarke Anwendung, um multimediale Objekte bereitzustellen, kollaborativ zu annotieren und mit der Walk-Through Komponente eigene Narrationen zu realisieren – Narrationen, die den Fokus auf Aspekte des betrachteten Objektes lenken. Narrationen, die interessant und relevant in Forschung und Lehre sind.

Veranstaltungsdetails

Dauer: ein halber Tag
Maximale Teilnehmerzahl: 25
Benötigte technische Ausstattung: Computer-Lab oder eigener Computer (Laptop) mit einem darauf installierten modernen Webbrowser (aktuelle Version von Chrome oder Firefox) und ein ständiger Internetzugang.

Kontaktdaten & Forschungsinteressen der Beitragenden

Institut für Digital Humanities
Universität zu Köln
info@dh.uni-koeln.de
Albertus-Magnus-Platz
D-50931 Köln
+49 221 470-4430

https://idh.uni-koeln.de

Prof. Dr. Øyvind
Eide (oeide@uni-koeln.de) ist Professor für Digitale Geisteswissenschaften an der Universität zu Köln. Er wurde am King's College London (2013) in Digital Humanities promoviert. Von 1995 bis 2013 war er als Mitarbeiter in verschiedenen Positionen an der Universität Oslo tätig und beschäftigte sich mit digitalen Geisteswissenschaften und der Informatik im Kontext des kulturellen Erbes. Von 2013 bis 2015 war er Dozent und wissenschaftlicher Mitarbeiter an der Universität Passau. Er war 2016–19 Vorsitzender der European Association for Digital Humanities (EADH) und engagiert sich zudem aktiv in mehreren internationalen Organisationen wie ICOM's International Committee for Documentation (CIDOC). Seine Forschungsinteressen konzentrieren sich auf transformative digitale Intermedia-Studien, wobei er die kritische schrittweise Formalisierung als Methode zur konzeptionellen Modellierung von Informationen über das kulturelle Erbe verwendet. Dies wird als Werkzeug für die kritische Auseinandersetzung mit medialen Unterschieden eingesetzt, insbesondere mit den Beziehungen zwischen Texten und Karten als Kommunikationsmedien. Er beschäftigt sich auch mit theoretischen Studien zur Modellierung in den Geisteswissenschaften und darüber hinaus.

Kai Michael
Niebes (kai.niebes@uni-koeln.de) ist Software-Entwickler am Institut für Digital Humanities der Universität zu Köln. Seine Forschungsinteressen bestehen aus Machine Learning, moderner Webentwicklung und Datenbanktechnologien.

MA Zoe Schubert (zoe.schubert@uni-koeln.de) ist wissenschaftliche Mitarbeiterin, Software-Entwicklerin und Dozentin für Medieninformatik und Informationsverarbeitung am Institut für Digital Humanities der Universität zu Köln. Sie leitet dort das Projekt "Lehre in 3D" an, in dessen Kontext auch Kompakkt entstanden ist. Sie hat einen Master-Abschluss in Medienkulturwissenschaften und Medieninformatik (2013) und schreibt ihre Dissertation über "Virtuelle Realität als transformative Technologie in den Geisteswissenschaften - Theater in der virtuellen Realität". Ihre Forschungsinteressen umfassen mediale Transformation, Virtual and Augmented Reality, Visualisierung, Annotation, Modellierung in digitalen Geisteswissenschaften und Webtechnologien, sowie die Entwicklung von Anwendungen in diesen Bereichen.

BA Enes Türkoğlu (enes.tuerkoglu@uni-koeln.de) ist am Cologne Center for eHumanities, Institut für Digital Humanities und an der Theaterwissenschaftlichen Sammlung der Universität zu Köln tätig. Er hat an der Universität Istanbul Radio, TV und Kino studiert, 2009 kam er nach Deutschland, wo er in Köln seinen Bachelorabschluss in Medieninformatik absolviert hat. In seiner Forschung beschäftigt er sich mit der Digitalisierung heterogener Objektarten und der Relevanz ihres kulturellen Kontextes.

Dr. Jan Gerrit Wieners (jan.wieners@uni-koeln.de) ist wissenschaftlicher Mitarbeiter, Software-Entwickler und Dozent für Medieninformatik und Informationsverarbeitung am Institut für Digital Humanities der Universität zu Köln. Jan G. Wieners hat einen Magister Artium in Historisch-Kulturwissenschaftlicher Informationsverarbeitung (HKI), Germanistik und Philosophie und wurde an der Universität zu Köln über spielübergreifende künstliche Intelligenz in klassischen Brettspielen promoviert. Seine Forschungsinteressen umfassen virtuelle und augmentierte Realität, mediale Transformationen, Modellierung, Theorie und Praxis der digitalen Geisteswissenschaften, Künstliche Intelligenz, Computer Vision und Game Studies.