Computergestützte Film- und Videoanalyse

Konzeption und Zielsetzung
Das Thema Bild- und Bewegtbildanalyse gewinnt auch in der – bis dato stark auf Text fokussierten – Digital Humanities-Community immer mehr an Bedeutung. Vor diesem Hintergrund wurde Anfang des Jahres eine dedizierte DHd-Arbeitsgruppe „Film und Video“
gegründet. Nachdem die AG im Juli 2017 bereits ein erstes Symposium zum Thema „Film rechnen – Computergestützte Methoden in der Filmanalyse“
in Regensburg abgehalten hat, soll als nächster Schritt ein entsprechendes Panel auf der DHd 2018 in Köln ausgerichtet werden, um in einem größeren Kreis die Grenzen und Möglichkeiten computergestützter Analyseverfahren für Film und Video zu diskutieren.

Wesentliche Herausforderungen bei der computergestützten Analyse von Film und Video ergeben sich dabei vor allem durch die komplexe mediale Struktur von Bewegtbildern, die sich in einer Vielzahl technischer Formate und einer enormen Bandbreite von Analyseansätzen und -perspektiven niederschlagen. Anders als bspw. für den Bereich Text, gibt es für die Filmanalyse bislang nur wenige etablierte Verfahren und Softwarelösungen zur Erschließung und Verarbeitung von Film- und Videodaten. Wenngleich etablierte Felder aus der Informatik – wie etwa
computer vision oder
audio processing – vielversprechende Ansätze für die computergestützte Analyse von Film und Video bereitstellen, so erfordern diese mitunter erhebliches informatisches Know-How.

Trotz dieser schwierigen Gemengelage ist – zumindest in Einzelprojekten – im Kontext computergestützter Forschung bereits zu einzelnen filmwissenschaftlichen Fragestellungen und Aspekten wie Schnittrhythmus, Farbstrukturen, Rollenverteilungen, Plotstrukturen, Filmsprache oder der globalen Zirkulation von Filmen geforscht worden. Im Rahmen des Panels sollen nach einer kurzen Vorstellung der entsprechenden DHd-AG in insgesamt fünf Impulsreferaten exemplarische Ansätze zur computerbasierten Analyse von Film und Video vorgestellt und mit dem Plenum diskutiert werden. Im Anschluss an die Panelvorträge findet dann eine allgemeine Diskussionsrunde mit den Vortragenden und dem Plenum statt, in der ggf. weitere digitale Analyseansätze ergänzt und zur Diskussion gestellt werden können. Weiterhin sollen strategische Ziele der AG „Film und Video“ vorgestellt und diskutiert werden. Durch diesen Austausch soll die Möglichkeit methodischer Überschneidungen mit anderen Forschungsfeldern evaluiert und diskutiert werden, um so einen Beitrag zur methodischen Profilierung computergestützter Analyseverfahren und zum Methodentransfer zwischen verschiedenen Forschungsfeldern insgesamt zu leisten.

Ablauf (Gesamtdauer 90 Minuten):

Teil 1) Einführung in das Thema computergestützte Film- und Videoanalyse und Kurzvorstellung der DHd-AG „Film und Video“ (10 Minuten)

Teil 2) Panelvorträge in Form von Impulsreferaten (Gesamtdauer 50 Minuten)

Teil 3) Moderierte Diskussion zu den folgenden Themen (30 Minuten):

Grenzen und Möglichkeiten der in den Impulsreferaten gezeigten Ansätze
Weitere Ansätze / Desiderate in der computergestützten Film- und Videoanalyse
Strategische Ziele der DHd-AG „Film und Video“ 

Panelvorträge

Computergestützte Analyse von Filmsprache: Zwei Fallstudien
Manuel Burghardt, Universität Regensburg
Für die computergestützte Analyse von Filmen bieten sich auf der visuellen Ebene eine ganze Reihe von quantitativ erfassbaren Parametern an, etwa die Analyse von Einstellungslängen und -frequenzen, Farben, Personen oder Objekten. Weiterhin bietet die Filmsprache – die in Form von Untertiteln für eine Vielzahl von Filmen bereits als textuelle Transkription vorliegt – einen niederschwelligen Analysezugang, für den viele bestehende Tools und Methoden aus der computergestützten Sprach- und Literaturanalyse angewendet werden können (Burghardt & Wolff, 2016; Burghardt et al., 2016). Im Rahmen des Panelvortrags sollen überblicksartig zwei Ansätze zur Analyse von Film und Serien auf Basis der jeweiligen Sprachdaten vorgestellt werden. Die erste Fallstudie illustriert dabei Möglichkeiten der automatischen Berechnung von filmischen Strukturen, indem das Konzept von Marcus (1970) mathematischer Dramenanalyse auf den Bereich von TV-Serien übertragen wird. Eine zweite Fallstudie zeigt auf, wie mithilfe computergestützter Methoden ein exploratives Tool für die Analyse von Filmen umgesetzt werden kann, welches es erlaubt einen Film nach bestimmten Figurennamen und Schlüsselwörtern zu durchsuchen. Das Ergebnis dieser Suche wird in einer interaktiven Visualisierung der Trefferszenen zur weiteren Analyse dargestellt.

Dem Film auf der Spur – Die computergestützte Auffindbarkeit von Bild, Clip, Stil
Adelheid Heftberger, Brandenburgisches Zentrum für Medienwissenschaften, Potsdam
Filmschaffende haben sich von Anfang bei ihrer Kollegenschaft sowie audiovisuellen Archiven bedient. Einerseits handelt es sich dabei um die Integration von Ausschnitten in eigene Filme (Heftberger, 2016), andererseits um die Übernahme stilistischer Verfahren. Auch aus einer Archiv-Perspektive ist es interessant, die Spuren von filmischer Überlieferung zu verfolgen. Solche Untersuchungen unterliegen bislang nach wie vor den Grenzen der menschlichen Recherchekapazität, der Verfügbarkeit von Quellen und auch Rollenzuschreibungen der beteiligten Institutionen (Heftberger, 2014). Im Panelvortrag sollen aus filmgeschichtlicher Perspektive Desiderate an die computergestützte Analyse formuliert werden, deren Umsetzung erst zögerlich erfolgt. Anhand einer Fallstudie soll das Potential aufgezeigt werden, dass sich aus der multimodalen Analyse für die Filmgeschichte und v.a. die Überlieferungs- und Rezeptionsgeschichte ergeben könnte.

Wikidata für die Zugänglichmachung von Forschungsdaten in den Filmwissenschaften

Claudia Müller-Birn, Freie Universität Berlin

Wissenschaftliche Publikationen in den Geisteswissenschaften haben oft nicht die Reichweite und Nachhaltigkeit, die für HerausgeberInnen und AutorInnen wünschenswert wäre. Die Ablieferung von Faktenwissen an eine breiter rezipierte und maschinenlesbare Wissensdatenbank wie
Wikidata könnte ein Ansatz sein, diese Reichweite und Nachhaltigkeit zu erzeugen. Dafür müssen allerdings nutzerzentrierte Softwarelösungen entwickelt werden, die es erlauben, dieses Faktenwissen auch niederschwellig und korrekt zu übertragen (Breitenfeld et al., 2017). Am Beispiel der multilingualen Open Access Zeitschrift „Apparatus – Film, Media and Digital Cultures in Central and Eastern Europe“ soll demonstriert werden, wie ein solcher Workflow zur Übertragung von Faktenwissen aussehen könnte. Einerseits werden Einträge in
Wikidata mit Referenzen (Bezug auf die jeweilige Publikation) versehen, andererseits werden bestehende Einträge auch mit neuen Informationen angereichert oder sogar neu erstellt, sofern sie nicht vorhanden sind. Der Panelbeitrag zeigt das Potential für die bessere Zugänglichmachung von Forschungsdaten in den Filmwissenschaften (Müller-Birn et al., 2017).

Licht und Schatten. Methodische Herangehensweisen an die Analyse von Farbstrukturen in Filmen

Niels-Oliver Walkowski, Berlin-Brandenburgische Akademie der Wissenschaften
Johannes Pause, Universität Luxemburg

Obgleich Film als stark visuell geprägtes Medium in weiten Teilen vom Spiel der Farben, ihrer Inszenierung und Dramaturgisierung lebt, stellte die Untersuchung von Farbstrukturen Wendy Everetts (2007) zufolge innerhalb der Filmtheorie vor 10 Jahren immer noch so etwas wie „the last great wilderness, the one remaining area yet to be explored, mapped, and charted“ dar. Diese Situation hat sich bisher nicht signifikant verändert. Allerdings macht es die Entwicklung digitaler Methoden in den Filmwissenschaften während der seitdem vergangenen Zeit möglich, der Problematik neue Impulse zu verleihen. Eine Reihe von Projekten der letzten Jahre versucht genau dies zu tun. Zu nennen sind hier unter anderem Brodbecks (2011)
Cinemetrics, Bakers (2015)
Spectrum sowie die Projekte
MovieBarcodes (Anonymus, 2016),
MovieAnalyzer (Burghardt et al., 2016), das
ACTION Toolkit (Casey, 2014), das Projekt
FilmColors (Flückiger, 2015) sowie die Arbeit von Pause und Walkowski (2017). Mit Ausnahme der letzten drei Beiträge entstammen diese Arbeiten anderen Forschungsfeldern als den Filmwissenschaften. Diese Situation sowie der Umstand, dass die computergestützte Analyse von Farbe in einem filmwissenschaftlichen Kontext ein so junges Forschungsfeld ist, lassen eine methodische Systematisierung und Diskussion verschiedener Ansätze der Farbanalyse sinnvoll erscheinen. Der Panelbeitrag wird eine solche Übersicht geben. Des Weiteren werden unterschiedliche Strategien vorgestellt, mit denen versucht wird eine Interpretation und Vermittlung der Analyseergebnisse zu unterstützen.

Automatisierte Verfahren für Analyse, Retrieval und Annotation von Video und Film

Matthias Zeppelzauer, Fachhochschule St. Pölten, Österreich

Die manuelle Annotation von Videodaten ist üblicherweise eine zeitaufwendige Tätigkeit, die aufgrund der subjektiven Bewertungen unterschiedlicher AnnotatorInnen leicht zu Inkonsistenzen führen kann, insbesondere wenn die zu annotierenden Konzepte großen semantischen Interpretationsspielraum bieten. Automatische Annotationsmethoden basierend auf automatischen Bild- und Videoanalysemethoden aus dem Bereich des maschinellen Sehens (
computer vision) bieten eine vielversprechende Alternative, um den Annotationsvorgang einerseits zu beschleunigen und andererseits zu formalisieren und zu objektivieren. In der Vergangenheit wurden zunächst automatisierte Methoden für die Erkennung von Schnitten und Einstellungsübergängen entwickelt. Darauf aufbauend wurden dann Lösungen präsentiert für die automatische Segmentierung von Videos und Filmen in einzelne semantisch kohärente Szenen. Methoden aus dem Bereich der inhaltsbasierten Bildsuche können eingesetzt werden, um nach visuellen Mustern, z.B. häufig auftretende Motive, Objekte oder Personen zu suchen. Methoden der Bewegungsanalyse (
motion tracking) können eingesetzt werden, um Kamerabewegungen oder Objektbewegungen automatisiert zu erfassen. Ergänzend zur Bildanalyse kann die akustische Analyse der Tonspur weitere interessante Einsichten in den Rhythmus und die Montage von Filmen geben. Im interdisziplinären Projekt
Digital Formalism wurde ein breites Spektrum automatisierter Verfahren erfolgreich für die Analyse und die Annotation von Video- und Filmdaten eingesetzt (vgl. Mitrovic et al., 2010 / 2011; Zaharieva et al. 2010; Zeppelzauer et al. 2011a / 2011b). In diesem Impulsreferat soll das Potenzial automatischer inhaltsbasierter Analyseverfahren an kurzen Beispielen aus der Praxis illustriert werden.

Mehr Informationen unter http://dig-hum.de/ag-film-und-video
Mehr Informationen unter https://dhregensburg.wordpress.com/2017/07/03/symposium-film-rechnen-computergestuetzte-methoden-in-der-filmanalyse-2/

Bibliographie

Anonymus (2016):
MovieBarcodes.

http://moviebarcode.tumblr.com/

Baker,
Dillon (2015):
Spectrum.

http://dillonbaker.com/spectrum/

Breitenfeld, A. / Mackeprang, M. / Hong, M.-T. / Müller-Birn, C. (2017)
: “Enabling Structured Data Generation by Nontechnical Experts”. In: Burghardt, M., Wimmer, R., Wolff, C. & Womser-Hacker, C. (Hrsg.), 
Mensch und Computer 2017 - Tagungsband. Regensburg: Gesellschaft für Informatik e.V.. (S. 181-192).

Brodbeck, Frederic (2011):
Film Data Visualization.

http://cinemetrics.fredericbrodbeck.de/

Burghardt, Manuel / Wolff, Christian (2016): „Digital Humanities in Bewegung: Ansätze für die computergestützte Filmanalyse”, in
Book of Abstracts der DHd-Konferenz.

Burghardt, Manuel / Kao, Michael / Wolff, Christian (2016): “Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis”, in
Book of Abstracts of the International Digital Humanities Conference (DH).

Casey, Michael (2014): “ACTION: Audiovisual Cinematic Toolbox for Interactive Object-based Media Navigation”.

http://aum.dartmouth.edu/~action/index.html

Everett, Wendy (2007): “Mapping Colour. An Introduction to the Theories and Practices of Colour”, in
Questions of Colour in Cinema. From Paintbrush to Pixel. Hg. von Wendy Everett. Bern, S. 7-38.

Flückiger, Barbara (2015): „FilmColors“.

https://filmcolors.org/

Heftberger, Adelheid (2016):
Kollision der Kader Dziga Vertovs Filme, die Visualisierung ihrer Strukturen und die Digital Humanities. München: edition text+kritik.

Heftberger, Adelheid (2014): “Film archives and digital humanities – an impossible match? New job descriptions and the challenges of the digital era”, in
MedieKultur – Journal of media and communication research 30, 57, S. 135-153.

Marcus, Solomon (1970):
Mathematische Poetik. Frankfurt am Main: Athenäum Verlag.

Mitrovic, Dalibor / Hartlieb, Stefan / Zeppelzauer, Matthias / Zaharieva, Maia (2010): „Scene Segmentation in Artistic Archive Documentaries”, in
HCI in Work and Learning, Life and Leisure, LNCS, vol. 6389, S. 400-410.

Mitrovic, Dalibor / Zeppelzauer, Matthias / Zaharieva, Maia / Breiteneder, Christian (2011): „Retrieval of VisualComposition in Film”, in
Proceedings of the 12th International Workshop on Image Analysis for Multimedia Interactive Services, April 13-15, Delft, The Netherlands.

Müller-Birn, Claudia / Heftberger, Adelheid / Höper, Jackob / Walkowski / Niels-Oliver Sharing (2017): “Factual Knowledge from Research in Film and Media Studies using Wikidata”, presented at FORCE2017 Research Communication and e-¬Scholarship Conference, Berlin, Germany.

Pause, Johannes / Walkowski, Niels-Oliver (2017): “Dead and Beautiful: The Analysis of Colors by Means of Contrasts in Neo-Zombie Movies”, in
Book of Abstracts der DHd-Konferenz.

Zaharieva, Maia / Zeppelzauer, Matthias / Breiteneder, Christian / Mitrovic, Dalibor (2010): “Camera Take Reconstruction”, in
Proceedings of IEEE Multimedia Modeling Conference, Jan 6-8, 2010, Chongqing, China, S. 379-388.

Zeppelzauer, Matthias / Mitrovic, Dalibor / Breiteneder, Christian (2011a): “Cross-Modal Analysis of Audio Visual Film Montage”, in
Proceedings of 20th International Conference on Computer Communications and Networks, Maui, USA.

Zeppelzauer, Matthias / Zaharieva, Maia / Mitrovic, Dalibor / Breiteneder, Christian (2011b): “Retrieval of Motion Composition in Film”, in
Digital Creativity, 22(4), 219-234.