Nutzertests an kritischen Editionen - Print oder digital?

Zusammenfassung
In diesem Papier beschreiben wir zwei Nutzertests, die wir mit Digitalen Editionen durchgeführt haben. Im ersten Nutzertest vergleichen wir drei Digital Editionen miteinander. Dabei wird klar, dass digitale Editionen nicht immer einfach zu bedienen sind und viele der Nutzer Schwierigkeiten haben sich zurecht zu finden. Erstaunlich ist dabei, dass Nutzer Bedienbarkeit bei ihrer Wahl für relevanter halten als ein Mehr an Daten und Informationen. Im zweiten Nutzertest vergleichen kritische Editionen desselben Werks in drei verschiedenen Medien: als Buch, als PDF/eBook und als digital entstandene Online-Edition. Auch hier können wir feststellen, dass Bedienbarkeit ein relevanter Faktor bei der Wahl der Medien ist, den ein Mehr an Informationen nicht auszugleichen vermag. Das eBook gilt dabei als dasjenige, welchs am einfachsten zu bedienen ist. Es bietet die meisten Zusatzfeatures, die von den Nutzern am Häufigsten benutzt werden. Das Buch wird hingegen gerne für längere Lesepassagen genutzt. Die digitale Edition wurde allerdings von den Nutzern größtenteils nicht richtig verstanden.
Im Folgenden werden wir zunächst die Hintergründe beleuchten, die uns dazu ermutigt haben diese Untersuchung durchzuführen. Dann werden wir dezidierter auf die Methode und die Ergebnisse eingehen und dabei insbesondere die Features behandeln, die von den Nutzern als besonders wichtig eingeschätzt wurden.

Hintergrund
In mehreren Umfragen konnte (Porter 2013, 2016) feststellen, dass zwar die Benutzung von digitalen Werkzeugen in den Geisteswissenschaften stark gestiegen ist, die Benutzung von digitalen Editionen allerdings über die Jahre konstant niedrig geblieben, oder sogar gesunken ist. Dies ist ein erstaunliches Ergebnis, wenn man bedenkt, dass immer mehr digitale Editionen verfügbar sind und diese zum Teil erhebliche Mehrwerte gegenüber den aus Printeditionen generierten PDF Versionen generieren.
Unsere Hypothese ist daher, dass digitale Editionen schwieriger zu bedienen sind und weniger auf die Bedürfnisse der Endnutzer eingehen als dies bei Printeditionen der Fall ist.

Methodik
Wir haben beide Nutzerstudien mit einer ähnlichen Methodik durchgeführt. Die Nutzergruppe bestand in beiden Fällen aus fortgeschrittenen Studenten der Geisteswissenschaften, vornehmlich aus der Philosophie, Philologie und weiteren verwandten Gebieten. Auf diese Weise haben wir sichergestellt, dass alle Teilnehmer Vorerfahrung in der wissenschaftlichen Textarbeit hatten. Keiner der Teilnehmer war ausgewiesener Experte auf dem Gebiet der Editionen, die wir betrachtet haben. Dies stellt allerdings keinen systematischen Nachteil dar. Schließlich sind die behandelten Editionen nicht nur für Experten gedacht. Tatsächlich erleichtert diese Gegebenheit sogar es den Vergleich, da alle Teilnehmer auf demselben Stand sind.
Die Teilnehmer werden für die Nutzerstudie in kleinen Gruppen in einen Raum gebeten und füllen dort zunächst einen Fragebogen zu ihren Vorerfahrungen und Präferenzen aus. Dann bekommen sie eine Liste von Aufgaben, die sie mit der vorgegebenen Edition lösen sollen. Ihre Vorgehensweise wird dabei mit Hilfe einer Screencapture Software aufgezeichnet. Nach Ablauf der Bearbeitungszeit bitten wir sie einen weiteren Fragebogen auszufüllen, in dem wir sie um pauschale Urteile zu der Edition bitten. Im Anschluss setzen sich die Teilnehmer zu einer Gruppendiskussion zusammen. Diese wird von uns an Hand eines Leitfadens geleitet und aufgezeichnet. Die Aufzeichnung wird anschließend transkribiert, kodiert und ausgewertet.

Verwandte Literatur
Nutzerstudien gelten als Standardwerkzeug um die Benutzbarkeit zu evaluieren. Sie werden in den Digitalen Geisteswissenschaften häufig eingesetzt, beispielsweise um digitale Ressourcen (Warwick 2006) oder digitale Werkzeuge für Historiker (Rücker et.al 2011) zu evaluieren. Nutzertests an digitalen Editionen (Kelly 2015, Santos 2015, Visconti 2010) konzentrieren sich typischerweise auf eine Edition und werten diese quantitativ aus. Bei der Entwicklung unserer Methodik haben wir uns vor Allem an der Untersuchung von Informationsbedürfnissen und Informationsverhalten orientiert (Barrett 2005, Belkin 1993, Buchanan 2005, Ellis 2003). Das Design der Aufgaben erfolgte in Anlehnung an (Unsworth 2000) Konzept der Primitive wissenschaftlicher Arbeit (Palmer et al 2009). Der Ansatz selbst basiert auf den Arbeiten von (Drucker 2011), allerdings erweitert, um digitale Editionen als Wissenswerkzeuge besser würdigen zu können (Bevan 1995, Porter 2016). Die transversale Analyse von (Rimmer 2008) zur Qualität von Forschung zwischen Print und Digital war dabei sehr hilfreich als Vergleich.

Editionen im Vergleich
In unserer ersten Nutzerstudie haben wir drei digitale Editionen miteinander verglichen. Die Studie selbst ist ausführlich in (Caria/Mathiak 2017) beschrieben. Daher folgt hier nur eine Zusammenfassung der Ergebnisse, um die zweite Nutzerstudie besser im Kontext verstehen zu können.
Die drei Editionen, die wir miteinander verglichen haben, hatten wir vor der Studie aus etwa 40 möglichen Editionen ausgewählt. Dabei lag unsere Wahl bei den Editionen, von denen wir dachten, dass diese am besten zu bedienen sind. Trotzdem hatten viele der Teilnehmer Schwierigkeiten die Aufgaben korrekt zu bearbeiten, da sie zum Teil die dazu notwendigen, aber vorhandenen Funktionalitäten auf der Webseite nicht gefunden haben. Dementsprechend negativ waren die Urteile der Probanden. Auffällig war, dass es jedoch einen Widerspruch zwischen Wünschen und Präferenzen der Teilnehmer gab. Gewünscht wurde vor allem mehr Inhalt. Präferiert wurde jedoch die einzige Edition, die keine Faksimiles hatte, obwohl dies oft gewünscht wurde, weil sie die höchste Benutzbarkeit aufwies. Dies steht im Kontrast zu der allgemeinen Erfahrung, dass Wissenschaftler Inhalt vor Form bevorzugen (Kern/Mathiak 2015).
Wir schließen daraus, dass es so eine Art unsichtbare Schwelle der Bedienbarkeit gibt, die erreicht werden muss, damit der Inhalt einer digitale Edition überhaupt zum Tragen kommen kann.

Eine Frage des Mediums
Die Frage, die sich daran unmittelbar anschließt ist, ob dies eine Erklärung für die Ergebnisse von (Porter 2016) ist. Mit anderen Worten: ob die digitalen Editionen deshalb nicht benutzt werden, weil ihnen die Bedienbarkeit fehlt, die das entsprechende Buch bzw. die digitalisierte Version eines Buches von Natur aus mitbringen.
Wir haben dazu das Werk “Also sprach Zarathustra” von Friedrich Nietzsche ausgewählt. Als Print und PDF wurde die Ausgabe von (Nietzsche/Colli/Montinari 1997) repräsentiert. Die Onlineversion stammt von nietzschesource.org.
Für den Eingangsfragebogen haben wir Fragen aus dem Fragebogen von Porter übersetzt. Die Antworten sind mit den Ergebnissen von Porter vergleichbar. In den Abbildungen 1 und 2 sind die am häufigsten genutzten digitalen und analogen Ressourcen unserer Nutzer angegeben. Abbildung 3 zeigt den präferierten Zugriffsweg zu verschiedenen Arten von Ressourcen.

Abbildung 1: Die am häufigsten benutzten digitalen Ressourcen der letzten drei Monate.

Abbildung 2: Die am häufigsten benutzten analogen Ressourcen der letzten drei Monate.

Abbildung 3: Wie wurde auf diese Ressourcen vorwiegend zugegriffen (Print oder Digital)?

Für den Nutzertest haben wir Aufgaben entwickelt, die den Nutzer auf eine natürliche Art an die Medien heranführen. Die gestellten Aufgaben waren vor allem interpretativ und verlangten von den Nutzern sich in den verschiedenen Primär- und Sekundärquellen zu orientieren und Änderungen mittels der Kommentare nachzuvollziehen. Im Anschluss an die Tests haben wir die klassischen Usability Metriken zu Effectiveness (Können die Ziele erreicht werden?), Efficiency (Wie viel Aufwand ist es die Ziele zu erreichen?) und Satisfaction (Wie zufrieden sind sie mit der Benutzbarkeit?) erhoben (vgl. Abb. 4).

Abbildung 4: Usability Metriken der drei Medien im Vergleich.

In der abschließenden Gruppendiskussion wurden schließlich die Vor- und Nachteile der verschiedenen Medien von den Nutzern diskutiert. Neben der Frage nach dem Medium, welches sie bevorzugen, waren auch die Kernfunktionalitäten der Editionen, also die Suche, Annotationen, Kompatibilität und Portabilität ein Thema.
Die Nutzer waren sich einig, dass sie am Liebsten mit der PDF-Version arbeiten. Genannte Gründe waren: “die Suchfunktion”, “klare Navigationsstruktur”, “die Option Anmerkungen zu machen” und “bereits vertraut mit dem Interface”.
Nietzsche.org wurde dabei durchaus aufgrund der Inhalte gewürdigt: „Die [Digitale Edition] sollte eigentlich die beste Wahl sein, dadurch, dass sie viele verschiedene Texte und Daten beinhaltet, allerdings habe ich lieber 5 Tabs bzw. PDF's offen. Somit kann ich fliegend hin und her wechseln, ohne dass ich wieder und wieder nach Texten in der digitalen Edition suchen muss.“
Am Buch wurde hingegen vor Allem die Bequemlichkeit geschätzt. Es sei “besser für die Augen” und “lenkt nicht so ab”.

Gewünschte Funktionalität
Aus den Diskussionen konnten wir relativ klare und konkrete Kritikpunkte an der digitalen Edition identifizieren, die so oder so ähnlich auf die meisten der von uns untersuchten digitalen Editionen zutreffen (vgl. Abb. 5). Besonders häufig kam die Kritik an der Struktur bzw. Navigation innerhalb der Edition auf. Das Inhaltsverzeichnis gibt zwar eine relativ einfache Struktur vor, diese wurde allerdings von den Nutzern besser verstanden als die Struktur der Webseite. Ebenfalls sehr viele Nutzer arbeiten mit Annotationen. Dass dies auf der Webseite nicht unterstützt wurde, fiel unangenehm auf.
Weitere häufige Beschwerden wurden über die Suchfunktion geäußert. Diese funktionierte nicht wie von den Nutzern erwartet. Hinzu kam die Komplexität der Webseite, welche durch die Suchfunktion und Navigation nicht ausreichend kompensiert wird.

Abbildung 5: Häufig geäußerte Kritik an der digitalen Edition.

Fazit
Kritische Editionen sind nicht nur Datenquellen, sondern dienen auch als Arbeitswerkzeuge. Dabei darf die Usability nicht als nettes Feature abgetan werden, denn sie sorgt dafür, dass Nutzer eher eine digitale Edition benutzen. Das Interface sollte daher nicht nur als letzter Schritt eines editorialen Prozesses gedacht werden, sondern von Anfang an berücksichtigt und systematisch erprobt werden.
Als Kernfunktionalität sollten dabei mindestens eine Suchfunktion, eine Möglichkeit zum Kommentieren/Annotieren und zusätzlich noch eine Vergleichsfunktion in Betracht gezogen werden. Texte zu vergleichen gehört zu den häufigsten Tätigkeiten und aus unserer ersten Studie wissen wir, dass die Nutzer technische Unterstützung dazu sehr schätzen.

Bibliographie

Barrett, A. (2005): “The Information-Seeking Habits of Graduate Student Researchers in the Humanities” in:
The Journal of Academic Librarianship 31(4), 324–331.

Belkin, N. (1993): “Interaction with Texts: Information Retrieval as Information Seeking Behavior” in: Knorz, G., Krause, J., Womser-Hacker, C. (Eds.) Information Retrieval '93: Von der Modellierung zur Anwendung, Regensburg, vol. 12, pp. 55-66 . Schriften zur Informationswissenschaft.

Bevan, N. (1995): “Measuring Usability as Quality of Use” in:
Software Quality Journal 4: 115.

Buchanan, G./Cunningham, S.J./ Blandford, A./ Rimmer, J. / Warwick, C. (2005): “Information seeking by humanities scholars” in:
International Conference on Theory and Practice of Digital Libraries (pp. 218-229). Springer, Berlin, Heidelberg.

Caria, F./ Mathiak. B. (2017): “Hybrid Focus Group for the Evaluation of Digital Scholarly Editions of Literary Authors”, IDE.
In Druck

Chu, C.(1999): “Literary Critics at Work and their Information Needs: A Research-Phases Model” in:
Library and Information Science Research, 21(2): 247-73.

Cooper, A./ Reimann, R. / Cronin, D. (2007): “About face 3: the essentials of interaction design”. John Wiley & Sons.

D’Iorio, P.(2015): “On the Scholarly Use of the Internet. A Conceptual Model” in A. Bozzi (éd.),
Digital Texts, Translations, Lexicons in a Multi-Modular Web Application : the method and samples, Firenze, Olschki, 1-25.

Drucker, J. (2011): “Humanities Approaches to Interface Theory” in:
Culture Machine, vol. pp. 1- 20.

Duff, W. M., Johnson, C. (2002): “Accidentally Found on Purpose: Information-Seeking Behavior of Historians in Archives” in:
The Library Quarterly, Vol. 72, No. 4, pp. 472-496.

Ellis, D. (2003): “A Comparison of the Information Seeking Patterns of Researchers in the Physical and Social Sciences.” Journal of Documentation, vol. 49, no. 4, 356 - 369.

Gibbs, F./ Owens, T. (2012): “Building Better Digital Humanities Tools: Toward broader audiences and user-centered designs”.
Digital Humanities Quarterly, 6:2.

Leblanc, E. (2016): “Thinking About Users and Their Interfaces: The Case of Fonte Gaia Bib” in: Book of Abstracts for
Digital Scholarly Editions as Interfaces. International Symposium. Austrian Centre for Digital Humanities at the University of Graz 49-50

Kelly, A. (2015): “Tablet computers for the dissemination of digital scholarly editions” in:
Manuscritica, no. 28, pp. 123-140.

Kern, D. / Mathiak, B., (2015): “Are There Any Differences in Data Set Retrieval Compared to Well-Known Literature Retrieval?” in:
International Conference on Theory and Practice of Digital Libraries 197-208. Springer, Cham.

McCarthy, J./ Wright, P. (2007): “Technology as Experience” MIT Press.

Nielsen, J. (1994): “Guerrilla HCI: Using Discount Usability Engineering to Penetrate the Intimidation Barrier”, 1994. http://www.nngroup.com/articles/guerrilla-hci/. [letzter Zugriff 23. September 2017]

Mueller, P., Oppenheimer, D. (2014): “The pen is mightier than the keyboard” in
Psychological Science 6(25) 1159-1168.

Nietzsche, F.W. / Colli, G. / Montinari, M. (1997): “Werke: Kritische Gesamtausgabe (Vol. 5, No. 1)“ de Gruyter.

Palmer, C.L./ Teffeau, L.C. / Pirmann, C.M. (2009): “Scholarly information practices in the online environment”. Report commissioned by OCLC Research. Published online at: www. oclc.org/programs/publications/reports/2009-02.pdf. [letzter Zugriff 23. September 2017]

Porter, Dorothy (2013): “Medievalists and the Scholarly Digital Edition.” in:
Scholarly Editing 34, 1-26.

Porter, Dorothy (2016): “What is an Edition anyway? A critical examination of Digital Editions since 2002”. Keynote lecture.
Digital Scholarly Editions as Interfaces. International Symposium. Austrian Centre for Digital Humanities at the University of Graz. https://static.uni-graz.at/fileadmin/gewi-zentren/Informationsmodellierung/PDF/Porter_what-is-an-edition-anyway-min.pdf [letzter Zugriff 23. September 2017]

Rimmer, J. (2008): “An examination of the physical and digital qualities of humanities research.” in:
Information Processing and Management, vol. 44, no. 3, pp. 1374-1392.

Ruecker, S./ Radzikowska, M./ Sinclair, S. (2011): “Visual Interface Design for Digital Cultural Heritage. A Guide to Rich Prospect Browsing”, Routledge : New York, 2011.

Sahle, P. (2013): “Digitale Editionsformen. Zum Umgang mit der Überlieferung unter den Bedingungen des Medienwandels. Teil 1: Textbegriffe und Recodierung“. Dissertation, Universität zu Köln, 2013.

Santos, T. (2015): “LdoD Archive: User Experience and Identity Design Processes” in:
Digital Literary Studies, Coimbra. https://www.researchgate.net/publication/280621302_LdoD_Archive_User_Experience
_and_Identity_Design_Processes [letzter Zugriff 23. September 2017]

Unsworth, J. (2000): “Scholarly Primitives: what methods do humanities researchers have in common, and how might our tools reflect this?” in
Humanities Computing: formal methods, experimental practice sponsored by King's College, London.

Visconti, A. (2010): “Songs of Innocence and of Experience: Amateur Users and Digital Texts” Dissertation, School of Information, University of Michigan.
https://deepblue.lib.umich.edu/handle/2027.42/71380 [letzter Zugriff 23. September 2017]

Warwick, C./ Terras, M. / Nyhan, J. eds. (2012): “Digital humanities in practice”. Facet Publishing.

Warwick, Claire (2006) “The LAIRAH Project: Log Analysis of Digital Resources in the Arts and Humanities”.
Final Report to the Arts and Humanities Research Council. Arts and Humanities Research Council. http://discovery.ucl.ac.uk/189677/ [letzter Zugriff 23. September 2017]