eValuation - Kriterien zur Evaluation digitaler Angebote und Forschungsinfrastrukturen

eingereicht von: infoclio.ch – Fachportal für die Geschichtswissenschaften der Schweiz
Referierende: Gabi Schneider / Alexander Hasgall / Philipp Steinkrüger
Moderation: Eliane Kurmann (infoclio.ch) / Jan Baumann (infoclio.ch)
Mit der Etablierung der Digital Humanities an den Universitäten und Forschungseinrichtungen werden, wenn auch noch zögerlich, neue Modelle zur Evaluation digitaler Infrastrukturprojekte und zur Rezension digitaler Inhalte und Angebote entwickelt und erprobt. Die Evaluationsverfahren dienen der Beurteilung der Projekte und Initiativen im Hinblick auf die weitere finanzielle Förderung und die Leistungsanerkennung im akademischen Umfeld. Beim Rezensieren geht es zudem um die Sichtbarmachung und Hervorhebung besonders gelungener Projekte und Angebote. Und schliesslich werden geplante Angebote und Infrastrukturen an den bereits etablierten Qualitätsmerkmalen ausgerichtet.
Verschiedene Institutionen und Vereinigungen sind damit beschäftigt, Evaluationsverfahren auszuarbeiten, die über die Messung der traditionellen Forschungsleistungen hinausgehen. Neben den fachspezifischen wissenschaftlichen Kriterien werden bei der Evaluation digitaler Angebote und Infrastrukturen beispielsweise auch technische Aspekte, die Interoperabilität, Design und Anwenderfreundlichkeit sowie das Interagieren von Inhalt und Präsentationsform, die Zugänglichkeit oder die Dauerhaftigkeit der Inhalte berücksichtigt.
Erste Kriterienkataloge sind bereits ausgestaltet, die Instrumente und Methoden ihrer Anwendung stellen weitere Herausforderungen dar: Wie verändern sich die Qualitätskriterien mit der fortlaufenden technischen Entwicklung? Wie wird etwa die Reichweite der Resultate im World Wide Web festgestellt und innerhalb der Forschungsevaluation gewertet? Was bedeutet Dauerhaftigkeit im digitalen Kontext? Diskutiert wird aber auch die grundsätzliche Frage, ob es angesichts der Vielfalt der digitalen Projekte überhaupt möglich ist, standardisierte Verfahren und einheitliche Richtlinien zu definieren. Und zielen die Neuerungen auf die Erweiterung der traditionellen Evaluationsverfahren, sodass diese auch auf digitale Projekte anwendbar werden, oder verlangen die Digital Humanities eigene Beurteilungsmodelle?
Für die Dhd2017-Tagung schlägt infoclio.ch ein Panel vor, in dem neue Evaluationsmodelle vorgestellt werden. Expertinnen und Experten, die sich mit der Konzipierung und Anwendung neuer Verfahren und Kriterien beschäftigen, berichten von ihren Erfahrungen und stellen grundsätzliche Überlegungen zur Diskussion. Die digitale Nachhaltigkeit wird dabei in zweifacherweise thematisiert: Zum einen wird sie als Qualitätsmerkmal in der Beurteilung von digitalen Inhalten, Tools und Infrastrukturen diskutiert. Zum andern fördert die Evaluation grundsätzlich die Qualität und damit die Nachhaltigkeit, da die professionelle Beurteilung eines Projekts seine Fortführung begünstigt.
Für die drei
1 nachfolgend beschriebenen Beiträge sind jeweils 10 bis 15 minütige Präsentationen vorgesehen, die zugleich die Grundlage für die anschliessende Diskussion (45 Minuten) bilden. Die Beiträge beschäftigen sich mit der Evaluation von digitalen Forschungsinfrastrukturen, dem Umgang mit Digital-Humanities-Projekten in der Forschungsevaluation und mit der kritischen Besprechung von digitalen Editionen. Diskutiert werden bereits erprobte und im Entstehen begriffene Evaluationsverfahren, wobei die Erfahrungsberichte die Herausforderungen in der praktischen Anwendung deutlich machen. Mit Blick auf das Tagungsthema findet die digitale Nachhaltigkeit in allen Beiträgen besondere Beachtung. Einerseits soll thematisiert werden, welche Bedeutung der digitalen Nachhaltigkeit als Evaluationskriterium zukommt; zum andern sollen Erfahrungen aus der Praxis des Evaluierens zur Konkretisierung der Konzepte der
digitalen Nachhaltigkeit beitragen. Gefragt wird unter anderem, wie die digitale Nachhaltigkeit „gemessen“ wird, geht es dabei doch nicht nur um technische Aspekte, sondern auch um die freie Zugänglichkeit sowie die Nutzungsrechte der digitalen Inhalte und Infrastrukturen.

Beiträge

Gabi Schneider, stellvertretende Leiterin des Programms „
Wissenschaftliche Information: Zugang, Verarbeitung und Speicherung“

Beitrag: Evaluation digitaler Forschungsinfrastrukturen
Das Programm „Wissenschaftliche Information: Zugang, Verarbeitung und Speicherung“ von swissuniversities fördert den Aufbau eines national verfügbaren Grundangebots an digitalen Inhalten sowie optimaler Werkzeuge (Tools und Infrastrukturen) für deren Verarbeitung. Projekte werden von den Hochschulen eingereicht und im Rahmen der Programmorganisation in Bezug auf die Mittelvergabe evaluiert. Die Qualität und die Nachhaltigkeit von Projekten werden in verschiedenen Stadien gefördert. Zum einen werden Kriterien wie technische Standards, Interoperabilität oder die Bezugnahme auf internationale Referenzprojekte in den Programmunterlagen (Strategiepapiere, Antragsformular und Wegleitung) explizit genannt. Zum anderen werden die Projekte im Evaluationsverfahren auf diese Kriterien hin geprüft. Im Rahmen des Programms wurde seit 2013 ein erstes Portfolio von Diensten aufgebaut. Im weiteren Verlauf sollen Anforderungskriterien für eine periodische Überprüfung dieser Dienste definiert werden. Da Grossprojekte mit „nationalem“ oder internationalem Anspruch meistens von verschiedenen Geldgebern unterstützt werden, gewinnen dabei der Austausch und die Verständigung mit anderen Förderinstitutionen an Bedeutung. Der Beitrag zeigt Ansätze auf.

Alexander Hasgall, Wissenschaftlichen Koordinator, SUK P3 „
Perfomances de la recherche en sciences humaines et sociales“

Beitrag: Evaluationsverfahren in den Digital Humanities
Im Rahmen von Evaluationsverfahren spielen digital präsentierte Inhalte oftmals keine gesonderte Rolle. Jedoch weist die Forschung in den Digital Humanities u.a. im Hinblick auf Fragen von Zugänglichkeit, der Wahrnehmung und Verbreitung in der Wissenschaftscommunity oder auch der Nachhaltigkeit der Forschungsergebnisse wichtige Besonderheiten auf, welche in herkömmlichen Evaluationsverfahren nicht immer angemessen reflektiert werden. Im Rahmen des Panel-Beitrags soll auf die Auswirkung von Evaluationsverfahren auf die Forschung in den Digital Humanities eingegangen und zugleich diskutiert werden, inwieweit Nachhaltigkeit selbst ein Qualitätsmerkmal von Forschung bilden kann.

Philipp Steinkrüger, Gründungsmitglied des Instituts für Dokumentologie und Editorik und Managing Editor der Rezensionszeitschrift
RIDE (Review Journal for digital editions and ressources)

Beitrag: Digitale Nachhaltigkeit im Kriterienkatalog
Die Zahl wissenschaftlicher Onlineangebote, darunter auch zahlreiche digitale Editionen, nimmt stetig zu. Eine kritische Reflektion und Evaluation solcher Angebote ist jedoch noch sehr peripher, da sich die etablierten Rezensionsorgane weiterhin auf Printpublikationen konzentrieren. RIDE, die erste Rezensionszeitschrift explizit für digitale Editionen, bietet seit 2015 ein Forum, in dem digitale Editionen kritisch besprochen werden. Der Komplexität solcher Editionen, die sich durch die vielfältigen Möglichkeiten des digitalen Paradigmas und ihrer Umsetzungen ergibt, versucht RIDE mit einem Kriterienkatalog zu begegnen, der Rezensenten in ihren Besprechungen leiten soll.
Der Beitrag wird insbesondere auf das Thema „digitale Nachhaltigkeit“ eingehen. Erstens wird vorgestellt, was RIDE selbst zur digitalen Nachhaltigkeit beiträgt. Der Katalog als Grundlage aller Besprechungen enthält eine Reihe von Kriterien, die zentral für die Möglichkeit langfristiger Verfügbarkeit sind. Besprechungen in RIDE dokumentieren, ob und inwiefern aktuelle digitale Editionen diese Kriterien erfüllen und tragen dazu bei, dass zukünftige Editionsprojekte diese Kriterien von Anfang an im Blick behalten. Zweitens wird für jede Besprechung eine Vielzahl von Aspekten formalisiert abgefragt und gespeichert. Dies erlaubt einen Einblick in die Frage, ob und wie aktuelle Editionen dem Thema „digitale Nachhaltigkeit“ begegnen. Obwohl das Sample noch zu klein ist, um eine allgemeingültige Aussage zu formulieren, gibt es doch Hinweise darauf, dass das Thema digitale Nachhaltigkeit noch mehr in den Fokus der Editorinnen und Editoren rücken muss, damit Editionen langfristig verfügbar gehalten werden können.
Richtlinien und Kriterienkataloge zur Evaluierung digitaler Projekte und Ressourcen
18thConnect; NINES: Guidelines and Peer Review Criteria. Online: 18thConnect – Eighteenth-century Scholarship <
http://www.18thconnect.org/about/scholarship/peer-review/#new>

American Historical Association (2015): Guidelines for the Professional Evaluation of Digital Scholarship by Historians. Online: American Historical Association <
https://www.historians.org/teaching-and-learning/digital-history-resources/evaluation-of-digital-scholarship-in-history/guidelines-for-the-professional-evaluation-of-digital-scholarship-by-historians>

Modern Language Association, Committee on Information Technology: Guidelines for Evaluating Work in Digital Humanities and Digital Media. Online: Modern Language Association <
https://www.mla.org/About-Us/Governance/Committees/Committee-Listings/Professional-Issues/Committee-on-Information-Technology/Guidelines-for-Evaluating-Work-in-Digital-Humanities-and-Digital-Media>

Modern Language Association, Committee on Information Technology: Guidelines for Authors of Digital Resources. Online: Modern Language Association <
https://www.mla.org/About-Us/Governance/Committees/Committee-Listings/Professional-Issues/Committee-on-Information-Technology/Guidelines-for-Authors-of-Digital-Resources>

Sahle, Patrick (2014): Kriterienkatalog für die Besprechung digitaler Editionen. Online: Institut für Dokumentologie und Editorik <
http://www.i-d-e.de/publikationen/weitereschriften/kriterien-version-1-1/>

Noch offen ist die Beteiligung des UsabilityLabs der HTW Chur, dem „Schweizer Kompetenzzentrum für die Evaluation von Online-Angeboten“. Der Beitrag würde sich auf die Erfahrungen des UsabilityLabs in der Evaluation digitaler Präsentationsformen richten.

Bibliographie

Akademien der Wissenschaften Schweiz (2014):
„Open Access“: Für einen freien Zugang zu Forschungsergebnissen.
Positionspapier der Schweizerischen Akademie der Medizinischen Wissenschaften.
Swiss Academies Communications 9 (1)
http://www.samw.ch/dam/jcr:9d2d13bd-1757-401a-962e-0a8ec946fb27/positionspapier_samw_open_access.pdf.

Arts and Humanities Research Council (2006):
Peer review and evaluation of digital resources for the arts and humanities.
Institute of Historical Research, School of Advanced Study, University of London
http://www.history.ac.uk/sites/history.ac.uk/files/Peer_review_report2006.pdf.

European Strategy Forum on Research Infrastructures (2016):
Strategy Report on Research Infrastructures.
ESFRI Roadmap 2016
http://www.esfri.eu/sites/default/files/20160308_ROADMAP_single_page_LIGHT.pdf.

Open Scholar:
Independent Peer Review Manifesto
http://www.openscholar.org.uk/independent-peer-review-manifesto/.

Pfannenschmidt, Sarah L. / Clement, Tanya E. (2014):
„Evaluating Digital Scholarship: Suggestions and Strategies for the Text Encoding Initiative“,
in:
Journal of the Text Encoding Initiative 7
http://jtei.revues.org/949.

DORA:
San Francisco Declaration on Research Assessment: Putting science into the assessment of research
http://www.ascb.org/dora/.