Arbeitsgruppe: Sascha Foerster (Max Weber Stiftung, Bonn), Lilian Landes (BSB München), Bertram Triebel (TU Bergakademie Freiberg)

Wir haben uns mit zwei großen Themenfeldern beschäftigt: Evaluierung und Qualitätsmanagement. Bei beiden Themenbereichen beginnen wir mit einer Beschreibung des Status quo, um anschließend so konkret wie möglich Empfehlungen an verschiedene Zielgruppen auszusprechen (an die sich als Ergebnis der Tagung auch das gemeinsame Manifest richten wird), also z.B. Förderorganisationen, Redaktionen und, nicht zu vergessen, auch den wissenschaftlichen Nachwuchs selbst. Viele Punkte können nur angesprochen, nicht ausgeführt werden, wie es ihnen eigentlich zustehen würde. Dieser Beitrag ist gleichzeitig die Auswertung der Blogparade #dhiha5 für den Bereich Evaluierung/Qualitätssicherung.

1. Evaluation

Gemeint sind Antragsverfahren von Forschern und Forschergruppen bei Förderorganisationen, Bewerbungsverfahren um Stellen an Universitäten oder außeruniversitären Forschungseinrichtungen, Stipendien usw.

Zwei Thesen vorab:

• Das Internet verändert die Art, wissenschaftlich zu publizieren. Damit werden sich auch die Evaluierungskriterien ändern müssen.
• Es entstehen neue Formen der wissenschaftlichen Leistung: Aufbau von Datenbanken, Entwicklung technischer Tools oder Programmierung von Codes, Visualisierungen, Big Data, dynamische Bibliographien, Wikis und Vieles mehr. Auch für diese Formate müssen Evaluierungskriterien entwickelt werden, verbunden mit der immer neu zu stellenden Grundfrage: Was ist eine wissenschaftliche Arbeit / Leistung?

1.0 Situation

In den Blogposts, die sich im Vorfeld der Konferenz unserer Thematik annahmen, war der am häufigsten geäußerte Aspekt die derzeitige Nicht-Anerkennung digitaler Medien (Blogs, Wikipedia, Twitter etc.) bei Professoren und (!) Kommilitonen (z.B. tekninen historia, gab_log-Blog, Criticalbits.[1]

Denselben Gedanken etwas anders formuliert das Blog hellojed.[2]: „Geschichte bleibt weiterhin ein Fach, dass die Monographie über den Aufsatz stellt, das Papier über das PDF, das Verlagshaus über den offenen Zugang.“

Generell erscheinen die Fragen von Evaluierung und Anerkennung weniger problematisch bei Monographien oder Open-Access-Zeitschriften (bei Letzteren hakt es eher beim Impact Factor, über dessen Relevanz in den Geisteswissenschaften aber ohnehin gestritten werden darf, weshalb der Aspekt hier ausgeklammert wird). Monographien oder Zeitschriften, die online erscheinen, können mit ISB- bzw. ISS-Nummern ausgestattet und damit formal ihren papiernen Varianten weitgehend gleichgestellt werden. Das Problem beginnt bei genuinen Netzformaten, also Blogs, Mikroblogs, Kommentaren, Wikis (RKB-Blog).[3]

Web-Aktivitäten (hier noch einmal wiederholt eine Auswahl dessen, was wir damit im Folgenden meinen: Datenbanken, Wikis, Tools, Codes, Big Data, Social Media, Blogs, Kommentare, etc.) lassen sich schwer oder gar nicht einbringen bzw. anerkennen bei Förderanträgen, Stipendienbewerbungen u.ä. In der Regel fehlen entsprechende Kategorien in Antragsszenarien der Forschungsförderer, obschon all diese Aktivitäten maßgeblich und identitätsstiftend sind in den Digital Humanists. Dasselbe gilt für Qualifikationsanerkennungen, z.B. hinsichtlich Programmiersprachen und Web 2.0-Kompetenzen.

Grundprobleme: Was wird als wissenschaftliche Leistung anerkannt (erster Schritt, siehe oben) und wie wird jenseits von ISBN und ISSN und Papier evaluiert, wenn wir über Formate sprechen, die (nur) online publiziert werden (können)?

1.1 Empfehlungen an Förderer

Dieser Abschnitt ist teilweise als Empfehlung, teilweise als Frage an die Förderer zu verstehen, etwa an Frau Žic-Fuchs (ESF).

Und mit einer Frage starten wir auch gleich: Wie ist der Ablauf einer Projektevaluierung im Bereich der Digital Humanities bei der ESF, wie geht man etwa mit ihrer zwangsläufigen Interdisziplinarität um?

Online findet man dazu etwa Guidelines der Modern Language Association (MLA)[4], die beispielsweise den Punkt „Engage Qualified Reviewers“ stark machen. Wie schwierig ist es, Gutachter mit umfangreichen Erfahrungen im Umgang mit digitalen Medien zu finden? Damit verbunden: Gutachter sollten das Medienspezifische der Arbeit berücksichtigen, das bedeutet etwa, webbasierte Projekte auch tatsächlich in elektronischer Form zu begutachten und den klassischen Kreis der Reviewer zu erweitern: Neben Geisteswissenschaftlern müssen auch Informatiker, Ingenieure, technische Fachleute befragt werden, um Codes, Datenbanken etc. kompetent einschätzen zu können.

Grundsätzlich sollte eine Anerkennung neuer Publikationsformen erfolgen und die zugrundeliegenden Richtlinien kontinuierlich hinterfragt und ergänzt werden – zumindest bei der Evaluierung genuiner DH-Projekte (dazu auch dhd-Blog)[5]. Todd Presner, Direktor des Center for Digital Humanities an der University of California etwa nennt konkrete Evaluierungskriterien: “support by granting agencies or foundations, number of viewers or contributors to a site and what they contribute, citations in both traditional literature and online (blogs, social media, links, and trackbacks), use or adoption of the project by other scholars and institutions [Kriterium der Prototyp-Entwicklung], conferences and symposia featuring the project, and resonance in public and community outreach (such as museum exhibitions, impact on public policy, adoption in curricula, and so forth).”[6]

Auch das Center for Digital Research in the Humanities an der University of Nebraska gibt konkrete Evaluierungsempfehlungen, so etwa “Peer Review of digital research sites or tools” oder „Technical innovation and sophistication of projects“ oder der zentrale Aspekt der „Long-term accessibility, viability for archival use“.[7]

Entscheidend erscheint uns darüber hinaus, Nachwuchswissenschaftler früh an die Nutzung genuin digitaler Textgenres heran- und von der Arbeit im „stillen Kämmerlein“ wegzuführen. Dafür müssen Anreize geschaffen werden.

In der Blogparade bezog sich diese Forderung naturgemäß auf das Medium Blog (hellojed),[8] so dass an dieser Stelle als positives Beispiel auf die Gerda Henkel Stiftung (Mitveranstalter der Konferenz) verwiesen sei – genauer auf das L.I.S.A. Portal als Ort des Ausprobierens, das Raum für einzelne erste Blogposts bietet, ebenso wie die Förderung von Videoprojekten zur Begleitung von Stipendien.[9]

Web 2.0-Nutzung wird damit belohnt, was Nachwuchswissenschaftler am dringendsten brauchen: Aufmerksamkeit (kommt auch dem Förderer zugute). Hierzu passt gut das Stichwort “Social Media als Wettbewerbsvorteil” über das im Redaktionsblog von de.hypotheses geschrieben wurde.[10]

Gleichzeitig würden damit “Leuchtturm”-Blogs als gute Vorbilder geschaffen. Zur Relevanz von Vorbildern schrieb das gab_log-Blog.[11]

Aber um vom Focus „Blog“ wegzukommen: Zentrales Anliegen der DH ist das Nebeneinander und die Gleichwertigkeit unterschiedlichster Medien – damit das Anliegen, nach Inhalten zu bewerten, unabhängig vom Medium (MinusEinsEbene)[12]. Folglich muss nicht nur das Spektrum akzeptierter Medien und Textgenres erweitert werden, sondern es müssen dabei auch die Spezifika des jeweiligen Mediums berücksichtigt werden.[13]

Zwei letzte kurze Empfehlungen an Förderorganisationen, eher visionärer Natur aber nicht weniger wichtig:

Als Evaluierungskriterium wäre die Frage wünschenswert, wie der Wissenschaftler zur gesellschaftlichen Legitimierung von Wissenschaft beiträgt, eine Frage, die die Förderer selbst bei ihrer Mittelzuwendung durchaus betrifft, nicht berührt von ihr ist dagegen bislang der Wissenschaftler selbst, der ganz am Ende der Förderkette steht. Bei dieser Legitimierungsfrage haben Online-Aktivitäten große Bedeutung.[14]

Und schließlich: Bei der Bewertung von DH-Projekten ist – wir sprechen hier über die Antragsphasen – der Aspekt von “Experimentation and Risk-Taking”[15] (Presner) von zentraler Bedeutung. Beinahe alle dieser Projekte bewegen sich an der Spitze einer Bewegung, die immens raschen Metamorphosen unterworfen ist. Risiko gehört zum Alltag der Digital Humanities.

1.2 Empfehlungen an die (Nachwuchs-)Wissenschaftler

Ganz bewusst wenden wir uns auch an den Nachwuchs selbst, denn der Ruf nach der Veränderung äußerer Bedingungen allein ist unserer Meinung nach nicht ausreichend. Auch wir selbst schaffen neue Voraussetzungen oder zementieren alte Verhältnisse.

Ein Zitat aus den MLA-Guidelines: “Ask about Evaluation and Support: When candidates for faculty positions first negotiate the terms of their jobs, they should ask how credit for digital work will be considered in terms of teaching, research, and service in the reappointment, tenure, and promotion processes”.[16] Die Empfehlung also: sich informieren!

Die zweite Empfehlung ist eine der wichtigsten: Mut zum Meinungswechsel entwickeln. Dazu gehört, keine Angst davor zu haben, später einen heute im Netz geäußerte Meinung zu revidieren oder zu modifizieren, gerade auch durch den so ermöglichten Austausch mit anderen (tekninen historia).[17]

Dritte Empfehlung: Den Ruf nach Anerkennung durch Förderorganisationen durch zweierlei „eigenen Mut“ unterstreichen (RKB-Blog)[18]:

• Zum Einen gilt es, substanzielle digitale Leistung in welcher Form auch immer (s.o.) in eigenen Bewerbungen/Drittmittelanträgen aufzuführen. Allzu oft wird dies in vorauseilendem Gehorsam nicht getan, mit Rücksicht auf die vermutete Einstellung der Gutachter (vgl. 1.0 Situation).
• Zweitens: Den Mut entwickeln, auch bei einschlägigen Publikationen auf das (scheinbar) renommierte Papiermedium zu verzichten, zugunsten von Open Access und womöglich sogar fluiden Textformaten.

Damit verbunden die deutlich Aufforderung an den Gesetzgeber, mit der Umsetzung der EU-Richtlinie für ein garantiertes Zweitveröffentlichungsrecht für den Autor juristische Klarheit auch bezüglich des „grünen Wegs“ zu schaffen.

Arbeitet kollaborativ und strukturiert dieses gemeinschaftliche Arbeiten: “(…) authors should indicate the roles that they played (and time commitments) at each phase of the project development”, empfiehlt (zu Recht) Todd Presner.[19] Bei kollaborativen Projekten sollte offengelegt werden, wer welchen Beitrag geleistet hat, das erleichtert die Evaluation. Dazu gehört auch die Arbeit an der „Umgebung“, also an der Struktur einer Datenbank oder den Features einer Website.

2. Qualitätsmanagement 

2.0 Situation