Arbeitsgruppe: Sascha Foerster (Max Weber Stiftung, Bonn), Lilian Landes (BSB München), Bertram Triebel (TU Bergakademie Freiberg)

Wir haben uns mit zwei großen Themenfeldern beschäftigt: Evaluierung und Qualitätsmanagement. Bei beiden Themenbereichen beginnen wir mit einer Beschreibung des Status quo, um anschließend so konkret wie möglich Empfehlungen an verschiedene Zielgruppen auszusprechen (an die sich als Ergebnis der Tagung auch das gemeinsame Manifest richten wird), also z.B. Förderorganisationen, Redaktionen und, nicht zu vergessen, auch den wissenschaftlichen Nachwuchs selbst. Viele Punkte können nur angesprochen, nicht ausgeführt werden, wie es ihnen eigentlich zustehen würde. Dieser Beitrag ist gleichzeitig die Auswertung der Blogparade #dhiha5 für den Bereich Evaluierung/Qualitätssicherung.

1. Evaluation

Gemeint sind Antragsverfahren von Forschern und Forschergruppen bei Förderorganisationen, Bewerbungsverfahren um Stellen an Universitäten oder außeruniversitären Forschungseinrichtungen, Stipendien usw.

Zwei Thesen vorab:

• Das Internet verändert die Art, wissenschaftlich zu publizieren. Damit werden sich auch die Evaluierungskriterien ändern müssen.
• Es entstehen neue Formen der wissenschaftlichen Leistung: Aufbau von Datenbanken, Entwicklung technischer Tools oder Programmierung von Codes, Visualisierungen, Big Data, dynamische Bibliographien, Wikis und Vieles mehr. Auch für diese Formate müssen Evaluierungskriterien entwickelt werden, verbunden mit der immer neu zu stellenden Grundfrage: Was ist eine wissenschaftliche Arbeit / Leistung?

1.0 Situation

In den Blogposts, die sich im Vorfeld der Konferenz unserer Thematik annahmen, war der am häufigsten geäußerte Aspekt die derzeitige Nicht-Anerkennung digitaler Medien (Blogs, Wikipedia, Twitter etc.) bei Professoren und (!) Kommilitonen (z.B. tekninen historia, gab_log-Blog, Criticalbits.[1]

Denselben Gedanken etwas anders formuliert das Blog hellojed.[2]: „Geschichte bleibt weiterhin ein Fach, dass die Monographie über den Aufsatz stellt, das Papier über das PDF, das Verlagshaus über den offenen Zugang.“

Generell erscheinen die Fragen von Evaluierung und Anerkennung weniger problematisch bei Monographien oder Open-Access-Zeitschriften (bei Letzteren hakt es eher beim Impact Factor, über dessen Relevanz in den Geisteswissenschaften aber ohnehin gestritten werden darf, weshalb der Aspekt hier ausgeklammert wird). Monographien oder Zeitschriften, die online erscheinen, können mit ISB- bzw. ISS-Nummern ausgestattet und damit formal ihren papiernen Varianten weitgehend gleichgestellt werden. Das Problem beginnt bei genuinen Netzformaten, also Blogs, Mikroblogs, Kommentaren, Wikis (RKB-Blog).[3]

Web-Aktivitäten (hier noch einmal wiederholt eine Auswahl dessen, was wir damit im Folgenden meinen: Datenbanken, Wikis, Tools, Codes, Big Data, Social Media, Blogs, Kommentare, etc.) lassen sich schwer oder gar nicht einbringen bzw. anerkennen bei Förderanträgen, Stipendienbewerbungen u.ä. In der Regel fehlen entsprechende Kategorien in Antragsszenarien der Forschungsförderer, obschon all diese Aktivitäten maßgeblich und identitätsstiftend sind in den Digital Humanists. Dasselbe gilt für Qualifikationsanerkennungen, z.B. hinsichtlich Programmiersprachen und Web 2.0-Kompetenzen.

Grundprobleme: Was wird als wissenschaftliche Leistung anerkannt (erster Schritt, siehe oben) und wie wird jenseits von ISBN und ISSN und Papier evaluiert, wenn wir über Formate sprechen, die (nur) online publiziert werden (können)?

1.1 Empfehlungen an Förderer

Dieser Abschnitt ist teilweise als Empfehlung, teilweise als Frage an die Förderer zu verstehen, etwa an Frau Žic-Fuchs (ESF).

Und mit einer Frage starten wir auch gleich: Wie ist der Ablauf einer Projektevaluierung im Bereich der Digital Humanities bei der ESF, wie geht man etwa mit ihrer zwangsläufigen Interdisziplinarität um?

Online findet man dazu etwa Guidelines der Modern Language Association (MLA)[4], die beispielsweise den Punkt „Engage Qualified Reviewers“ stark machen. Wie schwierig ist es, Gutachter mit umfangreichen Erfahrungen im Umgang mit digitalen Medien zu finden? Damit verbunden: Gutachter sollten das Medienspezifische der Arbeit berücksichtigen, das bedeutet etwa, webbasierte Projekte auch tatsächlich in elektronischer Form zu begutachten und den klassischen Kreis der Reviewer zu erweitern: Neben Geisteswissenschaftlern müssen auch Informatiker, Ingenieure, technische Fachleute befragt werden, um Codes, Datenbanken etc. kompetent einschätzen zu können.

Grundsätzlich sollte eine Anerkennung neuer Publikationsformen erfolgen und die zugrundeliegenden Richtlinien kontinuierlich hinterfragt und ergänzt werden – zumindest bei der Evaluierung genuiner DH-Projekte (dazu auch dhd-Blog)[5]. Todd Presner, Direktor des Center for Digital Humanities an der University of California etwa nennt konkrete Evaluierungskriterien: “support by granting agencies or foundations, number of viewers or contributors to a site and what they contribute, citations in both traditional literature and online (blogs, social media, links, and trackbacks), use or adoption of the project by other scholars and institutions [Kriterium der Prototyp-Entwicklung], conferences and symposia featuring the project, and resonance in public and community outreach (such as museum exhibitions, impact on public policy, adoption in curricula, and so forth).”[6]

Auch das Center for Digital Research in the Humanities an der University of Nebraska gibt konkrete Evaluierungsempfehlungen, so etwa “Peer Review of digital research sites or tools” oder „Technical innovation and sophistication of projects“ oder der zentrale Aspekt der „Long-term accessibility, viability for archival use“.[7]

Entscheidend erscheint uns darüber hinaus, Nachwuchswissenschaftler früh an die Nutzung genuin digitaler Textgenres heran- und von der Arbeit im „stillen Kämmerlein“ wegzuführen. Dafür müssen Anreize geschaffen werden.

In der Blogparade bezog sich diese Forderung naturgemäß auf das Medium Blog (hellojed),[8] so dass an dieser Stelle als positives Beispiel auf die Gerda Henkel Stiftung (Mitveranstalter der Konferenz) verwiesen sei – genauer auf das L.I.S.A. Portal als Ort des Ausprobierens, das Raum für einzelne erste Blogposts bietet, ebenso wie die Förderung von Videoprojekten zur Begleitung von Stipendien.[9]

Web 2.0-Nutzung wird damit belohnt, was Nachwuchswissenschaftler am dringendsten brauchen: Aufmerksamkeit (kommt auch dem Förderer zugute). Hierzu passt gut das Stichwort “Social Media als Wettbewerbsvorteil” über das im Redaktionsblog von de.hypotheses geschrieben wurde.[10]

Gleichzeitig würden damit “Leuchtturm”-Blogs als gute Vorbilder geschaffen. Zur Relevanz von Vorbildern schrieb das gab_log-Blog.[11]

Aber um vom Focus „Blog“ wegzukommen: Zentrales Anliegen der DH ist das Nebeneinander und die Gleichwertigkeit unterschiedlichster Medien – damit das Anliegen, nach Inhalten zu bewerten, unabhängig vom Medium (MinusEinsEbene)[12]. Folglich muss nicht nur das Spektrum akzeptierter Medien und Textgenres erweitert werden, sondern es müssen dabei auch die Spezifika des jeweiligen Mediums berücksichtigt werden.[13]

Zwei letzte kurze Empfehlungen an Förderorganisationen, eher visionärer Natur aber nicht weniger wichtig:

Als Evaluierungskriterium wäre die Frage wünschenswert, wie der Wissenschaftler zur gesellschaftlichen Legitimierung von Wissenschaft beiträgt, eine Frage, die die Förderer selbst bei ihrer Mittelzuwendung durchaus betrifft, nicht berührt von ihr ist dagegen bislang der Wissenschaftler selbst, der ganz am Ende der Förderkette steht. Bei dieser Legitimierungsfrage haben Online-Aktivitäten große Bedeutung.[14]

Und schließlich: Bei der Bewertung von DH-Projekten ist – wir sprechen hier über die Antragsphasen – der Aspekt von “Experimentation and Risk-Taking”[15] (Presner) von zentraler Bedeutung. Beinahe alle dieser Projekte bewegen sich an der Spitze einer Bewegung, die immens raschen Metamorphosen unterworfen ist. Risiko gehört zum Alltag der Digital Humanities.

1.2 Empfehlungen an die (Nachwuchs-)Wissenschaftler

Ganz bewusst wenden wir uns auch an den Nachwuchs selbst, denn der Ruf nach der Veränderung äußerer Bedingungen allein ist unserer Meinung nach nicht ausreichend. Auch wir selbst schaffen neue Voraussetzungen oder zementieren alte Verhältnisse.

Ein Zitat aus den MLA-Guidelines: “Ask about Evaluation and Support: When candidates for faculty positions first negotiate the terms of their jobs, they should ask how credit for digital work will be considered in terms of teaching, research, and service in the reappointment, tenure, and promotion processes”.[16] Die Empfehlung also: sich informieren!

Die zweite Empfehlung ist eine der wichtigsten: Mut zum Meinungswechsel entwickeln. Dazu gehört, keine Angst davor zu haben, später einen heute im Netz geäußerte Meinung zu revidieren oder zu modifizieren, gerade auch durch den so ermöglichten Austausch mit anderen (tekninen historia).[17]

Dritte Empfehlung: Den Ruf nach Anerkennung durch Förderorganisationen durch zweierlei „eigenen Mut“ unterstreichen (RKB-Blog)[18]:

• Zum Einen gilt es, substanzielle digitale Leistung in welcher Form auch immer (s.o.) in eigenen Bewerbungen/Drittmittelanträgen aufzuführen. Allzu oft wird dies in vorauseilendem Gehorsam nicht getan, mit Rücksicht auf die vermutete Einstellung der Gutachter (vgl. 1.0 Situation).
• Zweitens: Den Mut entwickeln, auch bei einschlägigen Publikationen auf das (scheinbar) renommierte Papiermedium zu verzichten, zugunsten von Open Access und womöglich sogar fluiden Textformaten.

Damit verbunden die deutlich Aufforderung an den Gesetzgeber, mit der Umsetzung der EU-Richtlinie für ein garantiertes Zweitveröffentlichungsrecht für den Autor juristische Klarheit auch bezüglich des „grünen Wegs“ zu schaffen.

Arbeitet kollaborativ und strukturiert dieses gemeinschaftliche Arbeiten: “(…) authors should indicate the roles that they played (and time commitments) at each phase of the project development”, empfiehlt (zu Recht) Todd Presner.[19] Bei kollaborativen Projekten sollte offengelegt werden, wer welchen Beitrag geleistet hat, das erleichtert die Evaluation. Dazu gehört auch die Arbeit an der „Umgebung“, also an der Struktur einer Datenbank oder den Features einer Website.

2. Qualitätsmanagement 

2.0 Situation

Der Veröffentlichung vorgelagerte Peer-Review-Verfahren klassischer Journals gelten als wissenschaftlicher Standard. Ansätze zu Open-Peer-Review-Verfahren werden mit wohlwollender Skepsis als Exoten betrachtet.[20]

Ein Zitat aus der Blogparade „Die Wertung, dass gedruckte Bücher mehr wert seien als digitale, hält keiner Debatte stand. Was nichts daran ändert, dass es so gesehen wird“ (MinusEinsEbene).[21] Qualitätssicherung im Digitalen wird dadurch enorm erschwert, denn durch die allgemeine höhere Anerkennung klassischer Publikationsformate (Journals, Monographien) werden die besseren Arbeiten immer noch in der Regel klassisch publiziert.

Diese Skepsis gilt in verschärfter Form für neue Formen, die das übliche Textformat verlassen, d.h. Videos, dynamische Bibliographien, Datenbanken, Podcasts u.ä., da hier die klassischen Qualitätssicherungsverfahren des Papiers anders als bei Online-Monographien oder -Zeitschriften nicht im Digitalen greifen (können).

Digitale Publikationsformen sind gekennzeichnet durch eine tendenzielle “Ent-Hierarchisierung” (Stichwort der Blogparade, DHIP-Blog)[22], und diese Enthierarchisierung wird oft als Gefahr für wissenschaftliche Qualität betrachtet – im Glauben, die Meinung eines Professors müsse eine generell höhere Gewichtung erfahren als etwa jene eines Nachwuchswissenschaftlers.

Gerade in der deutschen Wissenschaftskultur erscheint (klassische) Qualitätssicherung per Peer-Review unantastbar. Der Glaube an neutrale Vorinstanzen als unverzichtbarer Filter ist stark (RKB-Blog).[23] De facto (gerade bei kleineren Zeitschriften) entscheidet häufig die Redaktion nach nicht transparenten Kriterien (ähnlich K. Graf per Kommentar, Redaktionsblog de.hypotheses).[24]

Im Ergebnis stellen sich zwei Grundfragen:

• Überwiegen die Vorteile digitalen Publizierens und neuer Publikationsformen den der vorgelagerten (und häufig schlecht praktizierten) Peer-Reviewing-Verfahren?
• Wie kann Qualitätssicherung im genuin Digitalen funktionieren?

Noch einmal Todd Presner: “Peer review can happen formally through letters of solicitation but also be assessed through online forums, citations and discussions in scholarly venues, grants received from foundations and other sources of funding, and public presentations of the project at conferences and symposia”.[25]

2.1 Empfehlungen an Redaktionen klassischer Formate

Wir beschränken und auf drei Empfehlungen. Die erste greift ein weiteres Stichwort aus dem DHIP-Blog auf, “Beschleunigung”[26]. Beschleunigung wird der Digitalisierung oft vorgeworfen, einige Aspekte davon sind aber im Sinne der Qualitätssteigerung durchaus sinnvoll – etwa die Möglichkeit zum raschen Austausch mit weit entfernt arbeitenden oder sogar bislang unbekannten Kollegen –, woraus die Empfehlung folgt, die eigenen Autoren etwa zum Bloggen im Vorfeld klassischer Publikationen anzuregen.

Zeigen Sie Präsenz in den sozialen Medien, um den Nachwuchs nicht zu “verlieren”.

Einrichtung eines Online-Archivs: Führen Sie je nach Copyright-Situation Verhandlungen mit dem beteiligten Verlag, um eine Embargofrist/Moving Wall zu vermeiden oder so kurz als möglich zu halten.

2.2 Empfehlungen an Online-Redaktionen

Am Beginn steht die grundsätzliche Frage: Wie sinnvoll ist die Übertragung redaktioneller Schranken bzw. geschützter Bereiche vom gedruckten ins Online-Medium? Dahinter verbirgt sich die Illusion eines „fertigen“ Zustands von Texten (die dem Potential von Netzpublikationen entgegensteht). Dahinter steht auch die Illusion, dass ein Text grundsätzlich „wertvoll“ oder „nicht wertvoll“ (ergo nicht publikationswürdig) sein kann (RKB-Blog).[27]

Um der beschriebenen grundlegenden Qualitätsskepsis gegenüber Online-Formaten entgegenzutreten, sollten wissenschaftsspezifische Bereiche gegründet werden, wie es für Blogs etwa durch hypotheses.org passiert ist (RKB-Blog).[28]

Experimentierfreude zulassen! Dazu gehört, die Verbindung von Text, Bild, Video, Social Media u.a. zu erproben, “Prosumer”-orientierte Konzepte zu entwickeln oder neue Formate der Qualitätssicherung wie Open Peer Review (Bsp. Historyblogosphere, s.o.) zu erproben. Voraussetzung: Mindestens ein Mitarbeiter, der Spaß und Know How im Digitalen mitbringt.

In den Kommentaren des RKB-Blogs[29] gab es den Vorschlag (H. Hartmann) folgender Reihenfolge für die Online-Publikation (klassischer Texte): Begutachtung – Online-Publikation – Kommentarmöglichkeiten – regelmäßige Möglichkeit der Stellungnahme zu Kommentaren, bzw. die Chance zu einer modifizierten Publikation. Der Vorschlag erscheint uns als ein Modell für den Übergang. Die vorgelagerte Filterung aus dem Papiermedium wird übernommen, solange eine nachgelagerte Filterung durch zu geringe Beteiligung von Wissenschaftlern nicht gegeben ist (kommentieren, twittern etc. im Sinne von Presner, s.o.). Diese nachgelagerten Mechanismen würde im Idealfall für ein automatisches “Hochspülen” qualitätvoller Beiträge in der Wahrnehmung sorgen, dem „publish-first-filter later-Gedanken“[30] folgend.

Förderung des Mehrwerts elektronischen Publizierens, z.B. von Verlinkungen, Einbettung nicht-textueller Formate, gutes Metadatenmanagement, LZA, URN-Versorgung, Suchmaschinenoptimierung u.ä.

Innovative Formate machen eine regelmäßige Evaluation der Benutzer/innen mit dem Ziel höherer Nutzung/Zufriedenheit erforderlich (mind the gap(s) mit Blick auf Digitalisate).[31]

2.3 Empfehlungen an die (Nachwuchs-)Wissenschaftler

Ebenso wie im Bereich der Evaluation auch hier der Appell, kollaboratives Schreiben aktiv zu praktizieren, das zweifellos an Bedeutung gewinnen wird: entsprechende Tools ausprobieren, das „stille Kämmerchen“ meiden und die Mitstreiter mit Bedacht wählen. Gerade im Bereich des Nachwuchses, wo jeder ein unterschiedliches Maß an Erfahrung mitbringt, führt dies in der Regel zu einem Plus bei der Qualität, nutzt die Vorteile digitalen Arbeitens Multimedialität / Kommunikativität und vermeidet die Gefahr, das Papiermedium lediglich ins Netz zu transferieren.

Sammelt selbst konkrete Erfahrungen! Anne Baillot (Digital Intellectuals[32]) etwa schrieb dazu, ihr Blog begleite das Forschungsprojekt nicht mehr nur (im Sinne eines zeitlichen Zusatzaufwands), es bringe es vielmehr inhaltlich voran. Das bedeutet ein Qualitätsplus

• einerseits “nach außen” (z.B. Vernetzung mit Fachkollegen in aller Welt)
• andererseits “nach innen” durch das Vorsortieren von Gedanken, “Reifungsprozess” von Erkenntnissen durch Blogging als Vorstufe des Schreibens.

Die Haltung der “Mehr-Arbeit” durch Nutzung/Bedienung von Online-Formaten sollte abgelegt werden, wie sie sogar in der Blogparade auftauchte (Kommentare im RKB-Blog)[33]: Dort wurde gefragt, wer das denn alles lesen solle und nachts womöglich noch die Publikationen der Kollegen kommentiere? Wir würden antworten: All das dient der Filterung und Zeitersparnis und ist “nur” in der Übergangszeit ein Phänomen des Mehraufwands – solange zwei Systeme bedient werden, z.B. die klassische Rezension und der Online-Kommentar. Mit der Filterung und damit Qualitätssicherung ist man nicht allein, es bilden sich Kreise, wie man es etwa bald nach der Anmeldung bei Twitter erlebt und positiv überrascht ist über das Mehr an (besserer) Information bei gleichzeitiger Zeitersparnis für den Einzelnen.

2.4 Empfehlungen an Förderorganisationen

Bei DH-Projekten Fördergelder für Wissenschaftskommunikation in Blogs & sozialen Medien ermöglichen, sofern beantragt.

Sinnvoller als die Förderung von „Nachbauten redaktioneller Strukturen“ im Netz sind Erforschung und Umsetzung von Suchsystemen und Metadatenstrukturen, die die Findbarkeit, Zuordnung und Bewertung von Texten erleichtern. Grundprinzip: publish first, filter later (s.o.) bzw. die Erkenntnis, dass der Platz im Netz unbegrenzt ist und auch die schlechteste Publikation im Detail Erkenntnisgewinn für den Fachkollegen birgt (RKB-Blog).[34]

Investitionen in Langzeitarchivierungstechnik sind Grundvoraussetzung für Qualitätsmanagement im Bereich wissenschaftlicher Publikationen (RKB-Blog)[35].

Die Förderung von DH-Projekten auch mit Blick auf Interdisziplinarität verstärken (Stichwort im DHIP-Blog)[36], die einen (überfälligen) Qualitätszuwachs bedeutet.

In Bewerbungsverfahren sollten nicht nur Peer-Review-Veröffentlichungen Berücksichtigung finden, sondern auch andere wissenschaftliche Leistungen anerkannt werden.

Ein Schlusszitat für den Bereich der Qualitätssicherung:

„Bei den Texten im Internet [impliziert: solche ohne redaktionelle Qualitätskontrolle] sollen wir besondere Sorgfalt walten lassen, sie kritisch lesen und zum einen die Belege des Autors überprüfen und zum anderen nach eventuellen versteckten Botschaften suchen. Aber ist das nicht, wie wir jeden Text, gedruckt oder am Monitor, lesen sollten? Ist das Internet jetzt besonders gefährlich oder besinnen wir uns nur durch das Neue wieder auf die kritische Methode?“ (Criticalbits)[37]

3. Schluss

Vielleicht kommen wir in der Diskussion auch zu den Grenzen der Evaluation, denn alles Genannte stößt etwa im Bereich des Mikrobloggigs schnell an Schranken:

Ist Twittern letztendlich, wie in den Kommentaren des RKB-Blogs[38] vorgeschlagen einem Wortbeitrag bei einer Tagung gleichzusetzen, der auch nur einen inoffiziellen Platz im klassischen geisteswissenschaftlichen Währungssystem hat?

Ein letzter Griff in die reichen Erträge der Blogparade, um unsere Präsentation zu beschließen:

„Ich denke, das Interagieren durch Bloggen, Facebook, Twitter, etc. wird in den nächsten Jahren (mit “Jahrzehnten” bin ich in dieser schnelllebigen Zeit vorsichtig) nicht das Publizieren und Vernetzen in den herkömmlichen Weisen ersetzen, sondern nur eine weitere, parallele Form darstellen“ (tekninen historia)[39]. Umso wichtiger, dass wir jetzt damit beginnen, diese neuen Parallelformen adäquat zu berücksichtigen und dafür Methoden der Evaluierung und der Qualitätssicherung zu finden.

Quelle: http://dhdhi.hypotheses.org/1738