Stimmungsbild, Nabelschau

Meine Blogplattform hat demnächst (9. März) Geburtstag und das ist natürlich ein Anlass zu feiern. Ich habe mich ja schon öfter mal darüber geäußert, wie froh ich bin, dass es den de-Ableger von hypotheses.org gibt und mich als einen der dort gehosteten Blogs aufgenommen hat. Die Redaktion hat den schönen Einfall gehabt, zwei Publikumspreise auszuloben – einen für den besten Blog und einen für den besten Blogbeitrag des letzten Jahres (zu den Abstimmungen). TEXperimenTales geht dabei genauso ins Rennen wie die drei Beiträge von mir, die es im Laufe des Jahres in die Slideshow auf der Hauptseite geschafft haben:

Die Konkurrenz ist natürlich groß, so finden sich etwa Klaus Grafs Erwiderung auf den Blogger-Bash von Valentin Groebner und Mareike Königs berühmte Anleitung zum Twittern unter den Nominierten. Ich kenne beileibe nicht alle Blogs der Plattform, die nominiert sind, weiß aber, dass ich den Games-Blog von Sabine Scherz und der Frühneuzeit-Astrologie-Blog von Andreas Lerch immer gern gelesen habe. Dankenswerterweise hat man ja gleich mehrere Stimmen, die man verteilen kann.

podium
Die Gelegenheit ist jetzt wohl günstig, mir auch mal Gedanken darüber zu machen, welche Artikel aus meinem Blog ich denn für gut gelungen halte. Man mag mir diese Nabelschau verzeihen, tue ich sie doch nicht nur, um für meinen Blog zu werben (naja, ein bisschen natürlich schon), sondern um selbst ein  kleines Résumé zu ziehen, welche Posts mir besonders am Herzen liegen. Vielleicht gelingt es mir dabei sogar, zu vermitteln, weshalb ich das Bloggen für eine so sinnvolle Tätigkeit halte.

Platz 5Scheitern als Chance - Dieser Post, in dem ich die Begleitumstände einer wissenschaftlichen, demnächst veröffentlichten Studie schildere, führte mir sehr deutlich vor Augen, wie Blogs ohne weiteres parallel zu Peer-Reviewed-Aufsätzen existieren können. In Zeitschriften oder Sammelbänden finden sich ja meist nur die endgültigen Versuchsaufbauten und Ergebnisse. Wie sie zustande kamen, welche Fallstricke lauerten und welche Lehren man daraus zog – um das zu schildern, braucht man wohl einen Blog. Und da gibt es manchmal vielleicht auch das Interessantere zu lesen.

Platz 4: Wie man Äpfel mit Birnen vergleicht – Über Themen der Stochastik schreibe ich am liebsten aus der Hüfte. Zu diesem Post gab es einen konkreten Anlass, den ich über die alte Weisheit zur Unvergleichlichkeit von Äpfeln und Birnen aufgriff. Das brachte mir immerhin einen Linktipp auf spektrum.de und 250 Klicks an einem Tag ein, was (wenn ich mich recht erinnere) mein bisheriger Besucherrekord war.

Platz 3: Sternstunden der Kryptoanalyse – Diese mitreißende, viel zu unbekannte Geschichte der Steganographia-III-Entschlüsselung zu erzählen, war mir ein Herzensanliegen. Zudem wurde der Protagonist dieser Entschlüsselung – Thomas Ernst – auf mich aufmerksam und kontaktierte mich, was schon zu mehrfachem fruchtbaren Austausch von Gedanken führte.

Platz 2: Über Sprache und Tierkommunikation – Für diesen Post gab ein für mich nicht zufriedenstellender Artikel in einer Wissenschaftszeitschrift den Anstoß. Eine erste Recherche ergab, dass es eigentlich keine wirklich aktuelle Darstellung zum Thema gibt (oder ich sie zumindest nicht fand) und deshalb entschloss ich mich, selbst ein paar aktuellere Studien zu wälzen und diese zusammen mit den historischen Annahmen zu verbloggen.

Platz 1: Heldensage im Reisetagebuch – Die Geschichte meiner Dissertation irgendwann einmal zu beschreiben, hatte ich schon vor, während ich an ihr arbeitete. Zu beeindruckend war für mich, wie man als Wissenschaftler (vielleicht nicht allzu oft, aber tatsächlich) Momente erlebt, in denen man das, was man da gerade tut, von ganzem Herzen liebt. Wenn ich nur einen Funken davon in diesem Blogpost vermitteln konnte, hat er sich schon gelohnt.

Soweit die sehr persönliche Rangliste meiner Blogartikel. Einer der nominierten Beiträge findet sich ja, die beiden anderen kann ich natürlich auch empfehlen, der eine ist halt eine Übersicht über meine ersten Blogs, den anderen stelle ich deshalb nicht heraus, weil ich zum Thema Reproduzierbarkeit eine ganze Reihe von Artikeln geschrieben habe. So fiel es mir schwer, mich für einen zu entscheiden. Wer noch nicht abgestimmt hat, kann das hier für die Beiträge und hier für die Blogs tun. Es muss ja auch nicht TEXperimenTales sein, außerdem hat man insgesamt fünf Stimmen, oben habe ich ja auch schon meine Favoriten genannt. Freuen würde es mich natürlich, landete mein Blog weiter vorne, ist doch klar!

——————

Bild: Sri Chinmoy Marathon Team http://www.srichinmoyraces.org/copyright

Quelle: http://texperimentales.hypotheses.org/800

Weiterlesen

Über Sprache und Tierkommunikation

  Kürzlich erschien in einer populären Wissenschaftszeitschrift ein Artikel1 zur “Gabe der Sprache”, in dem auch thematisiert wurde, ob und in wie weit sich menschliche Sprache von so genannten “Tiersprachen” unterscheidet. In der Klärung dieser Frage blieb der Artikel allerdings sehr vage, was mich ein wenig ärgerte und letztlich dazu veranlasste, selbst etwas darüber zu schreiben. Gradueller oder fundamentaler Unterschied? Die Beschäftigung mit dem Thema blickt auf eine lange Tradition zurück: Schon Aristoteles und Epikur stellten Mutmaßungen über den Status der Verständigung von Tieren untereinander an. Für René Descartes, der in seinem Dualismus streng zwischen Geist und Materie trennte, ist die Sprache Ausdruck des Verstandes, also auf der geistigen Seite der Welt verortet, während Tiere als seelenlose Automaten keine solche haben können. Einen derart fundamentalen Unterschied zwischen menschlicher Sprache und Tierkommunikation nimmt im 20. Jahrhundert auch der Linguist Noam Chomsky an, der Sprache als spezifisch menschliches Organ ansieht, das zwar genetisch determiniert ist, in der Evolution aber lediglich den Menschen zufiel. "Gandhiji's Three Monkeys" von Kalyan Shah, CC-BY-SA Die Gegenposition wird von den Anhängern der Kontinuitiätstheorie vertreten, die von einem Stufenmodell tierischer Kommunikation ausgehen, in dem die menschliche Sprache die höchste bekannte Stufe einnimmt. Einer ihrer Vertreter ist Charles Darwin, der viele Parallelen in der nichtsprachlichen Kommunikation von Menschen und höheren Tierarten ausmacht und die Tatsache der Entwicklung einer komplizierten Lautsprache vor allem auf die Größe und Leistungsfähigkeit des menschlichen Gehirns zurückführt. Die Kontinuitätstheorie hat auch in unserem Jahrhundert noch Anhänger, welche sich vor allem auf Studien zur Kommunikation von Tieren berufen. Natürliches Verhalten oder gezieltes Training? Kommunikation mit Artgenossen ist für viele Tierarten überlebenswichtig, etwa wenn es um die Suche nach Nahrung oder um die Warnung vor Feinden geht. Die komplexesten bekannten Beispiele sind dabei sicherlich der Schwänzeltanz von Honigbienen und das Alarmrufsystem von Meerkatzen. Neben der Beobachtung dieser natürlichen Verhaltensweisen wird oft auch versucht, der Sprachfähigkeit von Tieren über speziell entwickelte Versuchsanordnungen auf die Spur zu kommen. Dazu wird entweder das Vorhandensein von für die menschliche Sprache als grundlegend angenommene Fähigkeiten überprüft (z.B. Kombinationsfähigkeit, Verarbeitung rekursiver Strukturen; darauf gehe ich unten noch genauer ein), oder es wird sogar versucht, mit Tieren über eigens geschaffene Sprachkonstrukte zu kommunizieren. Hinsichtlich solcher sprachbasierter Mensch-Tier-Kommunikation wurden die besten Ergebnissen mit Primaten erzielt. Da Affen nicht über einen Sprechapparat verfügen, der mit dem menschlichen vergleichbar ist, konnte dabei nicht auf verbale Kommunikation zurückgegriffen werden. Stattdessen wurden Gesten oder Symbolbilder entwickelt und den Primaten beigebracht. Diese begriffen mal mehr, mal weniger schnell, dass bestimmte Symbole bzw. Gesten für bestimmte Konzepte standen und sich daraus produktiv eigenständige Kombinationen bilden ließen. So antwortete die trainierte Schimpansendame Washoe etwa, als sie aufgefordert wurde, sich zu Radieschen zu äußern (für die sie keine eigene Geste gelernt hatte) mit einer Kombination der Gesten für “Weinen”, “wehtun” und “Frucht”. Sonderlich geschmeckt hatten sie ihr also nicht. Inhaltliche oder formale Unterschiede? Die Kluft zwischen Mensch- und Tiersprachen scheint also gar nicht so weit und tief zu sein, wie manche bis zur Durchführung der Primaten-Experimente annahmen. Zumindest der produktive Einsatz von Sprachsymbolen scheint auch Tieren gelingen zu können. Ohnehin rütteln neuere Forschungsergebnisse an so gut wie jedem kategoriellen Unterschied, der zwischen der menschlichen Sprache und den Kommunikationssystemen von Tieren postuliert wurde. Der Linguist Charles Hockett erarbeitete eine Aufstellung von 13 Merkmalen, die lautsprachliche Kommunikation auszeichnen. Hockett selbst ist Anhänger der Kontinuitätshypothese, geht also davon aus, dass kein kategorieller Unterschied zwischen der Kommunikation von Tieren und menschlicher Sprache existiert. So finden sich dann auch viele der von Hockett angeführten Merkmale bei verschiedenen Ausprägungen der Tierkommunikation, etwa der Transport von Bedeutung und – wie oben gesehen – die Produktivität.2 Was bleibt also noch an spezifischen Merkmalen für die menschliche Sprache übrig? Lassen sich vielleicht auf inhaltlicher Seite Unterschiede ausmachen, also bei dem, was Anlass der Verständigung ist? Oft heißt es, animale Kommunikation sei an den Moment gebunden, Tiere verständigten sich nicht über Zukünftiges oder Vergangenes. Sie seien auch nicht fähig zur Metasprache, also der Verständigung über die Sprache selbst. Ich halte diese inhaltlich motivierten Unterschiede für schwer überprüfbar, so lange wir z.B. Vogel- und Walgesänge nicht wirklich verstehen. Bleiben die Unterschiede, welche die Form / die Organisiertheit von Sprache betreffen. Nach Chomsky ist ein Wesensmerkmal menschlicher Sprachen, dass sie rekursive Strukturen enthalten. Diese sorgen dafür, dass man mit einem begrenzten Inventar sprachlicher Einheiten und Verknüpfungsregeln prinzipiell unendlich viele Sätze erzeugen kann. Solche rekursiven Strukturen lassen sich z.B. bei sogenannten Schachtelsätzen, also der Einbettung immer neuer Relativsätze, beobachten: Der Löwe, der den Kojoten, der das Pferd, das graste, fraß, jagte, [hat schöne Augen]. Ungeachtet dessen, dass Sätze dieser Art schnell inakzeptabel werden, sind ihre Bildungen prinzipiell möglich. Sie gehorchen dem Schema anbn, das heißt für jedes a (hier: Subjekt) muss genau ein b (hier: Verb) folgen. Und zwar nicht umgehend (das entspräche dem Muster (ab)n und wäre ohne rekursive Bildungsregeln zu erfassen), sondern erst, nachdem alle a aufgezählt wurden. Um einen solchen Satz zu prozessieren ist ein sogenannter Kellerspeicher notwendig, mit dem protokolliert werden kann, wie viele a denn nun auftraten. Gemäß der Chomsky-Hierarchie formaler Sprachen ist ein solches Kommunikationssystem mindestens auf der zweiten, der kontextfreien Stufe anzusiedeln, deren Beherrschung Chomsky eben nur den Menschen zutraut. Tatsächlich schienen Studien an Liszt-Äffchen zu bestätigen, dass diese rekursive Strukturen nicht erkennen konnten. Spätere Forschungen ergaben allerdings, dass Stare damit offensichtlich kein Problem hatten. Damit bleibt eigentlich nur noch ein Strukturmerkmal übrig, das der menschlichen Lautsprache vorbehalten ist: Das Prinzip der doppelten Artikulation Das Prinzip der doppelten Artikulation oder der zweifachen Gliederung, wie es vielleicht weniger irreführend bezeichnet werden könnte, geht auf den französischen Linguisten André Martinet zurück und wird für Zeichensysteme verwendet, die mehrere Gliederungsebenen aufweisen. So findet sich in allen natürlichen Sprachen eine Ebene, welche die grundlegenden sprachlichen Einheiten enthält (Phoneme oder in der Schriftsprache Grapheme), aus denen alle anderen Einheiten zusammengesetzt sind. Diese Einheiten tragen selbst keine Bedeutung, können aber sehr wohl Bedeutung unterscheiden. Aus der Kombination dieser Grundbausteine resultieren größere Einheiten (die kleinsten davon sind Morpheme, die wiederum zu Wörtern, Phrasen, Sätzen usw. kombiniert werden können), welche dann auch mit Bedeutungen verknüpft sind. Ein Beispiel: H und F tragen an sich keine Bedeutung, unterscheiden aber auf formaler (nicht inhaltlicher) Ebene Hund von Fund (ich erspare den Lesenden hier die lautsprachliche Transkription). Dadurch, dass es ein Inventar von Einheiten gibt, die nicht an eine Bedeutung gekoppelt sind, aber Bedeutungen unterscheiden und dazu auf vielfache Art kombiniert werden können, ist die menschliche Sprache so extrem produktiv. Zwar war auch die Schimpansin Washoe produktiv – allerdings nur auf einer Ebene: Sie kombinierte bereits bedeutungstragende Einheiten miteinander. Das gleiche gilt auch für die natürlichen tierischen Kommunikationssysteme Bienentanz und Meerkatzenruf: Ein Symbol trägt eine Bedeutung, kann aber mit anderen bedeutungstragenden Symbolen kombiniert werden. Ist das Prinzip der doppelten Artikulation also die differentia specifica, die menschliche Sprachen von allen anderen Kommunikationssystemen unterscheidet? Das dachte ich zumindest noch bis vor kurzem, fand dann aber diese Studie zu lesenden Pavianen. Offenbar sind die Paviane in der Lage, kleine, an sich nicht bedeutungstragende Einheiten – hier Buchstaben/Grapheme in für sie bedeutungstragende (nämlich Futter versprechende) Wörtern zu identifizieren. Auch wenn die Autoren das nicht thematisieren (ihnen geht es vor allem darum, statistisches Lernen und visuelle Objekterkennung als artübergreifende Fähigkeiten darzustellen), ist die Studie, wenn sie bestätigt wird, ein starker Hinweis darauf, dass nicht nur Menschen doppelt gegliederte Systeme verarbeiten können. Damit wäre auch das letzte der exklusiv der menschlichen Sprach-Kommunikation vorbehaltenen Merkmale gefallen. ———— 1 Im “Gehirn und Geist” Sonderheft “Streit ums Gehirn”, erschienen 01/2013, online leider nur für Abonnenten zugänglich. Dafür hat der Spektrum Verlag aber eine große Themenseite für den Komplex Sprache eingerichtet, wo viele der Artikel frei verfügbar sind. 2 Eine Aufstellung der Hockett’schen Merkmale nebst einer übersichtlichen Tabelle findet sich etwa im (von mir immer sehr enthusiastisch empfohlenen) Buch “Die Cambridge Enzyklopädie der Sprache | The Cambrige Encyclopedia of Language” von David Crystal, CC-BY-SA     

Quelle: http://texperimentales.hypotheses.org/744

Weiterlesen

Reproduzierbar Wissen schaffen

  Aktuell findet auf den Scilogs ein Bloggewitter statt, welches exakt das Thema aufgreift, das mich damals veranlasste, mit dem Bloggen anzufangen – die Frage nach der Bedeutung von Reproduzierbarkeit in der Wissenschaft. Ausgelöst wurde dieses Bloggewitter vom britischen Wissenschaftsautor Ed Yong, der in der aktuellen Ausgabe der Zeitschrift Spektrum der Wissenschaft in einem sehr lesenswerten Artikel1 darlegt, dass eine der zentralen Forderungen der Wissenschaft – eben die Reproduzierbarkeit wissenschaftlicher Ergebnisse – zumindest für das von ihm betrachtete Gebiet der Psychologie eher die Ausnahme denn die Regel darstellt. Das führte zu einer ganzen Reihe von Reaktionen, die verschiedene Sichtweisen aus sehr unterschiedlichen – bisher zumeist naturwissenschaftlichen Bereichen – darlegen. Die Bandbreite der Reaktionen macht deutlich, dass sich die einzelnen wissenschaftlichen Disziplinen (natürlich) nicht über einen Kamm scheren lassen und das Problem der (nicht-)Reproduzierbarkeit von Ergebnissen sehr unterschiedlich ausgeprägt ist. Gleichwohl lässt sich der Tenor wahrnehmen, dass das gegenwärtige wissenschaftliche System vor allem spektakuläre und dadurch manchmal auch spekulative Studien durch Veröffentlichung belohnt, während dröge Überprüfungen von Ergebnissen anderer kaum Beachtung in den angesehenen Zeitschriften finden. Veröffentlichungen in namhaften Journals sind aber weiterhin der wichtigste Treibstoff wissenschaftlicher Karrieren. Diese Konstellation verhindert momentan noch eine wissenschaftliche Kultur, in der die Überprüfung anderer Forscher Studien zum täglichen Geschäft gehört. Abgesehen von diesem allgemeinen Konflikt ergeben sich je nach Gegenstandsbereich spezifischere Probleme, was die Reproduzierbarkeit von Studien bzw. derer Ergebnisse angeht. In der Atom- und der Astrophysik steht es damit offenbar ganz gut, weil die untersuchten Stoffe bzw. beobachteten Weltraumphänomene entweder öffentlich zugänglich oder einfach beschaffbar sind. In der organischen Chemie ist die Reproduktion von Synthesen offensichtlich gang und gäbe, es hapert aber daran, die exakten Bedingungen für Synthesen auf eine nachvollziehbare Art weiterzugeben. Größere Schwierigkeiten machen da Forschungen auf dem Gebieten Psychologie und Medizin, ist doch die Wiederholung von Studien, in denen man viele menschliche Probanden benötigt, mit hohen Kosten verbunden. Die Strategien, dem Problem nicht-reproduzierbarer Studien zu begegen, weisen in zwei Richtungen: Auf der einen Seite werden Plattformen geschaffen, auf denen wiederholte Studien veröffentlicht werden können. Das engagierteste Projekt in dieser Richtung ist sicherlich die Reproducibility Initiative, die Autoren von Studien quasi ein rundum-Sorglos-Paket anbietet, indem sie die Wiederholung der Experimente durch unabhängige Wissenschaftler organisiert. Das kostet natürlich und wird im gegenwärtigen Umfeld sicherlich noch nicht allzu stark nachgefragt werden. Wenn sich aber die wissenschaftliche Kultur ändern sollte (was sie wohl v.a. durch Druck von außen – hier von den großen Förderinstitutionen – tun dürfte), denke ich, dass einem solchen Modell die Zukunft gehört. Die andere Stoßrichtung, das Problem in den Griff zu bekommen, ist die Änderung der Veröffentlichungskultur. In Artikeln sind die durchgeführten Experimente und die zugrundeliegenden Daten meist nicht vollständig beschrieben. Solche Artikel würde wohl auch niemand lesen wollen. Es lässt sich aber im besten Fall einrichten, dass man die verwendeten Daten und die eingesetzte Software als Supplemente zu den eigentlichen Artikeln veröffentlicht. Eine solche Kultur der Transparenz würde der Überprüfung, aber auch der Weiterentwicklung der vorgestellten Methoden immens dienen. Sehr interessant ist das Virtual Observatory aus dem Bereich der Astronomie, welches in gleich zwei Artikeln des Bloggewitters thematisiert wird. Letzteres entspricht auch ungefähr dem Ansatz, den wir im Bereich der Textprozessierung mit unserem Text Engineering Software Laboratory (kurz Tesla) verfolgen. Grob kann man sich dieses virtuelle Labor als Verpackungsmaschine für Experimente vorstellen, die auf textuellen Daten operieren. Mit Texten sind dabei nicht nur natürlichsprachliche gemeint, sondern prinzipiell alles, was sich in Sequenzen diskreter Einheiten darstellen lässt – das gilt mit Einschränkungen ja auch für Proteine und Nucleinsäureketten sowie Partituren von Musikstücken. Der Ansatz ist der, dass wir einen beliebig erweiterbaren Werkzeugkasten anbieten, der als Open Source öffentlich zugänglich ist. Die Werkzeuge sind miteinander kombinierbar, so dass man daraus Workflows zusammenstellen kann, deren Konfiguration mit einer Referenz auf die verwendeten Rohdaten in einer Art virtuellem Laborbuch gespeichert werden. Aus diesem Laborbuch lassen sich einzelne Experimente freigeben und auf Plattformen zum Austausch von Workflows (z.B. MyExperiment) sharen. Sind die Rohdaten verfügbar, so lassen sich die Experimente jederzeit wiederholen, die Konfiguration der einzelnen Werkzeuge, deren Sourcecode und die Art ihrer Zusammenstellung im Workflow sind dabei vollständig transparent.   Der Workflow-Editor von Tesla. Zu sehen ist die Kombination von Werkzeugen (Kästen) durch Verbindung der Ein-/Ausgabeschnittstellen. Wir haben uns darum bemüht, die Benutzung des Werkzeugkastens/der Experimentverpackungsmaschine möglichst eingängig zu modellieren, weil wir damit die Hoffnung verbinden, dass sich möglichst viele Nutzer auf das System einlassen, einzelne Werkzeuge evaluieren und eventuell sogar neue erstellen. Die Weitergabe kompletter Experimente kann nämlich nicht nur dazu genutzt werden, um anderer Forscher Studien zu wiederholen, sondern im Idealfall auch, direkt auf diesen aufzusetzen oder durch Modifikationen (durch Austausch oder Rekonfiguration der Werkzeuge oder die Anwendung auf eine andere Datenbasis) zu besseren Ergebnissen zu kommen. Auch wenn wir noch viel Arbeit vor uns haben, was die noch einfachere Benutzbarkeit und die verbesserte Ausstattung von Tesla angeht, sind die Rückmeldungen der ersten Anwender von Tesla außerhalb unseres Lehrstuhls sehr positiv, so dass wir glauben, dass derartige Systeme in Zukunft stärker genutzt werden und die Möglichkeiten des wissenschaftlichen Austauschs sowie der Überprüfbarkeit von Studienergebnissen erweitern.

Quelle: http://texperimentales.hypotheses.org/692

Weiterlesen

Scheitern als Chance – Testen durch Fehler

Momentan experimentiere ich mit Marcos Zampieri zu Eigenschaften von brasilianisch-portugiesischen Internettexten. Dabei geht es unter anderem darum, spezifisches Vokabular aus diesen zu extrahieren und anhand dieses Vokabulars die Texte wiederum nach ihrer Internetness zu klassifizieren. Die Studie erscheint demnächst als Paper, hier will ich deswegen nicht über die Ergebnisse schreiben, sondern nur eine (zumindest für uns) lehrreiche Begebenheit aus der Entwicklungsphase schildern.

Aus wissenschaftlichen Veröffentlichungen lässt sich nur in den seltensten Fällen herauslesen, welche Fehlschläge auf dem Weg zu den letztlich öffentlich gemachten Versuchsaufbauten und Ergebnissen die Autoren hinnehmen mussten. Um zu zeigen, dass solche Fehlschläge durchaus fruchtbar sein können, muss ich zunächst etwas weiter ausholen und bei den drei Gütekriterien empirischer Studien beginnen, die ja, wie allgemein bekannt, die folgenden sind:

  • Validität – Misst das gewählte Verfahren tatsächlich das, was es messen soll?
  • Reliabilität – Funktioniert die Messung zuverlässig, sind die Ergebnisse im Wiederholungsfall stabil?
  • Objektivität – Wurden die Ergebnisse unabhängig vom Prüfer erzielt?

Auch wenn man – wie wir – ein Labor gebaut hat, in dem alles, was man experimentell anstellt, protokolliert wird, so dass die Ergebnisse im Normalfall (d.h., wenn man die Ausgangsdaten und die Werkzeuge in den entsprechenden Versionen nicht verlegt) jederzeit reproduziert werden können, sind diese drei Kriterien natürlich nicht automatisch erfüllt.

Wir (Computer)Linguisten wollen z.B. Aussagen über Sprache treffen und analysieren dafür Sprachdaten. Diese Aussagen sind natürlich immer abhängig von der Auswahl der Sprachdaten, die wir getroffen haben. Natürliche Sprachen sind ja leider kein abgeschlossenes System (im Gegensatz z.B. zum Text aus dem Voynich Manuskript, jedenfalls solange dessen fehlende Seiten nicht irgendwo auftauchen). Die Auswahl betrifft vor allem die beiden letzten oben genannten Gütekriterien, die Reliabilität (bleiben die Aussagen gleich, wenn ich eine andere Auswahl treffe) und Objektivität (bleiben die Aussagen gleich, auch wenn jemand anders die Auswahl trifft).

Die Validität betrifft mehr die Werkzeuge, die im Analyseprozess verwendet werden – zunächst einmal müssen sie korrekt funktionieren (wer selbst einmal Algorithmen implementiert hat, weiß wahrscheinlich sehr gut, welche Fehler dabei auftreten können). Darüber hinaus muss aber auch irgendwie festgestellt werden, ob sich die Messungen der gewählten Werkzeuge wirklich dazu eignen, darauf die zu treffenden Aussagen zu gründen.

Im  kombinierten Programmier/Experimentier-Prozess, in dem man sich befindet, wenn man neue Werkzeuge erstellt, die dann auch umgehend für empirische Studien eingesetzt werden, muss man sich überlegen, wie man die Validität denn am besten testen kann. Und um jetzt endlich zum Punkt dieses Artikels zu kommen: Ich möchte hier einen solchen Test beschreiben, der in der Form gar nicht geplant war und nur durch einen Fehler zustande kam.

Um, wie wir das vorhatten, die Internetness von Texten bzw. Dokumenten zu ermitteln, kann man sie z.B. mit einem Referenzkorpus vergleichen und schauen, inwieweit sich Spezifika in Abgrenzung zu diesem ermitteln lassen. Es gibt unterschiedliche Methoden, die Keywordness von einzelnen Termen (Wörtern) zu berechnen, im Bereich des Information Retrieval (also im Umfeld von Suchmaschinen) wird häufig der Quotient aus Termfrequenz und inverser Dokumentfrequenz (TF/IDF) hinzugezogen. Für den Vergleich von Korpora eignet sich unserer Meinung nach die Berechnung der Log-Likelihood-Ratio (LLR) für einzelne Termes besser. Um es ganz simpel zu erklären: Das Vorzeichen der LLR gibt für jeden Term an, ob er stärker mit dem Untersuchungskorpus oder mit dem Referenzkorpus assoziiert ist. Noch einfacher: In welchem Korpus er häufiger vorkommt. Allerdings zählen dabei nicht die absoluten Häufigkeitsunterschiede (welche die frequentesten Wörter, also {und, der, die, das} usw. aufweisen würden), die LLR relativiert diese stattdessen (wie sie das tut, passt gerade nicht hier rein). Summiert man nun die LLR-Werte der Token jedes Korpus-Dokumentes und teilt diese Summe durch die Länge des entsprechenden Dokuments, so erhält man vergleichbare Internetness-Werte für jedes Dokument.


Ein Experiment, das den im Text beschriebenen Workflow über einzelne Komponenten realisiert. Von oben nach unten: Korpora, Tokenizer, Frequenz-Zähler, LLR-Berechner, Ranker für Dokumente (die hier in Paragraphen repräsentiert sind) nach den LLR-Werten ihres Vokabulars.

Auf den ersten Blick war fatal, dass uns der Fehler unterlief, unsere Korpora mit Texten unterschiedlicher Encodings zu bestücken. Das ist für Tesla normalerweise kein Problem, wenn nicht gerade alle zusammen in einem Archiv hochgeladen werden, was wir aber getan haben. Das Resultat war, dass alle Wörter mit Umlauten im Internet-Korpus korrekt dargestellt wurden, diese aber im Referenz-Korpus nie auftauchten, weil dessen Encoding zerschossen war. Resultat war, dass não (portugiesisch für nein, falsch encodiert não), offenbar in unserem Korpus das frequenteste Wort mit Sonderzeichen, den höchsten LLR-Wert erhielt. Texte, die lediglich aus não bestanden, bekamen deshalb den höchsten Wert für ihre Internetness.

Das Ergebnis entsprach natürlich keinesfalls dem, das wir erhalten wollten, dennoch hatte die Tatsache, dass wir einen so blöden Fehler gemacht hatten, auch einen gewichtigen Vorteil: Dadurch, dass wir ein so falsches, aber absolut nachvollziehbares Ergebnis erhielten, konnten wir Rückschlüsse bezüglich der Validität des Verfahrens bzw. die Richtigkeit der Algorithmen-Implementationen innerhalb der Komponenten ziehen: Wir hatten genau das gemessen, was aufgrund unseres Fehlers gemessen werden musste. Den Fehler konnten wir einfach korrigieren, die Ergebnisse veränderten sich dementsprechend – auch wenn sie weiterhin bemerkenswerte, durch die Korporaauswahl bedingte, Artefakte enthalten (da muss ich allerdings auf die wissenschaftliche Veröffentlichung vertrösten). Wir waren in einem ersten Versuch gescheitert, aber gerade dieses Scheitern hatte uns einen relativ starken Hinweis auf die Validität unseres Verfahrens gegeben. Und ich finde, das ist schon einen Blogpost wert, zumal solche produktiven Fehlschläge nur sehr selten Platz in wissenschaftlichen Veröffentlichungen finden.

 

 

Quelle: http://texperimentales.hypotheses.org/620

Weiterlesen

Ein Jahr Blogger

Vor etwas mehr als einem Jahr, am 26.10.2011, habe ich – damals noch auf der Plattform Posterous - meinen ersten wissenschaftlichen Blogpost geschrieben. Wie ich genau darauf gekommen bin, mit dem Bloggen anzufangen, weiß ich bis heute nicht genau. Vielleicht lag es vor allem daran, dass ich kurz vorher meine Dissertation abgegeben hatte und irgendeine Form von Kompensation brauchte, meine Schreiblücke aufzufüllen. Ein weiterer Grund war sicherlich, dass ich Werbung machen wollte für Tesla, also die Software, die wir im Zug zweier paralleler Dissertationen an unserem Lehrstuhl entwickelt hatten. Zwar hatten wir das System schon auf diversen Konferenzen vorgestellt, Artikel verfasst und eine verhältnismäßig gut dokumentierte Webseite [just heute migrieren wir auf einen neuen Server, sorry, Link schalte ich morgen wieder frei] angelegt, irgendwie hatte ich aber das Gefühl, dass ich mehr Leute von unserem Konzept, empirisch-experimentelle Wissenschaft über Textdaten zu betreiben, erreichen könnte, würde ich nur neue Kommunikationskanäle nutzen (fast genau ein Jahr vorher bin ich zum Twitterer geworden, aber die Geschichte erzähle ich demnächst woanders).

Tatsächlich bloggte ich anfangs wohl vor allem für mich und vielleicht für ein paar Student|inn|en, die daran interessiert waren, was ihr Dozent so treibt, wenn er sie nicht gerade mit Unterricht belästigt (mit, ich habe mit geschrieben). Allerdings ist es mir aber nach und nach gelungen (da hat sicher auch mein Twitter-Profil viel beigetragen), mehr Interessenten auf die Seite zu locken und teilweise wurde gar kommentiert, u.a. auch von Mareike König, die ja bekanntermaßen das Sprachrohr dieser Plattform hier ist. Als de.hypotheses dann im Frühjahr diesen Jahres an den Start ging, bekam ich das (Twitter) mit und fand das Konzept einer geisteswissenschaftlichen Blogplattform so stimmig, dass ich mich fast umgehend darum bewarb, dorthin wechseln zu dürfen.

Ich habe diesen Entschluss bisher noch zu keinem Zeitpunkt bereut – die Plattform ist phantastisch betreut, bei Problemen erhält man umgehend Rückmeldung (Twitter) und Hilfe und man muss nicht mehr ganz allein die Werbetrommel für seinen Blog rühren (Twitter), tatsächlich bekommt man auch eine Menge Laufkundschaft dadurch, dass die eigenen Artikel auf der Protalseite verlinkt sind. Nicht zu unterschätzen ist auch, dass man weiß, dass das, was man so im Blog verbricht, zumindest von der hypotheses-Redaktion gelesen wird. Bei Gefallen bekommt man einen prominenten Platz auf der Portalseite, was zumindest mich zusätzlich anspornt (mit meinem ersten Artikel hier bin ich sogar Headliner mit unterlegtem Bild geworden; ich schiebe es mal darauf, dass es da noch nicht viele Blogs gab…). Ein weiterer Vorteil wäre die Vernetzung mit anderen Bloggern aus der Linguistik/Computerlinguistik-Szene, wenn es die hier denn geben würde. Noch bin ich vor allem von Historikern umgeben, aber vielleicht ändert sich das ja noch (Und ja, das ist ein Aufruf!).

Die Vergrößerung der Reichweite meines Blogs über die letzten Monate kann ich mir über das Analysetool von WordPress selbst anschauen, allerdings ist immer schwer zu ermitteln, ob sich gerade wirkliche Besucher auf meine Seite verirrt haben, oder ob sich lediglich ein paar Bots austoben. Wichtiger sind da Retweets meiner Werbetweets von anderen Twitter-Nutzern, Likes bei Facebook, +1en bei Google+, vor allem aber Pingbacks aus anderen Blogs, Empfehlungen auf anderen Plattformen (Webwatch auf spektrum.de) und – nicht zu vergessen – Leser-Kommentare, die mir zeigen, dass sich tatsächlich echte Menschen mit den von mir geäußerten Gedanken befassen. Wirklich geadelt fühlte ich mich, als ein Beitrag für gut genug befunden wurde, um bei den Scilogs zu erscheinen.

Inzwischen nutze ich Links auf einzelne Blogposts oft dazu, potentiell an unserer Software Tesla Interessenten einen ersten Eindruck zu geben, was genau die Vorteile sind, wenn man sich darauf einlässt, unser virtuelles Labor zu nutzen. Oder um meine Theorie zur Entstehung des Textes im Voynich-Manuskript knapp zu erläutern. Oft – wie gerade jetzt – verfalle ich auch ins Meta-Bloggen, also in die bloggende Betrachtung des Bloggens selbst. Ich verspreche aber, dass ich mich in nächster Zeit wieder um Sachthemen aus meinem angestammten Wissenschaftsbereich kümmern werde. Bloggen macht Spaß, darf aber nicht zum Selbstzweck werden…

Quelle: http://texperimentales.hypotheses.org/572

Weiterlesen

Plagiatsverwirrung leichtgemacht

Ich bin mir immer noch nicht sicher, wie ich mich zum Plagiatsfall der Bundesministerin für Bildung und Forschung, Annette Schavan, stellen soll. Als der Fall öffentlich wurde, habe ich mir ungefähr die Hälfte der damals angezeigten Fundstellen für Plagiate angeschaut und nichts besonders Weltbewegendes gefunden. Deshalb hatte ich der Bundesministerin vorerst abgenommen, dass sich die “Unsauberkeiten”, zu denen etwa Zitate aus zweiter Hand gehörten, durch die damalige Arbeitsweise mit Zettelkasten statt Rechnerunterstützung ergaben. Auch wenn ich mir jetzt einzelne Fundstellen im eigens für die Untersuchung dieser Dissertation eingerichteten Schavanplag ansehe, finde ich vor allem Grenzfälle zum Plagiat, die mit Sicherheit in jeder wissenschaftlichen Arbeit vorkommen, die aber bei gehäuften Auftreten gewiss auf die ein oder andere Art sanktioniert werden müssten.

Der Fall Schavan ist kein Fall Guttenberg, heißt es immer wieder und das ist natürlich richtig. Das ist allerdings auch eine Nullaussage – kein Fall, der auf der Plattform Vroniplag untersucht wurde, kommt auch nur in die Nähe der phantastischen Arbeit des ehemaligen Verteidigungsministers, die ich nach wie vor eher für ein Kollagenkunstwerk denn für irgend etwas anderes halte. Das wird besonders deutlich, wenn man die Daten auf eine geeignete Weise visualisiert bekommt, wie das etwa der “User 8″ im Guttenplagwiki gemacht hat:


Visualisierung der Fundstellen in Guttenbergs Dissertation, Quelle: http://images2.wikia.nocookie.net/__cb20110403154536/guttenplag/de/images/8/86/Thumb_xxl.png

Visualisierungen sind natürlich immer nur Abstraktionen der eigentlichen Daten, die uns aber bei der Interpretation helfen können (auch Tesla, unser Programm zur Textprozessierung, verfügt deswegen über eine Reihe von Visualisieren, die ich hier schon einmal vorgestellt habe).

Solche Vereinfachungen der Datenlage sind aber auch gefährlich, wie ein aktuelles Beispiel aus der Online-Ausgabe der Süddeutschen zeigt: Offenbar völlig losgelöst von der Arbeit, die bei Schavanplag öffentlich und nachvollziehbar geleistet wurde, verlinkt der betreffende Artikel eine anscheinend in Eigenregie erstellte “Interaktive Grafik”, die im guten Fall nur Naivität der Onlineredaktion ausdrückt, im schlechten Fall dazu dienen soll, die Öffentlichkeit über den Fall Schavan bewusst irrezuführen.

Insgesamt werden 10 Seiten der Dissertation von Frau Schavan “Originalquellen” gegenübergestellt. Durch gelbe und graue Unterlegungen sollen dabei “textidentische” und “geringfügig abweichende Entsprechungen” kenntlich gemacht werden. Betrachtet man die erste der aufgeführten Seiten näher, wird einem bewusst, was für einen Bock die Süddeutsche hier geschossen hat:

“Interaktive” Gegenüberstellung der Dissertation von Schavan mit “Originalquellen”, Seite 62 auf sueddeutsche.de

Bemerkenswert ist zunächst, dass die Seite 62 im Schavanplag überhaupt nicht als Seite auftaucht, die ein mögliches Plagiat enthält. Haben da die investigativen Süddeutsche-Leute etwa präziser gearbeitet als das Wiki-Kollektiv? Mitnichten – wenn man einen genaueren Blick auf die Gegenüberstellung wirft, fällt einem auf, dass die Originalquellen hier zwei Texte von Luhmann sind, die gleich mehrfach von Frau Schavan referenziert werden, sowohl im Text (“will Niklas Luhmann”, “Luhmann äußert”), als auch in Fußnoten (genaue Angaben der Werke inkl. Seitenzahlen; nicht im Bild). Die Übernahme bzw. Klärung von Luhmanns Schlüsselbegriffen (einzelne Wörter!) als Plagiat zu kennzeichnen ist genauso lächerlich wie gefährlich – was sollen denn die armen jungen Menschen denken, die wissenschaftliche Arbeiten verfassen müssen und dann mit sowas konfrontiert werden?

Ich weiß nicht, was die Süddeutsche in dem Fall geritten hat – wie geschrieben basiert das Ganze im besseren Fall auf einem Versehen, im weniger verzeihlichen Fall auf Ahnungslosigkeit. Im Kontext des einbettenden Artikels könnte man auch auf die Idee kommen, dass die Süddeutsche hier die Öffentlichkeit bewusst verwirren will, um den Fall Schavan mit unlauteren Mitteln zu verharmlosen.

Über die Reaktion der Süddeutschen berichtet ein Update-Artikel, außerdem wurde die chronologische Entwicklung in einem Storify zusammengestellt.

 

Quelle: http://texperimentales.hypotheses.org/543

Weiterlesen

Traut euch!

Wer hier öfter mal reinschaut, wird mitbekommen haben, dass mein letzter größerer Post nicht hier veröffentlicht wurde, sondern Ende letzter Woche als Gastbeitrag im Fischblog, dem Blog von Lars Fischer bei den Scilogs erschien. Hintergrund der Aktion war, dass Lars über Twitter Geisteswissenschaftler dazu aufgerufen hatte, Gastbeiträge einzureichen, um damit ihr Fachgebiet einem größeren (und vorwiegend naturwissenschaftlich orientierten) Publikum näherzubringen.

Ich habe diese Aufforderung gerne angenommen, auch weil ich ein regelmäßiger Leser des Fischblogs bin (Untertitel:”Wissenschaft für alle”), wo Themen aus den unterschiedlichsten Spektren unterhaltsam aufbereitet werden, aber zugleich so informativ sind, dass man nach der Lektüre zumindest glaubt, beim nächsten Gespräch darüber mitreden zu können. Als es noch Ranglisten zur Beliebtheit und Reichweite wissenschaftlicher Blogs gab (ich finde jedenfalls keine mehr, die nach September 2011 erschienen ist), war der Fischblog immer mit vorne dabei. Ich sah es daher als eine Herausforderung an, etwas für diesen Blog zu schreiben, und als eine Ehre, falls das dann auch angenommen würde.

Für mich bot sich durch die Aktion auch die Gelegenheit, noch einmal einen Bogen zu schlagen über die Posts, die ich hier vorher veröffentlicht hatte und dabei die Grundlagen darzustellen, auf denen ich meine wissenschaftliche Arbeit aufbaue. Das war nicht gerade einfach – ich hatte eben nur diesen einen Schuss (Gastbeitrag) frei, in dem das gelingen musste. Tatsächlich wurde es so auch der Artikel, an dem ich am längsten gearbeitet habe, als ich mich fertig wähnte, hat Lars noch einige Einwände gehabt, die allesamt berechtigt waren und deren Beherzigung den Artikel noch den letzten Schliff gaben. Letzten Freitag ging der Artikel dann online und ich durfte ihn selbst mitankündigen:

Was lange währt, spuckt endlich Blut – der @fischblog hat tatsächlich meinen Gastbeitrag veröffentlicht – scilogs.de/wblogs/blog/fi…

— jhermes (@spinfoCL) September 14, 2012

Ich bin wirklich froh, den Schritt auf die (für mich) großen Scilogs gegangen zu sein, obwohl ich mich hier, beim (noch) kleinen Schwesterportal de.hypotheses, weiterhin sehr wohl, weil gut betreut fühle.

Mit einem Mal hatte sich meine Reichweite vervielfacht. Während ich hier positiv geschätzt (wenn man das Grundrauschen abzieht) vielleicht 200 Leser bzw. Klicks pro Post habe, waren es jetzt auf den Scilogs mehr als 1500. Seit ich bei de.hypotheses bin, muss ich nicht mehr alleine auf meine Posts aufmerksam machen (was übrigens auch ein guter Grund ist, hierher zu wechseln), von 37 Tweets bzw. Retweets auf Twitter bin ich aber sonst weit entfernt. Zumal eine Reihe von Tweets auch mit lobenden Kommentaren versehen waren, habe ich mich sehr darüber gefreut.

Der Austausch mit Lars, der eine explizit naturwissenschaftliche Position in der Auseinandersetzung auf meinen Text eingenommen hat, war sehr fruchtbar. Sowohl für das Hinterfragen der eigenen Grundlagen, als auch in der Verteidigung unserer Art, Wissenschaft zu betreiben. Hier, bei de.hypotheses ist ein tolles Blogportal entstanden, in dem wir Geisteswissenschaftler in unseren schon sehr heterogenen Forschungsbereichen austauschen können und wo wir uns gegenseitig über die Schultern schauen lassen. Dort, bei den Scilogs, möchte der Fischblog uns die Möglichkeit bieten, unsere wissenschaftliche Arbeit einem größeren, eher naturwissenschaftlich geprägten Publikum, zugänglich zu machen. Ich habe meinen Gastbeitrag mit der Feststellung begonnen, dass Geisteswissenschaft bei vielen Naturwissenschaftlern einen schweren Stand hat und dass ich den gerne verbessern würde. Kann ich aber natürlich nicht alleine – wenn überhaupt (bin ja nur Computerlinguist) habe ich allenfalls eine kleine Stehhilfe bauen können, zumindest waren die ersten Reaktionen positiv. Deshalb fände ich es schön, wenn noch weitere Geisteswissenschaftler diesem Aufruf folgen würden:

Der Gastbeitrag von @spinfocl war ein voller Erfolg. scilogs.de/wblogs/blog/fi… Suche weiterhin Gastbeitrag-willige Geisteswissenschaftler. #blog

— Lars Fischer (@Fischblog) September 17, 2012

Wenn ich die Reaktionen meiner Redaktion hier richtig gedeutet habe, ist sie auch nicht böse, wenn man diese Plattform vorübergehend untreu wird. Schließlich ist ein Blogpost ja auch immer Werbung – für das Blogportal, für den eigenen Forschungsbereich, für den eigenen wissenschaftlichen Ansatz und – natürlich – auch für sich selbst. Also: Traut euch!

Lars Fischer ist ganz einfach über www.scilogs.de oder seinen Twitteraccount @Fischblog zu erreichen.

 

Quelle: http://texperimentales.hypotheses.org/506

Weiterlesen

Der virtuelle Selbstbedienungsladen

Bis zum Semesterstart bei uns ist es ja noch etwas hin, was jetzt sicher nicht jeden todtraurig macht. Während die Universität allmählich aus dem Sommerschlaf erwacht (naja, bei uns an der Uni Köln war nicht viel mit Ruhe, da momentan an jeder Ecke lautstark gebaut wird), beginnt für viele wahrscheinlich gerade die heiße Phase der abzugebenden oder zu korrigierenden Hausarbeiten und/oder Wiederholungsklausuren. Vielleicht besucht auch der eine oder die andere für das Studium vorgeschriebene Propädeutikveranstaltungen oder bildet sich über Ferienkurse weiter, wie sie z.B. von unserem Rechenzentrum angeboten werden.

Neben diesen Angeboten, die nur lokal verfügbar sind (und die man – zumindest offiziell nur nutzen kann, wenn man Angehörige|r der diese Kurse anbietenden Institution ist), bietet auch unsere vernetzte Welt inzwischen sehr lohnenswerte Möglichkeiten zum akademischen Zeitvertreib. Apple, stets bestrebt, den Austausch sämtlicher Medien über die iTunes-Plattform zu kontrollieren, bietet etwa mit iTunes U eine inzwischen fast unüberschaubare Fülle von universitären Veranstaltungen in den verschiedensten Formaten (Vorlesungsskript, Folienpräsentation, Audio- und Video-Podcasts) an. Auch die Universität zu Köln mischt da inzwischen mit, ihr Angebot ist allerdings noch ausbaufähig.

Was bei diesen Angeboten fehlt, ist eine interaktive Komponente, die Vermittlung von Wissen ist auf eine Art Fernsehschauen reduziert. Für bestimmte Arten von Veranstaltungen mag das ausreichend sein, andere leben aber davon, dass Fragen gestellt werden können, dass Lernfortschritte von beiden Seiten (Lehrende und Lernende) durch Hausaufgaben oder Klausuren überprüft werden und dass Teilnehmer|innen unter sich und mit der Dozentin bzw. dem Dozenten ins Gespräch kommen. Sehr interessant ist da z.B. der Ansatz, den Christian Spannagel mit seinem “inverted classroom” verfolgt: Er hat seine Mathevorlesung in einem früheren Semester aufgezeichnet, seitdem müssen sich die Teilnehmer|innen diese zu bestimmten Terminen anschauen und Aufgaben lösen, die den dort behandelten Stoff betreffen. Die gemeinsam verbrachte Zeit, die sonst für die Vermittlung des immer gleichen Stoffs draufgegangen ist, steht jetzt zur Verfügung, um Fragen zu den behandelten Themen zu klären und darüber zu diskutieren. Ich könnte mir gut vorstellen, etwas ähnliches irgendwann mal bei meiner Einführung in die Computerlinguistik oder bei unserem Java-Programmierkurs zu versuchen.

Worauf ich eigentlich hinauswollte (mal wieder gerät eine Hinführung zu meinem intendierten Blogthema länger als geplant) ist die Vorstellung zweier Plattformen, auf denen komplette (bisher lediglich englischsprachige) Online-Kurse besucht werden können: Udacity und Coursera. Während die Kurse bei Udacity momentan noch sehr auf technische Themen beschränkt sind, stellt sich Coursera bereits etwas breiter auf, insgesamt kann man Kurse aus 16 Kategorien belegen, die von (zufällig auch) 16 verschiedenen Universitäten angeboten werden.


Die 16 Universitäten, die bei Coursera mitmachen – auch die Ivy-League ist vertreten.

Ich selbst habe sehr gute Erfahrungen mit dem Kurs Natural Language Processing” von den beiden NLP-Koryphäen Dan Jurafsky und Christopher Manning (Stanford University) gemacht. Gut, ich war jetzt nicht die direkte Zielgruppe (schließlich bin ich kein Undergraduate mehr), dennoch hatte ich viel Freude bei der Sichtung der Videos mit den beiden Dozenten, der Lösung der Programmieraufgaben und der Mini-Klausuren, die jede Woche gestellt wurden. Eine starke Motivation, die Aufgaben möglichst gut und vor allem rechtzeitig einzureichen war, dass es ansonsten Punktabzüge setzte. Das wollte ich tunlichst vermeiden, weil es irgendwie meinen Sportsgeist herausgefordert hatte, den Kurs möglichst gut zu bestehen. Klar musste ich auch abwägen zwischen Aufwand und Ertrag, so dass ich nicht jede Programmieraufgabe bis zur 100%-Bewertung optimiert hatte, dennoch bin ich mit dem Ergebnis, das bei mir auf dem am Ende des Kurses verschickte Diplom steht, größtenteils zufrieden.

Um das Diplom ging es mir aber gar nicht, vielmehr wollte ich erstens die Möglichkeiten eines Online-Kurses einmal selbst an einem konkreten Beispiel testen, zweitens meine Vermittlungsmethoden und den Aufbau meines Kurses hinterfragen und eventuell neu ausrichten. Dass ich dafür ein Angebot von zwei der bekanntesten und didaktisch wirklich verdammt guten Computerlinguisten nutzen konnte, hätte ich vor einiger Zeit auch nicht gedacht – das ist eben eine Möglichkeit, die ich erst seit Coursera habe. Klar werde ich den Kurs nicht 1:1 übernehmen – nicht alle meine Studierenden können bereits programmieren, wenn sie meine Veranstaltung belegen, außerdem setzt der NLP-Kurs bereits die Kenntnis linguistischer Einheiten voraus, was bei mir nicht möglich ist. Aber einiges werde ich tatsächlich, v.a. in den zweiten Teil meiner Veranstaltung, einbauen können. Und ich werde allen, die bei uns die Basismodule zusammenhaben, empfehlen, die nächste Ausgabe des NLP-Kurses zu besuchen.

Die Frage ist natürlich, ob über solche Plattformen den Unis (und damit auch mir) das Wasser abgegraben wird, weil die Kundschaft (die Studierenden) ins Netz abwandern könnte, statt sich zur bisweilen nachtschlafender Uhrzeit in überfüllten und schlecht gelüfteten Seminarräumen mit weniger koryphäigen Dozent|inn|en herumzuschlagen. Ich würde diese Frage mit nein beantworten (klar, sonst hätte ich hier nicht so einen positiven Post drüber geschrieben). Nein, das Internet und seine Möglichkeiten werden natürlich nicht davor halt machen, auch die altehrwürdigen Universitäten umzukrempeln. Diese müssen einfach nur die Chancen ergreifen, die sich dadurch bieten – Die Vermittlung von Wissen kann tatsächlich zu einem (vielleicht sogar zum größten) Teil virtuell erfolgen. Was aber Jurafsky und Manning nicht leisten konnten, war, mit ihren (mehr als 3000 aktiven) Online-Studierenden ins Gespräch zu kommen, Abschnitte, die nicht verstanden wurden, auf eine andere Weise zu erklären, zu diskutieren, welche weitere Arten der Anwendung es für bestimmte Algorithmen geben könnte usw. usf. Solcherlei Dinge wurden zwar teilweise durch ein gut moderiertes Diskussionsforum aufgefangen, die meiner Meinung nach eine persönliche Betreuung nie ganz ersetzen können wird.

Wer sich jetzt fragt, warum ich hier über einen Kurs erzähle, der schon gelaufen ist und dessen nächster Termin noch gar nicht feststeht, dem sei gesagt, dass auf den beiden genannten Plattformen laufend neue Kurse starten, morgen z.B. eine – den Verlautbarungen in der Ankündigung nach zu urteilen – sehr grundlegende Einführung in die Statistik. Auch wenn ich auf dem Gebiet bereits über ein wenig Vorbildung verfüge, schaue ich dort mal hinein – irgendwie hab ich mir das meiste selbst beigebracht – eine strukturierte Einführung dürfte da nicht schaden, zumal für den Kurs auch nur überschaubare 6 Wochen angesetzt sind. Vielleicht trifft man sich ja dort im Forum. :)

 

 

 

Quelle: http://texperimentales.hypotheses.org/430

Weiterlesen

Wie man Äpfel mit Birnen vergleicht

Zur Abwechslung unternehme ich heute mal einen Ausflug in die Statistik. Ein Anlass dafür ist eine Diskussion auf Twitter, die ich kurz vor meinem Urlaub geführt habe (s.u.), ein anderer der, dass ich manchmal eine große Diskrepanz wahrnehme, zwischen der Rolle, die statistische Aussagen inzwischen in fast sämtlichen Forschungsbereichen spielen und dem Unverständnis, das dem Gebiet von weiten Teilen der Bevölkerung (darunter auch viele Wissenschaftler, die es eigentlich besser wissen müssten) entgegengebracht wird. Falsch angewendete quantitative Verfahren sind vielleicht auch mit ein Grund für Rants wie diesen, in dem statistischen Aussagen die potentielle Erklärkraft für die Geistes- und Sozialwissenschaften abgesprochen wird.

So tief will ich jetzt gar nicht in die Diskussion einsteigen (vielleicht mal in einem eigenen Post, der zoonpoliticon von den ScilogsenceBlogs ist auch schon darauf eingegangen). Vielmehr beschäftige ich mich mal mit dem geflügelten Wort, dass man Äpfel nicht mit Birnen vergleichen kann. Was ist, wenn man tatsächlich vor einem Problem steht, genau dies tun zu müssen? Wenn ich z.B. aus einer Sammlung von 50 Äpfeln und 33 Birnen, 10 Früchte auswählen darf und ich genau die besten Früchte erwischen will? Gibt es da nicht eine Methode, die mir die 10 besten Früchte ermittelt?

Nun ja, dazu benötigt man erst einmal ein Merkmal, das eine gute Frucht von schlechteren unterscheidet. Das ist in der Realität wahrscheinlich schlecht zu ermitteln, da dies hier ja nur ein Blogbeitrag ist (der mit der Realität also herzlich wenig zu tun hat) kann ich mir einfach ein solches Merkmal ausdenken. Möglich wäre z.B. ein schön ausgewogenes Verhältnis zwischen Fruchtumfang und Höhe. Oder eine besonders rothaltige Farbe. Oder eben ein möglichst hoher Fruchtzuckergehalt (abgekürzt FZG). Der Chefkoch auf der gleichnamigen Webseite (das ist die erste die meine Suchmaschine zu „Frauchtzuckergehalt Apfel Birne“ ausspuckte) behauptet, dass der durchschnittliche FZG von Äpfeln bei 5,7g/100g Frucht liegt, der von Birnen bei 6,7g/100g. Auf dieser Basis habe ich mir eine Verteilung für 50 Äpfel und 33 Birnen ausgedacht, die in folgender Abbildung visualisiert ist (x-Achse: FZG in mg/100g, y-Achse Anzahl der Früchte):
Ich habe hier ein wenig gepfuscht – der FZG-Gehalt wird wohl nicht durch eine stetige Variable dargestellt, sondern durch eine kontinuierliche. Um ein schönes Balkendiagramm hinzubekommen, musste ich die Werte also in Klassen einteilen. Beschriftet ist jeweils die Klassenmitte – unter 6000 finden sich also alle Früchte mit einem 5750 < FZG < 6249. Wenn ich mir jetzt einfach die Früchte mit dem höchsten FZG greife, dann bekomme ich ne Menge Birnen und nur wenige Äpfel, das liegt an der Natur, die Birnen mit mehr Süße ausgestattet hat (oder an den Züchtern, die genau dies forciert haben). Wenn ich aber irgendwie nur besonders (im Vergleich zu anderen) gute Birnen und besonders (in Vergleich zu anderen) gute Äpfel haben möchte, muss ich mir irgendwas überlegen, wie ich vergleichbare Werte bekomme.

Tatsächlich gibt es einen statistischen Kniff, den ich genau dafür anwenden kann – die sogenannte z-Transformation. Die funktioniert eigentlich ganz einfach – ich muss lediglich vom FZG jeder Frucht den FZG-Mittelwert abziehen und das Ergebnis durch die FZG-Standardabweichung teilen. Wenn ich verschiedene Populationen (hier z.B. Äpfel und Birnen) habe, dann errechne ich für jede den Mittelwert und die Standardabweichung getrennt. Am Ende habe ich dann vergleichbare Werte. Einfach, oder?

Vielleicht sollte ich noch kurz eine kleine Erläuterung zu den beiden Werten einstreuen. Der Begriff „Mittelwert“ (MW, Definition hier) sollte eigentlich jedem klar sein – es ist einfach der Durchschnitt über alle Einzelwerte. Für Äpfel ergibt sich im obigen Beispiel der MW 5500mg/100g Frucht, für Birnen der MW 6470. Der Begriff „Standardabweichung“ (SD, Definition hier) ist vielleicht nicht so geläufig. Er beschreibt die Streuung von Werten – hat eine Verteilung eine niedrige SD, so gruppieren sich die Werte enger um den MW, als bei Verteilung, die eine hohe SD haben – für das obige Beispiel habe ich die SDs 775 (für Äpfel) und 521 (für Birnen) ermittelt – Birnen haben durchschnittlich also einen höheren FZG, streuen aber weniger als Äpfel (d.h. ihre FZG-Verteilung ist homogener).

Was erreicht man jetzt genau damit, dass man von den ursprünglichen FZG-Werten den Mittelwert abzieht und dann das Ergebnis durch die Standardabweichung teilt? Man harmonisiert beide Verteilungen – beide haben fortan ihren MW bei 0 und auch ihre Streuung ist vergleichbar geworden (wenn Werte vorher zwischen -1000 und 1000 gestreut haben und die SD bei 500 lag, streuen sie jetzt zwischen -2 und 2. Gleiches gilt für Werte, die vorher zwischen -1 und 1 gestreut haben bei einer SD von 0,5). Für unser Beispiel ergibt sich nach der z-Tansformation folgendes Bild (und ja, ich habe aus Darstellungsgründen wieder unerlaubt klassifiziert und gerundet):

Man sieht direkt, dass die beiden Verteilungen jetzt voreinander liegen und ich nun wesentlicht mehr Äpfel als Birnen erhalte, wenn ich die Früchte auf der rechten Seite der Grafik (das sind die mit dem verhältnismäßig hohen Fruchtzuckergehalt) abgreife. Das liegt nun daran, dass die Apfel-Population auch ursprünglich größer war als die der Birnen. Man merke sich: Wenn beide Populationen hinsichtlich des gewählten Merkmals normalverteilt sind, dann entspricht das Verhältnis der Ergebnismenge im ungefähren dem der Ausgangsmengen.

Natürlich ist das ein an den Haaren herbeigezogenes Beispiel – niemand kommt auf die Idee, von jeder Frucht, die er/sie im Supermarkt auswählt, erstmal den Fruchtzucker zu messen. Allerdings wird genau dieses Verfahren von der Universität Wien angewendet, um ihre Medizinstudienplätze zu vergeben. Auf Twitter bat der @Fatmike182 darum, ob ihm jemand das z-Transformationsverfahren erklären könnte, was ich dann (auf Twitter kurz, hier länger) auch versucht habe. Später ging es dann auch noch darum, ob das Verfahren gerecht oder doch sexistisch ist. Schwierige Frage, ich halte es nicht unbedingt für gerecht – erstens sehe ich nicht ganz ein, weshalb man Männer und Frauen in unterschiedliche Populationen einteilt und damit für beide unterschiedliche SDs und MWs errechnet. Ja, es mag sein, dass Mädchen durch das (hier: österreichische) Schulsystem benachteiligt werden, so dass ihre Ergebnisse beim Eignungstest unter dem der (österr.) Buben liegen. Dann sollte man aber meiner Meinung nach an dem Punkt einhaken, wo diese Ungleichheit entsteht, nicht da, wo sie sich auswirkt. Zweitens ist ein solches Verfahren manipulierbar – man muss nur ne Menge Leute eines bestimmten Geschlechts überzeugen, auch (aber bitte erfolglos) beim  Test mitzumachen, um die geschlechtsspezifischen Bewerberquoten zu erhöhen. Das hat dann zur Folge, dass die gleichgeschlechtlichen Bewerber ihre Chancen auf einen Studienplatz erhöhen.

Der @Fatmike182 hatte noch eingewendet, dass man sich die Rechnerei sparen könnte, wenn man einfach vorher festlegt, in welcher Zahl man Frauen und Männer ins Studium aufnimmt. Für normalverteilte Daten hat er da tatsächlich recht, allerdings kann es ja tatsächlich auch  zu einer Verteilung wie dieser kommen: Nach der z-Transformation bleibt der kleine Hügel rechts in der Verteilung so bestehen. Um sicherzugehen, dass man überdurchschnittlich gute Bewerber/Äpfel auch tatsächlich berücksichtigt, kommt man also an ein wenig Rechnerei nicht vorbei.

Quelle: http://texperimentales.hypotheses.org/406

Weiterlesen

Heldensage im Reisetagebuch

Vor ungefähr drei Jahren war ich mit meiner Promotion an einen Punkt gelangt, an dem ich die Entscheidung treffen musste, in welche Richtung sich meine Dissertation weiterentwickeln sollte. Wir hatten unser System Tesla schon zu einem guten Teil realisiert, die Darlegung zur Motivation der Entwicklung eines eigenen Komponentensystems – die Idee wirklich reproduzierbarer Experimente auf Textdaten beliebigen Formats – lag auch bereits in einer Rohform vor. Was fehlte, war ein Anwendungsfall, an dem ich die Funktionalität des Systems bestmöglich demonstrieren konnte. Und die Suche nach einem solchen geeigneten Untersuchungsobjekts hatte mich schon eine ganze Zeit beschäftigt. Eher zufällig stöberte ich dabei nochmal in einem Buch, dessen Lektüre bei mir schon etwas weiter zurücklag: Im wirklich empfehlenswerten Lexikon des Unwissens von Kathrin Passig und Aleks Scholz.1

Dabei fiel mir auf, dass das Voynich-Mauskript (VMS), dem im Lexikon ein Eintrag gewidmet ist, ein durchaus geeignetes Thema wäre, um die Anwendbarkeit von Tesla zu demonstrieren:

  • Das VMS enthält einen Text. Mit unbekannten Zeichen  geschrieben, unbekannten Inhalts und unbekannter Herkunft. Aber einen Text. Und wir haben Tesla entwickelt, um sämtliche Texte analysieren zu können. Auch wenn der VMS-Text auf seine Art einzigartig ist, er sollte sich mit Tesla analysieren lassen.
  • Die Analysen zu VMS sind genauso zahlreich wie auch widersprüchlich. So gut wie alle denkbaren Theorien zur Herkunft oder Inhalt des Textes lassen sich irgendwo finden. Die glaubhaften Analysen einmal in einem System zu bündeln, in dem sie für die ganze Welt reproduzierbar sind, sollte nicht schaden.
  • Das VMS reizt natürlich auch durch seine geheimnisvolle Aura. Damals schon 97 Jahre zerbarsten daran die Theorien durchaus (bisweilen überaus) intelligenter Wissenschaftler und Nicht-Wissenschaftler, ohne dass jemand tatsächlich eine allgemein anerkannte Lösung zum Problem hatte liefern können.

Der Anspruch, den Text tatsächlich entschlüsseln zu können, wäre natürlich allzu vermessen gewesen. Das war auch von Anfang an nicht der Plan. Stattdessen wollte ich die Analysen, welche zu den seltsamen Eigenschaften des Manuskripttextes, die ich hier schon einmal thematisiert habe, in einer Umgebung zusammenführen, welche eine einfache Überprüfung der Analyse-Ergebnisse ermöglicht.


Eine aufgeschlagene Seite des Voynich Manuskripts - seltsame Zeichnungen, seltsamer Text. Quelle: en.wikipedia.org

Tatsächlich bin ich aber weiter gekommen, als ich anfangs annahm und wie es dazu kam, will ich hier kurz erzählen: Beim Studium der Literatur zum VMS – die nicht in allen Fällen wissenschaftlichen Ansprüchen genügt und wo sie dies tut, meist in Veröffentlichungen zu anderen Themen versteckt wurde – nahm ich als Grundtenor wahr, dass kein Chiffrierverfahren bekannt wäre, aus dessen Anwendung ein Text resultiert, der dem VMS-Text ähnlich wäre. Ebenso deuteten bestimmte statistische Eigenschaften darauf hin, dass es sich nicht um eine Transkription einer natürlichen Sprache handeln könne. Wenn es aber weder eine Chiffre noch eine unbekannte Transkription sein kann, so liegt die Vermutung nahe, der Text bestehe einfach aus einer sinnlosen Aneinanderreihung von Phantasiewörtern. Damit korrespondiert – semiotisch ausgedrückt – mit der Ausdrucksseite seiner Zeichen keine Inhaltsseite. Und weil ein Text ohne Inhalt auf gewisse Art ein Schwindel ist, wird die Hypothese, dass es sich beim VMS-Text um einen solchen handelt, auch Hoax-Hypothese genannt.

Irgendwie ist der Gedanke, das VMS sei nur ein Schwindel und es gäbe gar nichts zu entziffern, nicht besonders befriedigend. Mehr Charme hat da die Vermutung von William Friedman (einem der größten Kryptoanalytiker des 20. Jahrhunderts), der es für wahrscheinlich hielt, dass der VMS-Text ein früher Entwurf einer synthetischen Sprache a priori sei – ihm also eine Kunstsprache zugrundliege, die sich – im Gegensatz z.B. zum Esperanto – nicht an natürlichen Sprachen orientiert. Weil solche Sprachen aber scheinbar erst in der zweiten Hälfte 17. Jahrhundert entworfen wurden, das VMS aber relativ sicher schon Ende des 16. Jahrhunderts in Prag kursierte, ist diese These problematisch.

Mehr Charme ist jetzt nicht unbedingt ein wissenschaftliches Kriterium. Ich beschloss aber dennoch, Verschlüsselungsverfahren und Ansätze zu Universalsprachen im ausgehenden Mittelalter und der frühen Neuzeit zu recherchieren. Im Zuge dieser Recherchen zu stieß ich auf die Monographie von Gerhard Strasser2 zum Thema, in der dieser die Verbindung zwischen kryptographischen Verfahren und universell gedachten Sprachentwürfen beleuchtet. Ursprünglich wollte Strasser dabei auf die Universalsprachentwürfe des 17. Jahrhunderts eingehen, allgemein als die ersten ihrer Art angesehen. Er kann aber zeigen, dass schon viel früher – durch den Abt Johannes Trithemius (den ich u.a. schon hier für eine andere seiner Arbeiten gewürdigt habe) – eine Chiffre entworfen wurde, deren Anwendung etwas ergab, das wie das Resultat einer Kunstsprache aussieht, das aber ein verschlüsselter Text ist.

Konkret bezieht sich Strasser dabei auf die Teile III und IV der trithemischen Polygraphia. Die darin beschriebenen Verfahren funktionieren prinzipiell wie die aus den ersten beiden Teilen  (die ich hier auch schon vorgestellt habe): Einzelne Buchstaben werden gemäß einer Ersetzungstabelle durch ganze Wörter ersetzt. Während aber die Ersetzungschiffren in den ersten beiden Teilen lateinische Wörter sind und die resultierenden Geheimtexte wie lateinische Gebete anmuten, sind sie in den darauffolgenden Büchern von Trithemius erdachte Phantasiewörter, der resultierende Text sieht demnach aus wie eine Phantasiesprache. Der sehr regelmäßige Aufbau der Phantasiewörter – an einen Wortstamm sind unterschiedliche Endungen angehangen – gemahnt Strasser an die Universalsprachentwürfe von Wilkins und Dalgano, die erst viel später, um 1660, entworfen wurden.

Je zwei Zeilen von Ersetzungschiffren aus der Polygraphia III und IV. In der Spalte ganz links finden sich die zu ersetzenden Buchstaben.

Die Tatsache, dass nun doch um 1500 schon eine Möglichkeit beschrieben wurde, wie ein Text erzeugt werden kann, der wie das Produkt einer Kunstsprache aussieht, fesselte mich natürlich und ich beschloss, die Trithemischen Werke im Original zu konsultieren. Die Recherche führte mich in ein Mikrofichekabüffchen und den Lesesaal der historischen Sammlungen der hiesigen Universitätsbibliothek genauso wie in die Erzbischöfliche Buchsammlung zu Köln (womöglich wäre ich noch im Stadtarchiv gelandet, das aber gerade der Erdboden verschluckte) – alles spannende Orte, zu denen man als Computerlinguist unter normalen Umständen gar nicht vorstößt.

Ich werde nie vergessen, wie ich im Holzverschlag zur Mikrofichebetrachtung über das Lesegerät gebeugt stand, fieberhaft und ungelenk die kleine Folie weiterschob über die Tabellen der trithemischen Polygraphia, bis ich endlich im dritten Teil angekommen, überprüfen konnte, ob das, was ich mir auf Grundlage von Strassers Schilderung vorstellte, tatsächlich auch im historischen Werk zu finden war. Und wirklich hatte Trithemius einzelne Spalten mit Stamm-Endungs-Kombinationen versehen, die wie Flexionsparadigmen aussahen (auch die “Wörter” des VMS weisen ähnliche Eigenschaften auf). Noch phantastischer war, dass die manuelle Strichliste, die ich nebenbei über die Wortlängenverteilung der Ersetzungstabellen führte, eine Binomialverteilung ergab (ebenso wie die VMS-”Wörter”, siehe auch hier). Dank Patrick Sahle hatte ich dann bald auch die Möglichkeit, die Polygraphia an meinem Schreibtisch zu studieren, der sich als die langweiligere, aber effektivere Arbeits-Location erwies.

Dort konnte ich mich dann weiteren Überlegungen zur Operationalisierung der von mir ja erst per Augenmaß festgestellten Ähnlichkeiten zwischen den beiden Texten widmen. Dabei hatte ich stets die Warnung von Kennedy und Churchill3 vor Augen, dass das VMS ein Spiegel sei, in dem jeder nur seine eigenen Vorurteile und Hypothesen bestätigt sieht. Insbesondere musste ich erst einmal Werkzeuge entwickeln, die mir erlaubten, den VMS-Text einzulesen und Polygraphia-III-Texte zu erzeugen, diese in Analyseeinheiten zu unterteilen und schließlich statistische Eigenschaften, die ich nicht einfach per manueller Zählung ermitteln konnte, auszuwerten. Ich befand mich erst am Anfang eines langen Prozesses, an dessen Ende die Fertigstellung und Veröffentlichung meiner Dissertation und die der duchgeführten Experimente stand.

Irgendwann später las ich das Bonmot von Ortoli und Witkowski: “Zwischen der Wissenschaft, wie sie die Öffenlichkeit erträumt oder die Medien feiern, und der Wissenschaft, wie sie die Forscher täglich praktizieren, besteht dieselbe Diskrepanz wie zwischen Heldensage und Reisetagebuch.” Da dachte ich, dass -  zumindest bei mir im Kopf – genau diese Diskrepanz für einen kurzen Moment aufgehoben war.

1 Katrin Passig, Aleks Scholz: “Lexikon des Unwissens. Worauf es bisher keine Antwort gibt.” Rowohlt Berlin; Auflage: 7 (2007)

2 Gehard Strasser: “Lingua Universalis: Kryptologie und Theorie der Universalsprachen im 16. und 17. Jahrhundert” (Wolfenbütteler Forschungen 38) Harrassowitz, Wiesbaden (1988)

3 Gerry Kennedy und Rob Churchill: “Der Voynich-Code: Das Buch, das niemand lesen kann” Rogner & Bernhard bei Zweitausendeins (2005)

4  Sven Ortoli und Nicolas Witkowski: “Die Badewanne des Archimedes: Berühmte Legenden aus der Wissenschaft” Piper Taschenbuch (2007)

Anm: Drei der vier aufgeführten Bücher sind das, was gemeinhin und bisweilen abschätzig als populärwissenschaftliche Veröffentlichungen bezeichnet wird. Eine ganze Reihe meiner Links führen außerdem zur Wikipedia. Ich halte den Einbezug beider Arten von Quellen für durchaus legitim in einem Blog, der versucht, die eigene wissenschaftliche Tätigkeit etwas populärer zu machen. Dass manche das anders sehen, weiß ich inzwischen auch. Da kann man aber auch gerne mit mir diskutieren. Nebenbei: Untersuchungen zum Voynich Manuskript tragen im Wissenschaftsbetrieb nicht gerade zur Kredibilität bei, was wohl auch ein Grund dafür ist, dass sich so wenige wirkliche Spezialisten mit dem Thema beschäftigen oder aber ihre Ergebnisse in Unterkapiteln anderer Veröffentlichungen (z.B. in einer Einführung in die Programmiersprache BASIC, kein Witz) verstecken. Bei mir ist das ja auch irgendwie der Fall gewesen. :)

Quelle: http://texperimentales.hypotheses.org/278

Weiterlesen