diff options
Diffstat (limited to 'statistik/Leipzig/README.txt')
| -rw-r--r-- | statistik/Leipzig/README.txt | 22 |
1 files changed, 22 insertions, 0 deletions
diff --git a/statistik/Leipzig/README.txt b/statistik/Leipzig/README.txt new file mode 100644 index 0000000..173939e --- /dev/null +++ b/statistik/Leipzig/README.txt @@ -0,0 +1,22 @@ +Diese Dateien basieren auf der von der Uni Leipzig erstellten Liste der 10000 +häufigsten Wörter (bzw. Wortformen) der deutschen Sprache¹. +Groß- und Kleinschreibung sowie Sonderzeichen (Bindestriche, Leerzeichen, +Apostrophe, Buchstaben mit Akzenten, Zahlen, …) wurden ignoriert. +Gemäß des Zipfschen Gesetzes² wurden die Häufigkeiten der Wörter annähernd +rekonstruiert (a=0,83). + +Anschließend wurden die Häufigkeiten des Auftreten einzelner Buchstaben sowie +Bi- und Trigramme mit den Zipf-Wahrscheinlichkeiten gewichtet, aufsummiert, +sortiert und auf 100% renormiert. + +Somit verstehen sich die Zeilen in allen Dateien als relative Häufigkeit und Name +des Mono/Bi/Trigramms. + + +¹ http://wortschatz.uni-leipzig.de/html/wliste.html + Die Uni Leipzig weist jedoch selbst darauf hin, dass die Reihenfolge von der + Auswahl der Quelle abhängt +² http://de.wikipedia.org/wiki/Zipfsches_Gesetz + Dabei treten Fehler sowohl bei den häufigsten Wörtern auf, deren berechnete + Häufigkeit zu hoch liegt, als auch bei den seltenen Wörtern, da bereits die + häufigsten 10000 Wörter auf 100% gesetzt werden. |