Compteur de fréquence des lettres

Qu’est-ce que la fréquence des lettres ?

La fréquence des lettres, c’est la régularité avec laquelle chaque lettre revient dans un ensemble de textes. En anglais, la répartition est célèbre pour son déséquilibre : le E vaut environ une lettre sur huit, le Z une sur mille six cents. C’est de là que viennent les points du Scrabble, l’usure inégale d’un clavier et la chute de tout chiffrement par substitution.

Autant le dire tout de suite : cet outil ne compte que les lettres de a à z et rabat les accents sur leur lettre de base. Le é et le è comptent pour un e, le ç pour un c, et la ligature œ n’est pas comptée du tout. Il mesure donc le squelette latin d’un texte, non l’alphabet français. Les deux tables de référence sont par ailleurs anglaises : un texte français s’en écartera, et il aura raison de le faire.

Presque toutes les pages qui publient une table de fréquences en publient une seule, sans étiquette, comme s’il s’agissait d’une constante physique. Ce n’en est pas une. Une table est la mesure d’un tas de texte particulier, et deux tas différents donnent deux réponses différentes. Vous en trouverez ici deux, chacune accompagnée du corpus dont elle sort, et vous pouvez passer de l’une à l’autre pour voir bouger la colonne attendue.

Comment utiliser le compteur

1. Collez ou saisissez votre texte dans la zone prévue. Le comptage démarre aussitôt, dans votre propre navigateur. Les espaces, les chiffres, la ponctuation et tout ce qui sort de a-z sont comptabilisés à part, sous forme de caractères ignorés.
2. Choisissez la table de comparaison. Douze romans du domaine public, ou Google Books. Elles ne concordent pas, et c’est tout l’intérêt : passer de l’une à l’autre déplace la part attendue de chaque lettre et fait changer de signe certains écarts.
3. Lisez le verdict avant le tableau. Il vous dit si votre échantillon est seulement assez long pour être interprété, et si sa distance à la référence est inhabituelle ou correspond simplement à ce que donne un texte de cette longueur. Triez de A à Z ou par fréquence, puis copiez le tout en CSV.

Un texte réel ne converge pas vers une langue : il converge vers son auteur

Voici le résultat qui a donné sa forme à cette page. Si l’on tire des lettres au hasard et de façon indépendante dans le corpus de douze romans, l’échantillon se rapproche de la table exactement comme la théorie de l’échantillonnage le prévoit : à 200 000 lettres, la distance est de 0,0040, autant dire une correspondance parfaite. Si l’on prend en revanche des passages continus et réels de même longueur, tirés de ces mêmes livres, la distance reste à 0,0301, sept fois et demie plus loin.

Et l’écart se creuse à mesure que l’échantillon grandit. À 30 lettres, un passage réel ne fait pas moins bien qu’un tirage aléatoire (0,3018 contre 0,3237) ; à 1 000 lettres, il est 1,3 fois pire ; à 200 000, sept fois et demie. Passé quelques milliers de lettres, on ne mesure plus l’anglais avec davantage de précision : on mesure un auteur avec davantage de précision, et un auteur n’est pas une langue.

Cela a une conséquence pour les tables elles-mêmes. Celle des douze romans et celle que Norvig a construite à partir de 3 563 505 777 820 lettres de Google Books sont distantes de 0,0305. Or la distance médiane entre deux romans isolés du corpus est de 0,0449, et les deux plus proches sont à 0,0236 : sept des soixante-six paires de romans sont donc plus proches l’une de l’autre que ne le sont les deux tables de référence. Un corpus 668 000 fois plus vaste n’a pas tranché la question. Il a répondu à une autre.

Le désaccord se lit dans l’ordre. Les deux tables commencent par E T A O puis divergent : les romans donnent ETAONISHRDLU, Google Books donne ETAOINSRHLDC, et seules quinze des vingt-six lettres occupent le même rang dans les deux. Le plus grand écart concerne le H : 6,18 % dans les romans contre 5,05 % dans Google Books. La fiction est pleine de he, she, that et the ; Google Books est plein de tout le reste.

Combien de texte faut-il, et ce que l’outil ne peut pas vous dire

La quantité de texte nécessaire se révèle être une propriété de la question, non du texte. Trente lettres suffisent à casser un chiffre de César 98,0 % du temps, et les deux tables qui divergent l’une de l’autre choisissent le même décalage 99,3 % du temps à cette longueur. Pourtant, dans ces mêmes trente lettres, la lettre la plus fréquente est réellement le E seulement 41,3 % du temps. Casser un chiffre demande que le classement soit à peu près juste dans l’ensemble ; lire une fréquence dans la table exige que cette lettre-là soit individuellement fixée.

Le schéma tient à plus grande échelle. À 1 000 lettres, la plus fréquente est juste 96,7 % du temps, mais les six premières sortent dans le bon ordre seulement 22,5 % du temps, même à 100 000 lettres, et neuf des douze romans complets seulement reproduisent les trois premières du corpus lui-même. Si vous avez vu une page énumérer avec assurance les dix lettres les plus fréquentes de l’anglais, ce classement est plus fragile qu’il n’y paraît.

C’est aussi pourquoi l’outil signale une lettre comme large plutôt que comme significative. La significativité statistique des manuels traite le texte comme des tirages aléatoires indépendants, ce que la prose n’est pas : sur tout échantillon un peu long, elle signalerait presque toutes les lettres. Ici, la marque apparaît quand la lettre s’écarte de la table plus que les douze romans ne s’écartent les uns des autres. Le seul h va de 4,90 % à 8,10 % entre deux romans ordinaires, soit 3,20 points d’amplitude pour une lettre qui en vaut 6,18. Juger contre le bruit d’échantillonnage reviendrait à déclarer extraordinaire n’importe quel livre banal.

Les limites, sans détour : en dessous d’environ 200 lettres, l’outil refuse d’interpréter, parce qu’à cette échelle la réponse n’est que du bruit. Le corpus de romans est de la fiction du dix-neuvième siècle et cela se voit. Et il peut vous dire qu’un texte est atypique, jamais pourquoi.

Pourquoi est-ce gratuit ?

Parce que compter des lettres ne nous coûte rien. Toute l’analyse — les comptes, les distances, les tables de référence et la courbe de convergence qui sous-tend le verdict — tient en quelques kilo-octets de JavaScript exécutés dans votre propre navigateur. Votre texte n’est ni envoyé, ni conservé, ni vu par nous, puisqu’aucun serveur n’intervient pour le voir.

D’où l’absence de compte, d’inscription, de limite de taille et de filigrane sur le CSV. Collez un manuscrit confidentiel si vous le souhaitez : il ne quitte pas la machine depuis laquelle vous lisez ces lignes. C’est gratuit pour la même raison qu’il est gratuit de se servir deux fois d’une calculatrice de poche.