Contador de frequência de letras

O que é a frequência de letras

A frequência de letras é a frequência com que cada letra aparece num conjunto de escrita. Em inglês a repartição é notoriamente desigual: o E vale cerca de uma letra em cada oito e o Z uma em cada mil e seiscentas. É desse desequilíbrio que saem as pontuações do Scrabble, o desgaste irregular de um teclado e a queda de qualquer cifra por substituição.

Convém dizê-lo já: esta ferramenta conta apenas as letras de a a z e dobra os acentos sobre a letra de base, pelo que o ç conta como c e o ã como a. Mede portanto o esqueleto latino de um texto, não o alfabeto português. E as duas tabelas de referência são inglesas, de modo que um texto em português se afastará delas com toda a razão.

Quase todas as páginas que publicam uma tabela de frequências publicam uma só, sem etiqueta, como se fosse uma constante física. Não é. Uma tabela é a medição de um monte concreto de texto, e montes diferentes dão respostas diferentes. Aqui encontra duas, cada uma com o corpus de onde saiu, e pode alternar entre elas para ver a coluna esperada mexer-se.

Como usar o contador

1. Cole ou escreva o seu texto na caixa. A contagem começa de imediato e decorre no seu próprio navegador. Espaços, algarismos, pontuação e tudo o que fique fora de a a z são contabilizados à parte como caracteres ignorados.
2. Escolha a tabela de comparação. Doze romances de domínio público ou o Google Books. Não coincidem, e é esse o ponto: ao mudar de uma para a outra altera-se a proporção esperada de cada letra e algumas diferenças trocam de sinal.
3. Leia o veredicto antes da tabela. Diz-lhe se a sua amostra dá sequer para interpretar e se a distância à referência é invulgar ou é simplesmente o que um texto desse tamanho costuma dar. Ordene de A a Z ou por frequência e copie tudo em CSV.

O texto real não converge para uma língua: converge para o seu autor

Foi este o resultado que deu forma à página. Se retirarmos letras ao acaso e de forma independente do corpus de doze romances, a amostra aproxima-se da tabela exactamente como a teoria da amostragem prevê: às 200 000 letras a distância é de 0,0040, praticamente uma correspondência perfeita. Mas se tomarmos passagens contínuas e reais do mesmo tamanho, tiradas desses mesmos livros, a distância fica-se pelos 0,0301, sete vezes e meia mais longe.

E a diferença alarga-se à medida que a amostra cresce. Com 30 letras uma passagem real não é pior do que uma extracção aleatória (0,3018 contra 0,3237); com 1 000 letras é 1,3 vezes pior; com 200 000, sete vezes e meia. Passados uns poucos milhares de letras já não se está a medir o inglês com mais precisão, mas sim um autor com mais precisão, e um autor não é uma língua.

Isto tem consequências para as próprias tabelas. A dos doze romances e a que Norvig construiu com 3 563 505 777 820 letras do Google Books distam 0,0305 uma da outra. A distância mediana entre dois romances isolados do corpus é de 0,0449 e os dois mais parecidos distam 0,0236, pelo que sete dos sessenta e seis pares de romances estão mais próximos entre si do que as duas tabelas de referência. Um corpus 668 000 vezes maior não resolveu a questão: respondeu a outra pergunta.

A discordância vê-se na ordem. Ambas começam por E T A O e depois separam-se: os romances dão ETAONISHRDLU e o Google Books dá ETAOINSRHLDC, e apenas quinze das vinte e seis letras ocupam a mesma posição nas duas. A maior diferença está no H: 6,18 % nos romances contra 5,05 % no Google Books. A ficção está cheia de he, she, that e the; o Google Books está cheio de tudo o resto.

Quanto texto é preciso e o que a ferramenta não lhe pode dizer

A quantidade de texto necessária acaba por ser uma propriedade da pergunta, não do texto. Trinta letras chegam para quebrar uma cifra de César 98,0 % das vezes, e as duas tabelas que discordam uma da outra escolhem a mesma deslocação 99,3 % das vezes com esse comprimento. E no entanto, nessas mesmas trinta letras, a letra mais frequente é realmente o E apenas 41,3 % das vezes. Quebrar uma cifra precisa que a ordem esteja grosso modo certa no conjunto; ler uma frequência na tabela exige que aquela letra em concreto esteja decidida.

O padrão mantém-se em maior escala. Com 1 000 letras a mais frequente acerta 96,7 % das vezes, mas as seis primeiras saem na ordem certa apenas 22,5 % das vezes mesmo com 100 000 letras, e só nove dos doze romances completos reproduzem as três primeiras do próprio corpus. Se já viu uma página enumerar com aprumo as dez letras mais frequentes do inglês, essa ordenação é mais frágil do que parece.

É também por isso que a ferramenta marca uma letra como ampla e não como significativa. A significância estatística dos manuais trata o texto como extracções aleatórias independentes, o que a prosa não é, pelo que em qualquer amostra longa assinalaria quase todas as letras. Aqui a marca aparece quando a letra se afasta da tabela mais do que os doze romances se afastam entre si. Só o h vai de 4,90 % a 8,10 % entre dois romances vulgares: 3,20 pontos de amplitude numa letra que vale 6,18. Julgar contra o ruído de amostragem declararia extraordinário qualquer livro normal.

Os limites, sem rodeios: abaixo de umas 200 letras a ferramenta recusa-se a interpretar, porque a essa escala a resposta é ruído. O corpus de romances é ficção do século XIX e nota-se. E pode dizer-lhe que um texto é atípico, nunca porquê.

Porque é grátis?

Porque contar letras não nos custa nada. Toda a análise — as contagens, as distâncias, as tabelas de referência e a curva de convergência que está por trás do veredicto — são uns poucos kilobytes de JavaScript que correm dentro do seu navegador. O seu texto não é enviado, não é guardado e não é visto por nós, porque não há servidor nenhum que o pudesse ver.

Daí não haver conta, nem registo, nem limite de tamanho, nem marca de água no CSV. Cole um manuscrito privado, se quiser: não sai do computador a partir do qual está a ler isto. É grátis pela mesma razão por que usar duas vezes uma calculadora de bolso é grátis.