Tabela ASCII

O que é a tabela ASCII

Computador não guarda letra. Ele guarda número. A tabela ASCII é o acordo, fechado em 1963 e revisado em 1967, que diz qual número corresponde a qual letra: o 65 é o A, o 97 é o a, o 48 é o 0, o 32 é o espaço.

Parece detalhe técnico, mas é o acordo que faz um texto escrito no seu computador chegar inteiro no computador de outra pessoa, em outro país, feito por outro fabricante. Antes dele cada máquina tinha a sua própria tabela, e trocar arquivo entre duas marcas diferentes era trabalho de tradução.

São 128 códigos, do 0 ao 127. Desses, 95 têm desenho (letra, número, símbolo e o espaço) e 33 não têm: são comandos, coisas como “quebra a linha aqui” e “toca o apito”.

Por que a tabela para no 127

Porque ela foi feita para 7 bits. Com 7 casas de zero e um dá para formar exatamente 128 combinações diferentes, de 0000000 a 1111111, e é por isso que o último código é o 127 e não o 255.

O oitavo bit do byte existia, mas era usado para conferência: em muita linha de transmissão da época ele guardava a paridade, um sinal que denunciava se algum bit tinha virado no caminho. Quando o hardware ficou confiável e esse bit sobrou, cada fabricante resolveu preencher a faixa de 128 a 255 do seu próprio jeito, e é daí que vem toda a confusão que a segunda tabela desta página mostra.

Os truques que a tabela guarda

A ordem dos códigos não é aleatória, e três coisas saem de graça dela.

Maiúscula e minúscula são a mesma letra com 32 de diferença. A é 65 e a é 97. B é 66 e b é 98. Sempre 32. E 32 é uma potência de 2, então trocar maiúscula por minúscula é ligar ou desligar um bit só. É por isso que essa conversão é a operação mais barata que existe em qualquer linguagem.

O código do dígito é 48 mais o valor. O caractere 7 é o número 55. Subtrair 48 transforma o desenho no valor, e é literalmente isso que acontece toda vez que um sistema lê um número digitado.

As letras estão em ordem alfabética. Por isso ordenar nomes é comparar números. E por isso, sem tratamento nenhum, “Zebra” vem antes de “abelha” (90 é menor que 97), que é o motivo de lista de cliente aparecer ordenada de um jeito esquisito em sistema antigo.

Os 33 códigos que não têm desenho

Do 0 ao 31, mais o 127, ficam os caracteres de controle. Eles nasceram para mandar em teletipo e impressora, e a maioria virou peça de museu. Quatro continuam trabalhando todo dia:

10 (LF) e 13 (CR) são a quebra de linha, e são a origem da briga mais antiga da informática. O Linux e o Mac quebram linha com o 10 sozinho. O Windows usa os dois, 13 e 10, um atrás do outro. É por isso que um arquivo salvo no Bloco de Notas às vezes aparece com uma linha só em outro programa, ou com um quadradinho estranho no fim de cada linha.

9 (TAB) é a tabulação, e é o separador dos arquivos .tsv que muito sistema exporta.

0 (NUL) é o byte nulo. Na linguagem C ele marca onde o texto acaba. Em planilha e em banco de dados, ele é aquele byte invisível que faz a importação parar no meio sem explicar por quê.

27 (ESC) é a tecla Esc, e é ela que abre os códigos de cor do terminal. Quando um log aparece cheio de [0;31m no meio das frases, é isso: alguém salvou em arquivo o texto colorido que era para a tela.

A armadilha da “ASCII estendida”

Aqui está a parte que confunde todo mundo, e é o motivo de duas tabelas da internet nunca baterem: não existe uma tabela ASCII estendida. Existem várias, todas com o mesmo apelido.

O ASCII de verdade acaba no 127. De 128 a 255, cada fabricante inventou a sua continuação. A IBM fez a do DOS (a CP850 no Brasil, cheia de moldura para desenhar caixa na tela). A ISO padronizou a ISO-8859-1, conhecida como Latin-1, que atendia as línguas da Europa Ocidental. A Microsoft fez a Windows-1252, quase igual à Latin-1, mas com aspas curvas, travessão e o símbolo do euro naquele pedaço que a ISO tinha deixado vazio.

Resultado: o número 231 é ç na Windows-1252 e na Latin-1, e é þ na tabela do DOS. O número 128 é o símbolo do euro em uma e o Ç em outra. Nenhuma delas está errada. Elas são tabelas diferentes com o mesmo apelido, e a tabela do meio desta página mostra as três lado a lado justamente por isso.

Um detalhe que quase ninguém sabe: se uma página da internet declara que está em ISO-8859-1, os navegadores de hoje leem ela como Windows-1252 assim mesmo. Isso está escrito no padrão que eles seguem, e existe porque metade das páginas antigas declarava uma coisa e usava a outra.

ASCII, Latin-1 e UTF-8: quem é quem

O UTF-8 resolveu a bagunça de um jeito elegante. Ele cabe todos os caracteres do mundo, e mesmo assim os 128 primeiros códigos dele são exatamente os do ASCII. Um arquivo que só tem letra sem acento, número e pontuação é, ao mesmo tempo, um arquivo ASCII e um arquivo UTF-8 válido. Os dois são o mesmo arquivo.

A diferença aparece no acento. Em UTF-8, o ç não é um byte: são dois, C3 e A7. O ã também são dois, C3 e A3. O emoji costuma ocupar quatro. É por isso que “Ação” tem 4 letras e 6 bytes, e é por isso que campo de banco de dados dimensionado em bytes corta nome no meio quando ele tem cedilha.

Se você quiser ver isso acontecendo byte a byte, o tradutor de binário abre qualquer texto em UTF-8 na tela.

De onde vem o “Ação”

Agora dá para entender o defeito mais comum da vida digital brasileira. O texto foi salvo em UTF-8, onde o ç ocupa os bytes C3 e A7. Do outro lado, um programa leu esse arquivo achando que era Windows-1252, onde cada byte é uma letra. Ele encontrou o C3 e escreveu Ã. Encontrou o A7 e escreveu §. Uma letra virou duas, e “Ação” virou “Ação”.

A boa notícia é que nada se perdeu. Os bytes continuam todos lá, só foram lidos com a tabela errada. Por isso o conserto é possível, e é o que o último bloco desta página faz: ele desfaz a leitura errada e devolve o texto original.

O contrário também acontece, e o sintoma é outro: quando aparece ? ou um losango com interrogação no lugar do acento, aí sim a informação se perdeu de verdade, porque o sistema jogou fora o que não sabia representar. Esse não tem volta.

Onde isso aparece na vida de quem tem empresa

Arquivo de remessa de banco. Os manuais dos bancos (o CNAB de sempre) pedem o arquivo sem acento, em posição fixa. Nome de cliente com cedilha volta como erro de layout.

Importação de planilha. O CSV que o sistema exportou em UTF-8 e o Excel abriu como Windows-1252 é a receita exata do “Ação” na coluna do nome. Salvar como “CSV UTF-8” no próprio Excel costuma resolver.

Cupom fiscal, balança e impressora térmica. Boa parte desses equipamentos ainda fala a tabela do DOS. É por isso que o acento sai trocado no cupom mesmo com o sistema todo em UTF-8.

Nome de arquivo e endereço de site. Fora do ASCII, o caminho é sempre o mesmo: espaço, acento e cedilha viram código no link. Quem quiser ver isso montado, o codificador de https://kitdenegocios.com.br/ mostra a conversão inteira.

Texto colado do Word. As aspas curvas, o travessão e o espaço que não separa são todos caracteres fora do ASCII, e são a causa número um de campo que “não aceita” um texto que parece normal. O segundo bloco desta página aponta cada um deles pelo nome.