Um token, no campo da Inteligência Artificial e do Processamento de Linguagem Natural (PLN), é a unidade fundamental de texto que um modelo de linguagem utiliza para processar e compreender a informação. Antes que um sistema de IA possa «ler» ou «escrever» um texto, ele primeiro passa por um processo chamado tokenização, no qual a sequência de texto bruto é segmentada em pedaços menores e mais gerenciáveis. Esses pedaços são os tokens. Ao contrário da crença comum, um token não é necessariamente uma palavra inteira; ele pode ser uma palavra, um caractere, um sinal de pontuação ou, mais comumente, uma parte de uma palavra (um subpalavra).
A característica principal dos sistemas de IA modernos, como o Gemini, Claude e GPT, é o uso da tokenização por subpalavras. Em vez de tratar cada palavra como um item único, essa abordagem quebra as palavras em componentes de significado frequentes. Por exemplo, a palavra «recomeçar» poderia ser dividida nos tokens «re», «começ» e «ar». Essa técnica é extremamente eficiente, pois permite que o modelo lide com um vocabulário virtualmente infinito, incluindo palavras raras, neologismos ou erros de digitação, ao mesmo tempo em que mantém um dicionário de tokens de tamanho fixo e gerenciável. Esse processo permite que a IA reconheça as relações morfológicas entre as palavras (como a relação entre «correr», «correndo» e «corrida»).
Para os modelos de linguagem de grande porte (LLMs), os tokens são a moeda de troca para o processamento de informações. Após a tokenização, cada token é convertido em uma representação numérica (um vetor de embedding) que a máquina pode utilizar para realizar cálculos matemáticos. É através da análise das relações entre esses vetores que o modelo aprende padrões, contexto, nuances e a própria semântica da linguagem, permitindo-lhe realizar tarefas como responder perguntas, traduzir idiomas, resumir textos longos e gerar conteúdo coerente e relevante. A forma como um texto é dividido em tokens é definida pelo «tokenizador» específico de cada modelo.
Fontes:
- Google AI for Developers. Introduction to large language models > Tokens. Disponível em: https://ai.google.dev/docs/llm_tutorial. Acesso em: 26 set. 2025.
- Hugging Face. What is a tokenizer? Disponível em: https://huggingface.co/docs/transformers/main/en/tokenizer_summary. Acesso em: 26 set. 2025.
- OpenAI. What are tokens and how to count them? Disponível em: https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them. Acesso em: 26 set. 2025.
- Stanford University. Tokenization | CS224N: Natural Language Processing with Deep Learning. Disponível em: https://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes02-wordvecs1.pdf. Acesso em: 26 set. 2025.