Reduzir o consumo de tokens: dez métodos práticos

O que é um token e por que ele importa

Um modelo de linguagem não lê palavras, lê tokens: pedaços de palavras. Em inglês, um token equivale a mais ou menos três quartos de uma palavra. Em português, é preciso um pouco mais para dizer a mesma coisa, por causa dos acentos e das palavras mais longas. Uma página de texto denso representa, em ordem de grandeza, entre quinhentos e oitocentos tokens.

Os tokens importam por três motivos.

• O preço. Se você usa uma API, paga por cada token lido pelo modelo e por cada token que ele escreve. Os tokens escritos costumam custar várias vezes mais do que os tokens lidos.
• Os limites. Se você tem uma assinatura, não paga por token, mas o seu uso tem um teto. Quanto mais pesadas as suas conversas, mais rápido você chega a esse teto.
• A qualidade. Um modelo afogado em páginas de texto de que não precisa responde pior. Ele deixa passar um detalhe, mistura duas versões ou esquece uma instrução dada no começo.

Esse terceiro ponto é o mais importante: reduzir o consumo, quando bem feito, melhora as respostas.

De onde vem o consumo de verdade

A ideia comum é que o consumo depende do tamanho das suas perguntas. Não é verdade. Ele depende de tudo o que está no contexto no momento em que o modelo responde, e esse contexto é relido por inteiro a cada mensagem.

Pense em uma conversa em que você colou um documento de dez páginas no começo. Na primeira mensagem, o modelo lê dez páginas. Na segunda, relê essas dez páginas, mais a sua primeira interação. Na vigésima mensagem, relê as dez páginas, mais as dezenove interações anteriores. O documento foi lido vinte vezes.

Veja o que enche um contexto, do mais pesado ao mais leve na maioria dos casos.

1. Os documentos colados ou anexados, relidos a cada rodada.
2. O histórico da conversa, que cresce a cada mensagem.
3. Os resultados de ferramentas: páginas da web consultadas, arquivos lidos, resultados de busca.
4. As instruções permanentes: instruções personalizadas, descrições das ferramentas conectadas.
5. A sua mensagem, que é quase sempre a menor parte.

Por isso, quando a ideia é economizar, olhe primeiro para o que está colado e para o que fica se arrastando, não para o jeito de formular a pergunta.

Dez métodos, do que mais compensa ao mais refinado

1. Pare de colar documentos inteiros

É a principal fonte de economia, de longe. Se a sua pergunta trata de uma cláusula de um contrato de trinta páginas, o modelo só precisa dessa cláusula e do que está em volta dela.

Há duas formas de chegar lá. Na mão, colando apenas a seção útil. Ou, bem melhor, conectando o assistente a uma fonte onde ele possa buscar e ler só o trecho que interessa. Veja o método 9.

2. Abra uma nova conversa por assunto

Uma conversa que dura o dia inteiro arrasta todo o passado a cada mensagem. Quando mudar de assunto, mude de conversa. Se precisar manter o fio da meada, peça um resumo de dez linhas da antiga e comece a nova com ele.

3. Escreva as suas instruções permanentes uma vez, e curtas

As instruções personalizadas são adicionadas a cada conversa. Três parágrafos precisos valem mais do que três páginas que repetem a mesma coisa. Deixe ali o que vale para tudo e passe o resto para documentos que o assistente vai ler quando precisar.

4. Dê a instrução completa já na primeira mensagem

Cada ida e volta de correção relê todo o contexto. “Escreva um e-mail” seguido de cinco complementos custa cinco rodadas. Diga logo para quem, em que tom, com que tamanho e qual resultado você espera: a resposta certa vem em uma rodada só.

5. Peça respostas no tamanho certo

Os tokens escritos são os mais caros e os mais lentos. Se você quer cinco itens, peça cinco itens. Se quer só a parte alterada de um texto, diga isso, em vez de deixar o modelo reescrever o documento inteiro a cada ajuste.

6. Escolha o modelo de acordo com a tarefa

Os fabricantes oferecem vários modelos, do mais leve ao mais potente, com grandes diferenças de preço. Reformular um e-mail, classificar mensagens ou extrair datas não exige o modelo mais caro. Guarde esse para o raciocínio difícil.

7. Dose o raciocínio estendido

Os modos de raciocínio aprofundado fazem o modelo produzir um raciocínio intermediário, que entra na conta do consumo. São valiosos em um problema complexo, inúteis em uma tarefa simples. Ative quando a dificuldade justificar.

8. Aproveite o cache

As APIs dos principais fabricantes oferecem cache: a parte do contexto que não muda de uma chamada para outra, como instruções longas, é cobrada bem mais barato quando é relida. Para aproveitar, coloque o que é estável no começo e o que varia no fim. Se você está desenvolvendo uma ferramenta interna, esse costuma ser o ajuste que mais compensa.

9. Faça o assistente buscar em vez de entregar tudo a ele

É a mudança de fundo. Em vez de colocar os seus documentos no contexto, você conecta o assistente ao lugar onde eles estão guardados. Quando precisa de uma informação, ele faz uma busca, recebe alguns trechos curtos com a localização de cada um e lê só a parte útil.

A diferença é grande em um documento longo.

É o que o protocolo MCP permite, como explicamos em MCP explicado de forma simples.

10. Organize e divida os seus documentos

O método 9 só vale se os documentos ajudarem. Um arquivo de oitenta páginas com tudo misturado obriga o assistente a ler muito. Documentos que tratam de um assunto cada um, com títulos e subtítulos claros, permitem que ele vá direto ao ponto. Descrevemos o método em Criar uma base de conhecimento para IA.

O que não funciona

Alguns truques circulam muito e rendem pouco.

• Cortar a educação. “Bom dia” e “obrigado” pesam alguns tokens. Um documento colado pesa milhares.
• Escrever em estilo telegráfico. Você economiza dez tokens e recebe uma resposta fora do alvo, que precisa corrigir em três rodadas.
• Passar tudo para o inglês. A economia existe, mas é modesta, e você perde precisão se os seus documentos e os seus leitores são de língua portuguesa.
• Comprimir os documentos com um resumo. Útil para um histórico de conversa, arriscado para um procedimento ou um contrato: o detalhe que falta é sempre aquele de que se precisava.

Meça antes e depois

Só se reduz bem aquilo que se mede.

Com uma API, cada resposta informa o número de tokens lidos e escritos, e o console do seu fornecedor mostra o consumo por dia e por modelo. Observe a proporção entre tokens lidos e tokens escritos: se você lê cem vezes mais do que escreve, os seus contextos estão carregados demais.

Com uma assinatura, nem sempre há um contador preciso. Observe em que momento do dia você atinge o limite e em que tipo de conversa. As ferramentas de programação de linha de comando costumam mostrar o tamanho do contexto atual.

Faça um teste simples: a mesma tarefa, uma vez com o documento colado, outra com o assistente conectado à fonte. Compare o consumo e a qualidade da resposta.

Em equipe, o desperdício se multiplica

Sozinho, colar dez páginas a cada conversa é um mau hábito. Em dez pessoas, é o mesmo mau hábito dez vezes, sobre as mesmas dez páginas, todos os dias. E cada pessoa cola uma versão um pouco diferente.

Uma fonte comum, em que cada assistente lê o trecho útil, resolve os dois problemas de uma vez: o consumo e a coerência das respostas. É o assunto do nosso guia Compartilhar o contexto entre as IAs de uma equipe.

O que o Linkevio faz nesse ponto

O Linkevio é uma base de conhecimento compartilhada que os seus assistentes de IA leem diretamente. Ele aplica o método 9 por construção.

• A busca é feita no texto dos seus documentos e dos arquivos importados, e devolve trechos curtos com a localização de cada um.
• Em seguida, o assistente lê a parte do documento de que precisa, não o documento inteiro.
• Os documentos são organizados por projeto e podem ser marcados como referência, o que evita que o assistente leia três versões para achar uma boa.

Não vamos anunciar um percentual de economia: ele depende do tamanho dos seus documentos e do que você colava até agora. Quanto mais longos os documentos e quanto mais você os usava, maior a diferença. O plano gratuito permite conferir isso nos seus próprios casos: crie o seu espaço e faça o teste descrito acima.

Perguntas frequentes

Por que eu atinjo tão rápido o limite da minha assinatura?

Quase sempre por causa de conversas longas com documentos grandes. Cada mensagem relê tudo. Abra uma nova conversa por assunto e evite colar documentos inteiros: é o que mais faz diferença.

Uma pergunta mais curta custa menos?

Quase nada. A sua mensagem é a menor parte do contexto. O que conta é o que vem junto com ela: documentos, histórico, resultados de ferramentas.

Conectar ferramentas via MCP não consome tokens?

Consome, um pouco: a descrição de cada ferramenta ocupa espaço. Por isso é melhor ativar só os conectores que você usa. Mas um conector que devolve trechos em vez de documentos inteiros economiza bem mais do que custa.

O cache vale para a minha assinatura?

O cache é, antes de tudo, um mecanismo das APIs, que interessa a quem desenvolve. Em uma assinatura, as otimizações são gerenciadas pelo fabricante; você não precisa se preocupar com isso.

Os arquivos anexados a um projeto são relidos toda vez?

Depende do assistente e do tamanho dos arquivos: alguns carregam tudo, outros buscam partes. Nos dois casos, são cópias que você precisa lembrar de atualizar.

Reduzir os tokens piora as respostas?

Não, se você tirar o que é inútil e mantiver o que é necessário. Um contexto mais curto e mais bem direcionado costuma dar respostas melhores. O que piora é tirar uma informação de que o modelo precisava: daí a vantagem de deixar que ele mesmo busque.