Reduzir o consumo de tokens: dez métodos concretos

O que é um token e porque é que conta

Um modelo de linguagem não lê palavras, lê tokens: pedaços de palavras. Em inglês, um token equivale a cerca de três quartos de uma palavra. Em português, são precisos um pouco mais para dizer a mesma coisa, por causa dos acentos e das palavras mais compridas. Uma página de texto denso representa, em ordem de grandeza, entre quinhentos e oitocentos tokens.

Os tokens contam por três razões.

• O preço. Se utiliza uma API, paga cada token lido pelo modelo e cada token que ele escreve. Os tokens escritos custam, em geral, várias vezes mais do que os tokens lidos.
• Os limites. Se tem uma subscrição, não paga ao token, mas a sua utilização tem um teto. Quanto mais pesadas forem as suas conversas, mais depressa atinge esse teto.
• A qualidade. Um modelo afogado em páginas de texto de que não precisa responde pior. Deixa escapar um pormenor, mistura duas versões ou esquece uma instrução dada no início.

Este terceiro ponto é o mais importante: reduzir o consumo, quando é bem feito, melhora as respostas.

De onde vem realmente o consumo

A ideia feita é que o consumo depende do tamanho das suas perguntas. É falso. Depende de tudo o que está no contexto no momento em que o modelo responde, e esse contexto é relido por inteiro a cada mensagem.

Pense numa conversa em que colou um documento de dez páginas no início. Na primeira mensagem, o modelo lê dez páginas. Na segunda, relê essas dez páginas, mais a sua primeira troca. Na vigésima mensagem, relê as dez páginas, mais as dezanove trocas anteriores. O documento foi lido vinte vezes.

Eis o que enche um contexto, do mais pesado ao mais leve na maioria dos casos.

1. Os documentos colados ou anexados, relidos a cada volta.
2. O histórico da conversa, que cresce a cada mensagem.
3. Os resultados de ferramentas: páginas web consultadas, ficheiros lidos, resultados de pesquisa.
4. As instruções permanentes: instruções personalizadas, descrições das ferramentas ligadas.
5. A sua mensagem, que é quase sempre a parte mais pequena.

Quando se procura poupar, olha-se portanto primeiro para o que está colado e para o que fica a arrastar-se, e não para a forma de formular a pergunta.

Dez métodos, do mais rentável ao mais fino

1. Deixe de colar documentos inteiros

É a primeira fonte de poupança, e de longe. Se a sua pergunta diz respeito a uma cláusula de um contrato de trinta páginas, o modelo só precisa dessa cláusula e do que a rodeia.

Há duas formas de lá chegar. À mão, colando apenas a secção útil. Ou, muito melhor, ligando o assistente a uma fonte onde ele possa procurar e ler apenas a passagem que lhe interessa. Ver o método 9.

2. Abra uma nova conversa por assunto

Uma conversa que dura o dia inteiro arrasta todo o seu passado a cada mensagem. Quando mudar de assunto, mude de conversa. Se precisar de manter um fio condutor, peça um resumo de dez linhas da antiga e comece a nova com ele.

3. Escreva as suas instruções permanentes uma vez, e curtas

As instruções personalizadas são acrescentadas a cada conversa. Três parágrafos precisos valem mais do que três páginas que repetem a mesma coisa. Mantenha lá o que vale para tudo e passe o resto para documentos que o assistente irá ler quando precisar.

4. Dê a instrução completa logo na primeira mensagem

Cada ida e volta de correção relê todo o contexto. «Redige um email» seguido de cinco esclarecimentos custa cinco voltas. Diga logo para quem, em que tom, com que tamanho e que resultado espera: obtém a resposta certa numa só volta.

5. Peça respostas com o tamanho certo

Os tokens escritos são os mais caros e os mais lentos. Se quer cinco pontos, peça cinco pontos. Se quer apenas a parte alterada de um texto, diga-o, em vez de deixar o modelo reescrever o documento inteiro a cada retoque.

6. Escolha o modelo em função da tarefa

Os fabricantes oferecem vários modelos, do mais leve ao mais potente, com diferenças de preço importantes. Reformular um email, classificar mensagens ou extrair datas não exige o modelo mais caro. Guarde esse para o raciocínio difícil.

7. Doseie a reflexão alargada

Os modos de reflexão aprofundada levam o modelo a produzir um raciocínio intermédio, que conta para o consumo. São preciosos num problema complexo, inúteis numa tarefa simples. Ative-os quando a dificuldade o justificar.

8. Tire partido da cache

As API dos principais fabricantes oferecem uma cache: a parte do contexto que não muda de uma chamada para outra, como instruções longas, é faturada muito mais barato quando é relida. Para aproveitar, coloque o que é estável no início e o que varia no fim. Se está a desenvolver uma ferramenta interna, é muitas vezes o ajuste mais rentável.

9. Ponha o assistente a procurar em vez de lhe dar tudo

É a mudança de fundo. Em vez de pôr os seus documentos no contexto, liga o assistente ao sítio onde estão arrumados. Quando precisa de uma informação, ele lança uma pesquisa, recebe alguns excertos curtos com a respetiva localização e lê apenas a parte útil.

A diferença é grande num documento longo.

É o que o protocolo MCP permite, explicado em MCP explicado de forma simples.

10. Arrume e divida os seus documentos

O método 9 só vale se os documentos se prestarem a isso. Um ficheiro onde cabe tudo, com oitenta páginas, obriga o assistente a ler em largura. Documentos que tratam cada um de um assunto, com títulos e subtítulos claros, permitem-lhe ir direto ao que interessa. Descrevemos o método em Criar uma base de conhecimento para IA.

O que não funciona

Há truques que circulam muito e rendem pouco.

• Suprimir a cortesia. «Bom dia» e «obrigado» pesam alguns tokens. Um documento colado pesa milhares.
• Escrever em estilo telegráfico. Poupa dez tokens e obtém uma resposta ao lado, que é preciso corrigir em três voltas.
• Passar tudo para inglês. A poupança existe mas é modesta, e perde precisão se os seus documentos e os seus leitores forem de língua portuguesa.
• Comprimir os documentos com um resumo. Útil para um histórico de conversa, arriscado para um procedimento ou um contrato: o pormenor que falta é sempre aquele de que se precisava.

Medir antes e depois

Só se reduz bem aquilo que se mede.

Com uma API, cada resposta indica o número de tokens lidos e escritos, e a consola do seu fornecedor dá o consumo por dia e por modelo. Veja a relação entre tokens lidos e tokens escritos: se lê cem vezes mais do que escreve, os seus contextos estão demasiado carregados.

Com uma subscrição, nem sempre tem um contador preciso. Observe a que hora do dia atinge o limite, e em que tipo de conversa. As ferramentas de programação de linha de comandos mostram muitas vezes o tamanho do contexto em curso.

Faça um ensaio simples: a mesma tarefa, uma vez com o documento colado, outra com o assistente ligado à fonte. Compare o consumo e a qualidade da resposta.

Em equipa, o desperdício multiplica-se

Sozinho, colar dez páginas em cada conversa é um mau hábito. A dez, é o mesmo mau hábito dez vezes, sobre as mesmas dez páginas, todos os dias. E cada pessoa cola uma versão ligeiramente diferente.

Uma fonte comum onde cada assistente lê a passagem útil resolve os dois problemas de uma vez: o consumo e a coerência das respostas. É o tema do nosso guia Partilhar o contexto entre as IA de uma equipa.

O que o Linkevio faz neste ponto

O Linkevio é uma base de conhecimento partilhada que os seus assistentes de IA leem diretamente. Aplica o método 9 por construção.

• A pesquisa incide sobre o texto dos seus documentos e dos ficheiros importados, e devolve excertos curtos com a respetiva localização.
• O assistente lê depois a parte do documento de que precisa, não o documento inteiro.
• Os documentos estão arrumados por projeto e podem ser assinalados como referência, o que evita que o assistente leia três versões para encontrar uma boa.

Não lhe vamos anunciar uma percentagem de poupança: depende do tamanho dos seus documentos e do que colava até aqui. Quanto mais longos forem os documentos e mais vezes os utilizava, maior é a diferença. O plano gratuito permite verificá-lo nos seus próprios casos: crie o seu espaço e faça o ensaio descrito acima.

Perguntas frequentes

Porque é que atinjo tão depressa o limite da minha subscrição?

Quase sempre por causa de conversas longas que contêm documentos grandes. Cada mensagem relê tudo. Abra uma nova conversa por assunto e evite colar documentos inteiros: é o que faz mais diferença.

Uma pergunta mais curta fica mais barata?

Quase nada. A sua mensagem é a parte mais pequena do contexto. O que conta é o que a acompanha: documentos, histórico, resultados de ferramentas.

Ligar ferramentas por MCP não consome tokens?

Consome, um pouco: a descrição de cada ferramenta ocupa espaço. Por isso é preferível ativar apenas os conectores que utiliza. Mas um conector que devolve excertos em vez de documentos inteiros faz poupar muito mais do que custa.

A cache aplica-se à minha subscrição?

A cache é antes de mais um mecanismo das API, que diz respeito a quem desenvolve. Numa subscrição, as otimizações são geridas pelo fabricante; não tem de se preocupar com isso.

Os ficheiros anexados a um projeto são relidos de cada vez?

Depende do assistente e do tamanho dos ficheiros: alguns carregam tudo, outros vão buscar porções. Nos dois casos, são cópias que é preciso lembrar-se de atualizar.

Reduzir os tokens piora as respostas?

Não, se retirar o que é inútil e mantiver o que é necessário. Um contexto mais curto e mais bem direcionado dá, em geral, melhores respostas. O que piora é retirar uma informação de que o modelo precisava: daí o interesse em deixá-lo procurar sozinho.