Decodificação Especulativa: Como Fazer a IA Responder 2 a 3 Vezes Mais Rápido Sem Trocar de Modelo
Por Enio Moraes
Fundador da movimento.ai
Quando um agente de IA demora 40 segundos para responder, o problema raramente é a inteligência do modelo. É a latência. Em atendimento, copilotos de vendas e agentes que encadeiam dezenas de chamadas, cada segundo a menos muda a experiência do usuário e o custo de infraestrutura. A decodificação especulativa (speculative decoding) é uma das técnicas mais eficazes para atacar esse gargalo sem trocar de modelo e sem perder qualidade.
Por que modelos grandes são lentos para "escrever"
Um modelo de linguagem gera texto token a token: cada novo token exige uma passagem completa pelo modelo. Em modelos grandes, essa etapa é limitada pela memória da GPU (é preciso ler bilhões de parâmetros a cada token), e não pela capacidade de cálculo. O resultado é um hardware caro, grande parte do tempo esperando dados, produzindo uma palavra por vez.
Como a decodificação especulativa funciona
A ideia é simples: um modelo pequeno e rápido (o "rascunhista") propõe vários tokens à frente, por exemplo cinco. O modelo grande então verifica todos de uma só vez, em uma única passagem paralela, aceitando os que concordam com o que ele mesmo teria escolhido e corrigindo o primeiro que divergir. Se os cinco forem aceitos, a empresa obtém seis tokens pelo custo de uma passagem do modelo grande.
O ponto central para quem decide: a verificação é matematicamente construída para que a saída siga exatamente a mesma distribuição do modelo grande. Não há troca entre velocidade e qualidade, ao contrário de usar um modelo menor no lugar do maior.
O que esperar em números
O ganho depende da taxa de aceitação, ou seja, da frequência com que o rascunho coincide com o que o modelo grande escolheria. Com taxas entre 60% e 80%, comuns em perguntas gerais com técnicas como EAGLE-3, cada passagem do modelo grande rende de 2,4 a 3,8 tokens. Benchmarks públicos reportam aceleração de cerca de 2,3x em um Llama 3.3 de 70 bilhões de parâmetros (de aproximadamente 18 para 42 tokens por segundo em quatro GPUs A100), e entre 2x e 2,7x em implementações de código aberto como as da Red Hat. Em tarefas muito previsíveis, como matemática e código, o ganho pode passar de 4x.
Há variações para cada realidade: um modelo-rascunho separado da mesma família, cabeças treinadas sobre o próprio modelo (EAGLE, Medusa), ou a busca por trechos repetidos no próprio prompt (n-gram), que não exige nenhum modelo extra. Os principais servidores de inferência, como vLLM, SGLang e TensorRT-LLM, já oferecem suporte.
Quando compensa, e quando não
A técnica brilha em cenários de baixa concorrência e sensíveis à latência: copilotos internos, assistentes de voz e agentes que dependem de respostas longas e encadeadas, com modelos de 13 bilhões de parâmetros ou mais. Já em serviços de alto volume, processados em lote com dezenas de requisições simultâneas, a GPU já está ocupada e o ganho some; em alguns testes, o desempenho chega a ficar igual ou pior que o original. Respostas muito curtas e domínios especializados, em que o rascunho erra com frequência, também reduzem o benefício.
Perguntas que um líder técnico deve levar ao time: qual é o perfil de concorrência do nosso serviço? Medimos a latência de cauda (P99), e não só a média? O fornecedor de inferência já oferece essa otimização, ou estamos pagando por uma GPU subutilizada? Muitas vezes a resposta mais barata para "a IA está lenta" não é um modelo menor, e sim uma inferência mais inteligente.
Fontes: PremAI, "Speculative Decoding: 2-3x Faster LLM Inference (2026)"; Redis, "Speculative decoding in LLMs"; documentação do vLLM e do SGLang. Os números dependem de hardware, modelo e carga.