Existe uma ideia bastante difundida de que inteligência artificial exige placa de vídeo. Ela não é exatamente errada, mas é incompleta de um jeito que custa dinheiro: muita gente paga por GPU para rodar carga que não precisa, e muita gente tenta rodar em CPU o que só funciona bem com placa.
A diferença entre as duas não é de velocidade, é de formato de trabalho. Entender isso resolve a decisão em poucos minutos.
A diferença, sem analogia forçada
Um processador é feito para executar uma sequência de instruções muito rápido, uma depois da outra, tomando decisões pelo caminho. Ele tem poucos núcleos, mas cada um é sofisticado e versátil.
Uma placa de vídeo é feita para o oposto: executar a mesma operação simples sobre uma quantidade enorme de dados ao mesmo tempo. São milhares de núcleos simples, que não servem para lógica complicada, mas são imbatíveis quando o trabalho é repetitivo e paralelo.
Acontece que a operação fundamental de um modelo de linguagem é exatamente isso: multiplicação de matrizes, milhões de vezes, sempre igual. É o trabalho perfeito para uma GPU, e um trabalho desconfortável para uma CPU. Daí a associação.
A pergunta que decide: quem está esperando?
Se existe uma única pergunta capaz de resolver a escolha, é esta. Não é sobre o modelo, é sobre quem aguarda a resposta.
Alguém está olhando a tela
Um chat, um assistente dentro do produto, uma busca com resposta gerada. Nesses casos, a diferença entre responder em dois segundos e responder em trinta não é técnica, é a diferença entre um produto usável e um produto abandonado. Aqui a GPU não é luxo, é requisito.
Ninguém está esperando
Um fluxo noturno que classifica os registros do dia. Uma fila que processa documentos conforme chegam. Uma rotina que resume relatórios e manda por e-mail de manhã. Nesses casos, demorar trinta segundos por item é irrelevante, desde que o lote termine antes de alguém precisar do resultado. Aqui a CPU resolve, e pagar por GPU é desperdício puro.
O que roda bem em CPU
A lista é maior do que a fama sugere:
- Modelos pequenos quantizados. Modelos abertos na faixa de poucos bilhões de parâmetros, com quantização, rodam em processador comum com latência de segundos. Para classificar, extrair campos ou responder dentro de um domínio fechado, funcionam bem.
- Geração de embeddings. Modelos de embedding são muito menores que modelos de geração e rodam confortavelmente em CPU, inclusive em volume.
- Busca vetorial. A consulta em si é cálculo de distância, rápido em processador. O que pesa aqui é memória e velocidade de disco, não poder de cálculo.
- Todo o resto do projeto. A aplicação, a fila, o banco, a API. Nada disso toca GPU.
O que realmente exige GPU
Três situações não têm saída elegante sem placa:
- Resposta interativa com modelo grande. Quanto maior o modelo, mais a diferença aparece, e ela deixa de ser incômoda para ser inviável.
- Muitas requisições simultâneas. Uma CPU processa uma inferência de cada vez com dificuldade. Concorrência real exige o paralelismo da placa.
- Treinamento ou ajuste fino. Aqui não é questão de conforto. Ajustar um modelo em CPU leva tempo que não cabe num projeto.
O erro caro dos dois lados
De um lado, times que contratam máquina com GPU para rodar uma automação noturna que classifica duzentos registros. A placa fica ociosa vinte e três horas por dia e a conta chega inteira mesmo assim.
Do outro, times que montam um assistente para o cliente final em CPU, testam com uma pessoa, aprovam, e descobrem no lançamento que dez usuários simultâneos transformam dois segundos em quarenta.
Os dois erros vêm da mesma origem: decidir pelo modelo em vez de decidir pelo uso.
O caminho mais barato
Para a maior parte dos projetos, a sequência que faz sentido é começar em CPU e medir. Rode a carga real, cronometre, e veja se o tempo cabe no que o projeto precisa.
Se couber, você acabou de economizar bastante, porque servidor com GPU custa múltiplos de servidor comum. Se não couber, você tem agora um número concreto para justificar o upgrade, em vez de uma suposição.
E existe uma terceira via que muita gente esquece: manter a aplicação em CPU e chamar API externa apenas nas tarefas que exigem modelo grande e resposta rápida. Assim você paga por GPU só nos momentos em que ela é realmente necessária, sem mantê-la parada o resto do tempo.
Para medir sua carga em máquina real antes de decidir, dá para começar com uma VPS da StayCloud e ajustar conforme o número aparecer.
