Uma avaliação independente em hardware padrão mostra que grandes modelos de linguagem podem oferecer um desempenho útil sem uma GPU. Os testes focaram na velocidade e praticidade para tarefas do dia a dia.
Um notebook com processador Intel i5 e 12 GB de RAM serviu como plataforma de teste para oito modelos usando quantização Ollama e GGUF. O desempenho variou de 34 tokens por segundo para os modelos menores até cerca de 4 tokens por segundo para os maiores.