RTX 4090 vs RTX 5090 for local LLMs

Prices are US launch prices (MSRP) for comparison; street prices change daily. Links go to Amazon, where we earn a commission at no cost to you.

Every model, side by side

Best quant that fits and estimated speed at 8K context.

Model	RTX 4090	RTX 5090
Qwen3 0.6B	FP16 · ~403 tok/s	FP16 · ~717 tok/s
Gemma 3 1B	FP16 · ~302 tok/s	FP16 · ~538 tok/s
Llama 3.2 1B	FP16 · ~244 tok/s	FP16 · ~434 tok/s
Qwen3 1.7B	FP16 · ~149 tok/s	FP16 · ~265 tok/s
Llama 3.2 3B	FP16 · ~94 tok/s	FP16 · ~167 tok/s
Phi-3.5 Mini 3.8B	FP16 · ~79 tok/s	FP16 · ~141 tok/s
Phi-4 Mini 3.8B	FP16 · ~79 tok/s	FP16 · ~140 tok/s
Qwen3 4B	FP16 · ~75 tok/s	FP16 · ~134 tok/s
Gemma 3 4B	FP16 · ~70 tok/s	FP16 · ~125 tok/s
Mistral 7B v0.3	FP16 · ~42 tok/s	FP16 · ~74 tok/s
Qwen2.5 7B	FP16 · ~40 tok/s	FP16 · ~71 tok/s
Qwen2.5 Coder 7B	FP16 · ~40 tok/s	FP16 · ~71 tok/s
DeepSeek R1 Distill Qwen 7B	FP16 · ~40 tok/s	FP16 · ~71 tok/s
Llama 3.1 8B	FP16 · ~38 tok/s	FP16 · ~67 tok/s
Granite 3.3 8B	FP16 · ~37 tok/s	FP16 · ~66 tok/s
Qwen3 8B	FP16 · ~37 tok/s	FP16 · ~66 tok/s
DeepSeek R1 0528 Qwen3 8B	FP16 · ~37 tok/s	FP16 · ~66 tok/s
Gemma 2 9B	FP16 · ~33 tok/s	FP16 · ~58 tok/s
Gemma 4 12B	Q8_0 · ~48 tok/s	FP16 · ~45 tok/s
Mistral Nemo 12B	Q8_0 · ~47 tok/s	FP16 · ~44 tok/s
Gemma 3 12B	Q8_0 · ~47 tok/s	FP16 · ~44 tok/s
Qwen2.5 14B	Q8_0 · ~39 tok/s	FP16 · ~37 tok/s
Phi-4 14B	Q8_0 · ~39 tok/s	FP16 · ~37 tok/s
Phi-4 Reasoning 14B	Q8_0 · ~39 tok/s	FP16 · ~37 tok/s
Qwen3 14B	Q8_0 · ~38 tok/s	FP16 · ~36 tok/s
Qwen2.5 Coder 14B	Q8_0 · ~38 tok/s	FP16 · ~36 tok/s
DeepSeek R1 Distill Qwen 14B	Q8_0 · ~38 tok/s	FP16 · ~36 tok/s
gpt-oss 20B	Q8_0 · ~158 tok/s	Q8_0 · ~281 tok/s
Mistral Small 24B	Q6_K · ~31 tok/s	Q8_0 · ~43 tok/s
Devstral Small 24B	Q6_K · ~31 tok/s	Q8_0 · ~43 tok/s
Magistral Small 24B	Q6_K · ~31 tok/s	Q8_0 · ~43 tok/s
Mistral Small 3.2 24B	Q6_K · ~31 tok/s	Q8_0 · ~42 tok/s
Gemma 4 26B-A4B	Q6_K · ~194 tok/s	Q8_0 · ~266 tok/s
Gemma 2 27B	Q5_K_M · ~31 tok/s	Q8_0 · ~37 tok/s
Gemma 3 27B	Q5_K_M · ~31 tok/s	Q8_0 · ~37 tok/s
Qwen3.8 27B	Q6_K · ~27 tok/s	Q8_0 · ~36 tok/s
Qwen3.6 27B	Q6_K · ~27 tok/s	Q8_0 · ~36 tok/s
Qwen3 30B-A3B	Q5_K_M · ~258 tok/s	Q6_K · ~397 tok/s
Qwen3 Coder 30B-A3B	Q5_K_M · ~258 tok/s	Q6_K · ~397 tok/s
GLM-4.7 Flash 30B-A3B	Q5_K_M · ~283 tok/s	Q6_K · ~437 tok/s
Gemma 4 31B	Q4_K_M · ~32 tok/s	Q6_K · ~42 tok/s
Nemotron 3 Nano 30B-A3B	Q5_K_M · ~243 tok/s	Q6_K · ~375 tok/s
Qwen2.5 32B	Q4_K_M · ~30 tok/s	Q6_K · ~40 tok/s
DeepSeek R1 Distill Qwen 32B	Q4_K_M · ~30 tok/s	Q6_K · ~40 tok/s
Qwen3 32B	Q4_K_M · ~30 tok/s	Q6_K · ~40 tok/s
QwQ 32B	Q4_K_M · ~30 tok/s	Q6_K · ~40 tok/s
Qwen2.5 Coder 32B	Q4_K_M · ~30 tok/s	Q6_K · ~40 tok/s
Qwen3.6 35B-A3B	Q4_K_M · ~333 tok/s	Q6_K · ~437 tok/s
Mixtral 8x7B	Q2_K · ~125 tok/s	Q4_K_M · ~137 tok/s
Llama 3.1 70B	Too big	Q2_K · ~41 tok/s
Llama 3.3 70B	Too big	Q2_K · ~41 tok/s
DeepSeek R1 Distill Llama 70B	Too big	Q2_K · ~41 tok/s
Qwen2.5 72B	Too big	Q2_K · ~39 tok/s
Qwen3 Coder Next 80B-A3B	Too big	Q2_K · ~956 tok/s
GLM-4.5-Air 106B-A12B	Too big	Too big
Llama 4 Scout 17B-16E	Too big	Too big
gpt-oss 120B	Too big	Too big
Qwen3.8 Flash Next	Too big	Too big
Qwen3 235B-A22B	Too big	Too big
DeepSeek V4 Flash 284B-A13B	Too big	Too big
GLM-5.3 Flash 320B-A18B	Too big	Too big
MiniMax M3 428B-A23B	Too big	Too big
GLM-5 744B-A40B	Too big	Too big
GLM-5.3	Too big	Too big
DeepSeek V4.1 Flash	Too big	Too big
Mistral Large 4 1T-A52B	Too big	Too big
DeepSeek V4 Pro 1.6T-A49B	Too big	Too big
Qwen3.8 2.4T-A95B	Too big	Too big
Kimi K3.1 Pro 2.8T-A104B	Too big	Too big

More comparisons

• RTX 3090 vs RTX 4090
• RTX 3090 vs RTX 5090
• RTX 5080 vs RTX 4090
• Radeon RX 7900 XTX vs RTX 4090
• Radeon RX 7900 XTX vs RTX 3090
• RTX 4060 Ti 16GB vs RTX 5060 Ti 16GB
• RTX 4070 Ti Super vs RTX 5070 Ti
• RTX 5070 vs RTX 5060 Ti 16GB
• RTX 3060 12GB vs RTX 4060
• Apple M4 Max (128GB) vs RTX 5090
• Apple M4 Pro (48GB) vs RTX 4090