NVIDIA

RTX 4090

Voir sur LDLC Louer dans le cloud

24 Go

VRAM

132 tok/s

Meilleure génération

0,46 tok/s/W

Efficacité (réf.)

0,15 €/M tok

Coût élec. / M tokens (réf.)

Ce que cette carte fait tourner

Llama 3.2 3B Instruct Q4_K_M

2.02 Go

Non mesuré

Qwen2.5 7B Instruct Q4_K_M

4.68 Go

Non mesuré

Meta Llama 3.1 8B Instruct Q4_K_M★

4.92 Go · 132 tok/s mesurés

Fluide

Qwen2.5 14B Instruct Q4_K_M

8.99 Go · 78,0 tok/s mesurés

Fluide

DeepSeek R1 Distill Qwen 14B Q4_K_M

8.99 Go

Non mesuré

Phi-4 Q4_K_M

9.05 Go

Non mesuré

Fluide ≥ 60 tok/s (plus vite qu'on ne lit) · Confortable 30-60 · Lent < 30 · « Ne tient pas » = taille du modèle + 2 Go de marge > VRAM (le déchargement CPU est exclu du protocole : les chiffres n'auraient plus de sens).

Mesures par modèle

132 tok/s

Génération (moy.)

0,46 tok/s/W

Efficacité

0,15 €/M tok

Coût électrique

Runs

Coût = électricité seule (0,25 €/kWh), pour générer 1 million de tokens à la vitesse mesurée — l'unité de facturation des API cloud, la comparaison est volontaire.

Évolution dans le temps

Chaque point = un run (version de llama.cpp au survol). L'historique se construit en re-benchant la même carte au fil des versions — les drivers et llama.cpp font bouger les chiffres.

Date	Version	Génération	Prompt	VRAM pic	Temp. max	Conso	Contexte	Source
04/08	—	132	5 900	6,2 Go	66 °C	285 W	—	démo

VRAM utilisée = pic de mémoire GPU système pendant le run (inclut l'OS, compte ~0,5 à 1 Go de plus que le modèle seul).