Inference cost
Coût en dollars de l'exécution d'un LLM pour générer une réponse — calculé en tokens input et output, variable selon le modèle et le provider.
Définition
L'inference cost (coût d'inférence) est le prix payé chaque fois qu'un LLM génère une réponse. Il se décompose en deux composantes : le coût des tokens en input (tout ce qu'on envoie au modèle : instructions, contexte, code) et le coût des tokens en output (la réponse générée). Les deux sont facturés séparément, l'output étant généralement 3-5x plus cher que l'input pour compenser le coût computationnel de la génération. Dans un workflow agentique de coding, l'input domine : charger de gros fichiers de code coûte plus cher que les modifications produites.
Point de vue postcursors
L'inference cost est une variable de décision technique, pas juste un poste budgétaire. Choisir entre Claude Sonnet ($3/$15 par M tokens) et DeepSeek V3 ($0.27/$1.10 par M tokens) sur une tâche de génération de tests boilerplate n'est pas "être radin" — c'est de l'ingénierie. La différence de qualité sur ce type de tâche est marginale, la différence de coût est d'un facteur 10. Sur une équipe de 5 devs avec 30-50 sessions/jour, ça représente 200-500$/mois d'écart. Les outils multi-provider (OpenCode, Kilo Code) permettent de router intelligemment selon la nature de la tâche.
En pratique
Stratégie concrète : utiliser un modèle budget (DeepSeek V3, Gemini Flash) pour les tâches mécaniques répétitives (tests boilerplate, migrations, documentation, renommages en masse) et un modèle premium (Claude Sonnet, GPT-5) pour les tâches nécessitant un raisonnement profond (architecture, debugging complexe, refactoring avec contexte métier). Le routing par type de tâche, pas par session complète, est la façon la plus efficace d'optimiser.
Confusions fréquentes
- ✗ Optimiser uniquement l'output (modèle moins cher) sans réduire l'input (contexte trop large) — c'est là que se trouve le vrai coût
- ✗ Comparer les prix sans regarder le context window disponible — un modèle moins cher avec 32k tokens peut coûter plus cher qu'un modèle premium avec 200k tokens si la tâche nécessite du contexte long