Le KV cache : pourquoi votre conversation IA utilise de plus en plus de mémoire

Le modèle n’a pas changé, mais votre Mac semble utiliser davantage de mémoire après une longue conversation. Ce n’est pas forcément un bug : les calculs de contexte ont eux aussi un coût. Le KV cache aide à comprendre ce qui se passe pendant la génération.

Pourquoi conserver des clés et des valeurs ?

Dans un modèle à attention, chaque nouveau token s’appuie sur les informations déjà traitées. Recalculer tout ce passé à chaque étape serait coûteux. Le KV cache, pour Key/Value cache, conserve des représentations issues des couches d’attention afin de les réutiliser.

Ce ne sont ni les poids du modèle ni une copie lisible de vos messages. Ce sont des états de calcul utilisés pendant l’inférence. Leur organisation et leur taille varient selon l’architecture et le moteur.

Quatre mémoires qui ne jouent pas le même rôle

Plus de contexte peut demander plus de RAM

Pour une attention classique, conserver davantage de tokens augmente les états à stocker. La précision des valeurs, le nombre de couches, les têtes d’attention et les requêtes simultanées interviennent aussi. Des architectures hybrides ou à fenêtre glissante peuvent avoir un comportement différent.

Il n’existe donc pas une règle universelle « 1 000 tokens = tant de mégaoctets ». Et quantifier les poids du modèle ne signifie pas automatiquement que le KV cache utilise la même précision.

Le cache de prompt dans POP Switcher

POP propose un réglage « Cache de prompt » pour demander à llama.cpp de réutiliser le cache lorsque deux requêtes partagent un début de prompt identique. Le moteur peut alors éviter de retraiter entièrement cette partie commune.

Ce mécanisme est particulièrement intéressant dans une conversation suivie ou une mission avec des consignes répétées. Il ne garantit pas une accélération identique si le début du contexte change, si le cache n’est plus disponible ou si le moteur doit recharger le modèle.

Et la mémoire persistante de POP ?

Elle conserve et retrouve les informations utiles à votre travail : préférences, souvenirs et références selon leur périmètre. POP sélectionne ces éléments pour préparer une nouvelle demande. Le cache, lui, sert à exécuter cette demande plus efficacement. Les deux se complètent sans se confondre.

Avant un appel, POP réserve aussi une place pour la réponse et peut réduire des éléments anciens ou facultatifs du contexte. L’objectif est de garder votre demande exploitable, pas de remplir systématiquement toute la fenêtre annoncée.

Le bon réflexe si votre Mac ralentit

Observez la pression mémoire, le contexte choisi et les autres applications. Un nouveau fil plus ciblé peut aider, mais ne devrait pas vous obliger à oublier votre projet : conservez ses objectifs et références utiles dans POP.

Pour dimensionner l’ensemble, complétez cette lecture avec notre guide RAM et les embeddings, qui servent à retrouver l’information.