Combien de RAM faut-il vraiment pour une IA sur Mac Apple Silicon ?

Un modèle de 8B n’utilise pas forcément 8 Go de RAM. Et un fichier de 5 Go n’a pas besoin de seulement 5 Go pour fonctionner. Pour dimensionner une IA locale, il faut regarder ce qui est stocké, ce qui est chargé et ce qui grandit pendant la conversation.

La formule utile, et sa limite

Pour un modèle dense, une première approximation des poids seuls est : nombre de paramètres × nombre de bits ÷ 8. Un modèle de 8 milliards de paramètres à quatre bits représente ainsi 4 milliards d’octets, soit environ 4 Go décimaux. Les métadonnées et certaines couches conservées dans une précision différente font varier le fichier réel.

Ce tableau est un calcul pédagogique, pas une mesure de RAM totale ni une promesse de compatibilité. Les architectures hybrides, multimodales et MoE demandent des précautions supplémentaires.

Ce qui s’ajoute pendant l’utilisation

Le moteur réserve des buffers de calcul. La conversation mobilise un cache, souvent appelé KV cache, dont le coût dépend de l’architecture, de sa précision et du nombre de tokens. La vision peut ajouter un encodeur. Un assistant vocal fait aussi travailler la transcription et la synthèse.

Sur Apple Silicon, CPU et GPU partagent une mémoire unifiée. C’est pratique pour éviter certaines copies, mais cette mémoire sert aussi à macOS et à vos applications. On ne dispose pas de toute la RAM annoncée pour le seul modèle.

Repères pour commencer, sans garantie universelle

• 8 Go : petits modèles quantifiés, conversations courtes et attentes modestes.
• 16 Go : point de départ raisonnable pour découvrir des modèles compacts ; commencez petit plutôt que de remplir toute la mémoire.
• 24 ou 32 Go : davantage de marge pour des modèles plus importants ou des usages documentaires, à vérifier selon le fichier choisi.
• 64 Go et plus : ouvre d’autres configurations, mais ne rend pas chaque grand modèle rapide.

Ces repères sont des conseils de départ, pas des seuils officiels. Observez la pression mémoire dans Moniteur d’activité. Un swap important sur SSD peut rendre l’expérience beaucoup moins agréable.

Comment POP Switcher aide à rester raisonnable

POP sépare les rôles et leurs moteurs : vous n’avez pas besoin d’attribuer un énorme modèle différent à chacun. Plusieurs rôles peuvent partager le même modèle ; les parcours peuvent faire se succéder les moteurs au lieu de les accumuler. Pour Docs, un index pertinent évite d’envoyer systématiquement toute la bibliothèque au LLM.

Commencez avec un modèle compact, une seule tâche et un contexte mesuré. Ensuite seulement, augmentez l’ambition. Pour la vitesse de génération, la capacité n’est qu’une partie du sujet : découvrez aussi la bande passante mémoire des Mac.