Ajouter un LLM GGUF dans POP Switcher sur Mac : le tutoriel pas à pas

Ajouter un LLM GGUF dans POP Switcher sur Mac consiste à choisir un fichier adapté, à le placer dans le bon dossier, puis à l’affecter à un rôle. Un LLM est un grand modèle de langage : il produit du texte à partir de votre demande. Ce tutoriel suit le parcours d’un modèle de conversation destiné à Chat.

Notre guide Hugging Face et GGUF explique les fiches et les formats. Ici, nous passons à la manipulation dans POP, avec un point de contrôle à chaque étape.

Choisir un modèle de conversation

Ouvrez l’aide de Système dans POP et consultez les recommandations pour votre usage. Sur Hugging Face, lisez la fiche du modèle : langue, tâches prévues, conditions d’utilisation et méthode de distribution. Préférez un modèle préparé pour suivre des instructions ou tenir une conversation.

Repérez le nom de l’éditeur et celui du dépôt qui fournit le GGUF. Une conversion peut être publiée par une autre équipe. La fiche doit vous permettre de retrouver le modèle d’origine et sa licence. Conservez le lien avec votre fichier : il servira à vérifier une mise à jour.

Comprendre le fichier GGUF

GGUF est un format de fichier pour l’inférence, c’est-à-dire le calcul des réponses. Il contient les données numériques du modèle et des métadonnées utiles à son chargement. POP utilise llama.cpp pour son parcours texte GGUF.

La quantification réduit la précision de certaines données pour alléger le modèle. Des noms comme Q4_K_M et Q5_K_M désignent des variantes de quantification. Le bon choix dépend du modèle, de votre RAM et de la qualité attendue sur vos tâches.

Comparez la taille des fichiers et les indications de la fiche. Gardez une réserve mémoire pour le contexte, le moteur et macOS. Pour vos premiers essais, un modèle plus compact facilite le chargement et les ajustements.

Télécharger la bonne variante

1. Ouvrez la liste des fichiers du dépôt.
2. Repérez la variante GGUF choisie.
3. Vérifiez sa taille et son nom complet.
4. Téléchargez le fichier.
5. Attendez la fin du téléchargement.

Pour une première installation, privilégiez une variante distribuée dans un seul fichier. Un modèle découpé en plusieurs parties suit les consignes de son éditeur et les capacités du moteur utilisé. Conservez les noms fournis par le dépôt.

Un modèle texte, un modèle d’embedding pour Docs et un modèle d’image remplissent des fonctions différentes. Choisissez bien un modèle texte pour cet exercice avec Chat.

Placer le modèle dans POP

Dans la fenêtre principale de POP, utilisez Ouvrir dossier pour ouvrir le dossier de modèles configuré. Le dossier par défaut suit le parcours WorkFlow/LLM ; l’emplacement affiché par votre application fait référence.

Placez le fichier .gguf directement dans ce dossier. Le scan principal examine les fichiers de ce niveau. Un fichier rangé dans un sous-dossier arbitraire peut rester hors de cette liste. Le parcours MLX possède son propre dossier et concerne des modèles complets au format adapté.

Vous pouvez conserver plusieurs variantes avec des noms explicites. Pour commencer, ajoutez une seule variante et vérifiez son fonctionnement avant d’en télécharger d’autres.

Scanner et assigner au rôle

1. Cliquez sur Scanner.
2. Retrouvez le fichier dans Modèles détectés.
3. Sélectionnez ce modèle.
4. Choisissez le rôle Chat.
5. Cliquez sur Assigner au rôle.

Cette affectation mémorise le modèle pour le rôle. POP vérifie aussi la compatibilité prévue par son parcours. Plusieurs rôles texte peuvent partager un même modèle, selon leurs besoins et leurs réglages.

Lancer une première demande

Vérifiez que llama.cpp est préparé dans Système. Lancez le moteur, puis utilisez Ouvrir UI pour accéder à Chat. Contrôlez le nom du modèle affiché.

Écrivez une demande simple : « Donne trois idées de titres pour une réunion consacrée au rangement d’un atelier. » Relisez la réponse. Poursuivez avec une consigne courte pour vérifier le suivi du dialogue.

Si le fichier apparaît sans se charger, consultez le journal. Les informations utiles sont la version du moteur, le nom du modèle, l’erreur et le contexte demandé. Un contexte plus court ou une variante plus légère peut faciliter l’essai, selon la cause indiquée.

Garder une configuration facile à retrouver

Notez le dépôt, la variante, sa quantification et le rôle affecté. Pour comparer deux modèles, utilisez la même demande et les mêmes réglages. Examinez la fidélité, la clarté, le temps observé et la pression mémoire.

Vous disposez alors d’un parcours reproductible pour votre LLM local sur Mac : une source identifiée, un fichier précis, un rôle et une première tâche vérifiée.

Note de version

Le tutoriel suit le parcours GGUF de POP 4.77, rapproché de l’interface 4.77q. Capture : POP Switcher. La compatibilité dépend de l’architecture du modèle et du moteur installé. La photographie d’ouverture est une illustration ; les réponses locales sont calculées sur votre Mac avec le fournisseur local choisi.