Voici une sélection de modèles non censurés et abliterés présents sur Hugging Face en fonction de la VRAM de votre GPU (de 8 à 24 Go).
Un glossaire est présent en fin d'article si certains termes techniques vous paraissent obscurs.
GPU avec 8 Go VRAM
- NVIDIA : RTX 3060 Ti, 3070, 4060, 5060, 4060 Ti 8 Go, 5060 Ti 8 Go
- AMD : RX 6600, 6650 XT, 7600, 9060 XT 8 Go
Cartes 8 Go plus anciennes
GPU avec 12 Go VRAM
- NVIDIA : RTX 3060 12 Go, 3080 12 Go, 4070, 4070 Super, 4070 Ti, 5070
- AMD : RX 6700 XT, 6750 XT, 7700 XT
GPU avec 16 Go VRAM
- NVIDIA : RTX 4060 Ti 16 Go, 5060 Ti 16 Go, 4070 Ti Super, 4080, 5070 Ti, 5080
- AMD : RX 6800, 6900 XT, 7600 XT, 7800 XT, 9060 XT 16 Go, 9070 XT
24 Go VRAM
- NVIDIA : RTX 3090, 3090 Ti, 4090
- AMD : RX 7900 XTX (et la 7900 XT 20 Go convient aussi)
Conclusion :
Les chiffres de refus sont les tests propres à chaque éditeur, donc lisez-les par modèle, et les vitesses concernent les modèles de base sur cartes Nvidia, ces builds gardent la même taille donc tournent pareil.
Les cartes AMD proposent de faire tourner les mêmes fichiers sur les backends Vulkan ou ROCm de llama.cpp. Les builds Bonsai tournent sur le llama.cpp de PrismML.
Glossaire IA :
Si vous débutez dans l'exécution de modèles de langage (LLM) en local sur votre ordinateur, voici un guide rapide pour comprendre tous les termes techniques :
Les types de modèles :
- LLM (Large Language Model) / Modèle de langage
- Un programme informatique entraîné sur d'immenses quantités de texte pour comprendre et générer du langage humain (ex: ChatGPT, Qwen, Gemma).
- Non censuré (Uncensored)
- Un modèle dont on a retiré les filtres de sécurité d'origine. Il répondra à toutes les questions sans émettre de refus éthiques ou moraux.
- Ablitéré (Abliterated)
- Une technique récente pour désactiver les mécanismes de refus d'un modèle sans dégrader ses compétences générales (logique, code, etc.).
- MoE (Mixture of Experts / Mélange d'experts)
- Une architecture d'IA composée de plusieurs "spécialistes". Au lieu d'activer tout le modèle à chaque question, l'IA n'utilise que les experts nécessaires (ex: 3B ou 4B actifs), ce qui la rend beaucoup plus rapide.
- Merge
- La fusion de plusieurs modèles différents pour combiner leurs forces (par exemple, marier un modèle doué en écriture avec un modèle expert en programmation).
Vitesse & Optimisation :
- tok/s (Tokens par seconde)
- La vitesse de génération. Un token équivaut à environ 3/4 d'un mot en français. À 40-50 tok/s, le texte s'affiche instantanément à l'écran.
- GGUF
- Le format de fichier le plus populaire pour faire tourner des IA sur des ordinateurs grand public via des logiciels comme
llama.cpp, LM Studio ou Ollama. - Quantification (ex: 1-bit, Q4, PQ2_0)
- Une méthode de compression qui réduit la taille d'un modèle pour qu'il tienne sur une carte graphique plus petite, moyennant une perte de précision minime.
- Tête MTP / Tête d'accélération (Speculative Head)
- Une optimisation logicielle qui permet à l'IA de prédire et générer plusieurs mots en même temps au lieu d'écrire mot par mot, accélérant considérablement l'affichage.
- Kernel (Noyau GPU)
- Un bout de code sur mesure qui indique à la carte graphique comment exécuter les calculs de l'IA de la manière la plus fluide possible.
Source : https://x.com/sudoingX/status/2107855975382127073/photo/1
Enregistrer un commentaire
Les commentaires sont validés manuellement avant publication. Il est normal que ceux-ci n'apparaissent pas immédiatement.