Jan AI est un logiciel open source pour windows, mac et linux qui permet de télécharger et d'utiliser localement et hors ligne différents modèles d'intelligence artificielle conversationnelle.
L'exécution de chatbots localement avec Jan AI présente des avantages tels qu'une confidentialité accrue (pas de données envoyées sur Internet), une utilisation gratuite et la possibilité de personnaliser les modèles.
Pour démarrer un chat, c'est très simple, il suffit de télécharger un modèle parmi ceux proposés dans le hub du logiciel et de lancer une conversation. Parmi les 3 modèles de LLM recommandés par Jan AI, le modèle OpenHermes Neural 7B est celui qui m'a semblé le plus pertinent.
J'ai voulu tester l'énorme modèle mixtral-8x7b-de 26go qui se rapproche des performances de Claude 2.0 (source), cependant, celui-ci nécessite un ordinateur très performant (mon i5 13600kf est était a l'agonie). edit : après un redémarrage ce modèle fonctionne plutot bien en réalité.
En outre, le logiciel propose des modèles spécialisés pour les codeurs et pour les amateurs de jeux de rôles (le modèle Noromaid 7b).
A noter que vous pouvez aussi utiliser Chat GPT à l'aide de votre clé API.
