J'ai remplacé la recherche Google par un LLM local pendant une semaine, et cela a changé ma façon de trouver des réponses

Résumé : La recherche Google traditionnelle, de plus en plus polluée par le spam et les résumés d'IA biaisés, peut être avantageusement remplacée par un LLM local (comme Qwen via l'application Jan ou LM Studio) configuré avec un accès au web. Bien que ce système exige des requêtes précises pour éviter les amalgames d'informations et une gestion rigoureuse des ressources du GPU, il offre une alternative autonome et respectueuse de la vie privée, reléguant Google à des usages spécifiques comme les informations géolocalisées en temps réel.

Avant, les recherches sur Google apportaient une réponse à tout. Mais aujourd’hui, la réponse se cache souvent derrière cinq résultats sponsorisés et un résumé généré par l’IA qui n’est probablement pas exact. Pour y accéder, il faut faire défiler la page beaucoup plus que ne le mérite réellement la question, et compte tenu du comportement des utilisateurs, cela revient généralement à se contenter de la réponse la plus facile, qui n’est pas forcément la bonne.

Les LLM locaux sont désormais capables de répondre à des questions sans envoyer la moindre donnée aux géants de la tech, et j’ai récemment accordé à l’un d’entre eux l’accès à mon système de fichiers, pour remplacer en grande partie la recherche Windows. Mais un modèle qui tient sur un GPU de 8 Go est généralement de petite taille, et il ne connaît que les données sur lesquelles il a été entraîné, ce qui exclut les événements récents et d’actualité. J’ai donc donné à mon modèle un accès à Internet.

Le problème avec la recherche Google

La qualité des résultats de recherche Google ne cesse de se dégrader depuis des années, et des études concrètes viennent étayer ce constat. Une étude allemande menée sur une année a analysé 7 392 recherches d'avis sur des produits sur Google, Bing et DuckDuckGo, et a révélé que les premiers résultats étaient principalement des pages basées sur des liens d'affiliation, dont une grande partie n'était rien d'autre que du spam SEO pur et simple. Pour être honnête, les chercheurs ont indiqué que Google s'était légèrement amélioré au cours de l'année d'observation, même si l'utilisateur lambda ne l'aurait probablement pas remarqué, et que le moteur de recherche restait, au final, truffé de spam.

Et puis il y a les résumés générés par l’IA ; j’ai une relation amour-haine avec ceux-ci. Ils sont incroyablement pratiques, mais à quel prix ? Les résumés générés par l’IA présentent souvent des opinions personnelles issues de forums comme des faits, ce qui vous oblige de toute façon à vérifier vous-même toutes les informations ; à ce stade, autant continuer à faire défiler les résultats comme on le faisait avant l’apparition de ces résumés. De plus, Google diffuse désormais également des publicités au sein même de ces résumés générés par l’IA.

Ce n’est donc pas que la recherche Google soit complètement inutile, mais l’ambiance a simplement changé, et pas pour le mieux. Google décide de ce que je vois avant même que je n’aie lu quoi que ce soit. La majeure partie du haut d’une page de résultats est constituée de ce que Google veut me montrer, et pas nécessairement de ce que je recherche. 

Donner à mon LLM local un accès à Internet

Un modèle local ne connaît que ce qui figure dans ses données d'entraînement. Cela ne pose en réalité aucun problème lorsque l'on souhaite simplement obtenir une explication ou si les informations sur lesquelles on doit s'appuyer datent déjà de quelques années. Cependant, tout ce qui est récent finira par être une supposition ; par exemple, lorsque j'ai demandé à Gemma E4B quelle était la date, elle m'a répondu avec assurance « 2016 ».

La solution consiste à donner au modèle un moyen de rechercher des informations, et j’ai fini par le faire avec Jan, tout simplement parce que c’est l’option la plus pratique. La configuration consiste simplement à activer un bouton dans les paramètres et à installer l’extension de navigateur Jan, plutôt que de modifier un fichier de configuration. Par défaut, il effectue ses recherches via Exa sur un point de terminaison gratuit sans clé API, ce qui signifie également que mes questions ne passaient pas par Google. 

Les fonctions « search » et « fetch » ont des rôles différents : « search » fournit au modèle une liste de résultats comprenant des titres et de courts extraits, tandis que « fetch » est la partie qui ouvre l’une de ces pages et lit le texte proprement dit ; sans cela, le modèle fonctionne principalement à partir d’extraits. La recherche Web intégrée de Jan fournit les deux au modèle, ce qui lui permet d’effectuer une recherche puis de choisir lui-même un résultat à lire ; les pages récupérées sont par ailleurs réduites à une longueur définie avant d’atteindre le modèle, afin qu’une seule page ne saturent pas son contexte.

LM Studio est également capable de faire tout cela, et j’y ai déjà configuré Brave Search, ce qui vaut la peine si vous souhaitez un moteur qui gère son propre index au lieu d’emprunter celui de Google ou de Bing. Cela implique de s’inscrire à l’API Brave Search, puis de modifier le fichier mcp.json. 

Confier mes recherches à un petit modèle

Sur une carte de 8 Go, le choix de vos modèles dépendra essentiellement de la question de savoir où chercher. La famille Qwen est très performante pour l'utilisation d'outils (tool calling) ; je recommande donc d’opter pour un modèle de cette gamme. Mon choix se porte sur le Qwen 3.5 4B Q4_K_M pour les conversations légères, et sur le 9B, également en version Q4_K_M, pour les tâches plus exigeantes. Contrairement à Gemma, il effectue des recherches de sa propre initiative, sans qu’on ait besoin de le lui demander.

Une fois la recherche lancée, Jan rend le processus assez facile à suivre. Qwen récupère les pages qu’il souhaite lire et une petite barre de progression indique qu’il les parcourt, ce qui ne prend généralement que quelques secondes. Jan vous indique également quel outil le modèle a utilisé, ce qui vous permet de savoir s’il a réellement lu une page ou s’il s’est contenté d’exploiter les extraits de recherche.

La recherche n’a toutefois pas rendu Qwen fiable à 100 %. Lorsque je lui ai demandé ce qu’Obsidian avait publié ce mois-ci, il a extrait dix sources, puis a daté la mise à jour d’octobre 2035. Le titre en dessous indiquait 2045, et le numéro de version qu’il m’a donné ne semble exister nulle part. La plupart de ces dix sources étaient des journaux de modifications de plugins tiers, une seule provenant d’Obsidian lui-même ; je pense donc qu’il a lu un ensemble de pages vaguement liées entre elles et les a mélangées. Mais à sa décharge, ma requête était assez vague ; avec Qwen, il faut donner plus de détails pour obtenir des résultats précis. De toute façon, c’est à peu près à cela que ressemble un résumé généré par une IA classique. 

Jan répertorie les sources sous chaque réponse et vous pouvez ouvrir chacune d’entre elles ; je vous conseille donc d’aller directement sur la page officielle pour vérifier. La mise en œuvre de cette fonctionnalité est très conviviale : toutes vos sources seront soigneusement regroupées en bas de la page.

Faites toutefois attention au contexte. L’une de mes recherches a utilisé 70 % de ma fenêtre de contexte, et ce alors que j’avais réglé Qwen sur une longueur de contexte de 30 000 caractères ! Si vous utilisez un GPU moins puissant, il vous faudra donc trouver un équilibre entre le modèle, le niveau de quantification, la longueur du contexte et la façon dont vous formulez votre requête. Cela peut sembler être des obstacles, mais cela vous incite en réalité à réfléchir davantage à ce que vous recherchez, ce qui, selon moi, est un art perdu depuis que l’IA a fait son entrée dans le monde des moteurs de recherche. 

Une semaine à poser des questions plutôt qu’à faire des recherches

Je continue d’ouvrir Google, mais uniquement pour des requêtes différentes, comme me connecter à un compte ou trouver des informations ultra-précises en temps réel, par exemple quels restaurants sont ouverts près de chez moi en ce moment. Mais je commence désormais par poser mes questions à mon LLM local, en les tapant correctement. Maintenant, je voudrais juste avoir cette même configuration sur mon téléphone, mais c’est une toute autre histoire. 

traduction de : https://www.xda-developers.com/replaced-google-search-with-local-llm-changed-how-i-find-answers/