Découvrez Jev : un nouveau type de modèle d'IA conçu par l'un des co-créateurs de ChatGPT

Résumé : Développé par la start-up TypeSafe AI, le nouveau modèle Jev prend le contre-pied des intelligences artificielles conversationnelles en se spécialisant exclusivement dans la prise de décision automatisée à destination des logiciels. Au lieu de générer du texte mot à mot, Jev évalue instantanément une situation pour renvoyer des choix multiples, des scores ou des réponses binaires, atteignant ainsi des vitesses d'exécution de l'ordre de la milliseconde pour des coûts quasi nuls. Bien que cette approche ultra-rapide concède une légère baisse de précision sur les tâches complexes par rapport aux modèles de pointe, elle est conçue pour traiter efficacement les millions de micro-décisions invisibles du quotidien (modération, filtres, vérification de données), illustrant une nouvelle vision où de grands modèles analytiques seraient systématiquement épaulés par des décideurs algorithmiques économiques et fulgurants. 

Depuis quelques années, presque tous les lancements majeurs dans le domaine de l’IA suivent le même scénario : un modèle plus puissant, un meilleur raisonnement, une fenêtre contextuelle plus longue, une conversation plus fluide. Ce mois-ci, cependant, une start-up appelée TypeSafe AI a pris le contre-pied de cette tendance. Il est également important de noter que le fondateur de cette start-up, Diogo Almeida, a travaillé chez OpenAI sur la recherche relative au suivi d’instructions (connue sous le nom de RLHF) qui a permis de transformer des modèles linguistiques bruts en ChatGPT.

La start-up d’Almeida a travaillé pendant deux ans de manière discrète et vient tout juste de lever 40 millions de dollars.

Il présente aujourd’hui le premier modèle de l’entreprise, baptisé « Jev ». Contrairement à GPT et aux autres chatbots, Jev ne sait pas rédiger d’e-mail. Il n’essaie pas de s’expliquer et ne dispose pas de fenêtre de discussion. Son rôle est de prendre des décisions rapides, en environ un dixième de seconde, pour quelques centimes seulement. Diogo Almeida affirme que le chat n’a jamais été l’outil adapté à l’automatisation.

Le problème des ordinateurs qui parlent

Les grands modèles linguistiques ont pour fonction principale de générer du texte, un token à la fois, chaque mot dépendant du précédent. C'est très bien quand c'est un humain qui se trouve de l'autre côté. Mais avec l’arrivée des « agents » IA, cela semble peu adapté lorsque le destinataire est un autre programme informatique. C’est là tout le dilemme à ce stade du développement de l’IA : que cela nous plaise ou non, c’est une réalité, et une part croissante de cette technologie implique des logiciels qui communiquent entre eux plutôt qu’avec nous.

Or, un logiciel ne veut pas d’un paragraphe. Il veut un « oui » ou un « non », un chiffre ou une catégorie. Aujourd’hui, les développeurs qui intègrent l’IA dans une application posent une question à un LLM et attendent qu’il rédige une réponse. Ils analysent ensuite ce texte, le valident, et réessaient lorsque le modèle s’écarte du script. Chacun de ces mots a également un coût, car les tokens de sortie coûtent généralement plusieurs fois plus cher que ceux d’entrée. 

Une application demande si une facture est frauduleuse. Le LLM passe plus de 8 secondes à rédiger une phrase concluant que la facture semble légitime. Jev, quant à lui, répond en 0,1 seconde avec trois chiffres : 7 % de fraude, 88 % de conformité, 5 % à vérifier. Il a renoncé à la rédaction au profit de la rapidité. Ce compromis, c’est tout l’intérêt de ce produit.

Je ne suis pas un expert en IA et j’aborde ce sujet en tant que simple curieux, en essayant d’en comprendre les bases et d’expliquer pourquoi cette technologie est intéressante. Que Jev s’avère être l’avenir (ou n’importe quel autre modèle d’IA, d’ailleurs) ou non, ce sont de toute façon ces technologies novatrices qui suscitent notre intérêt en tant que passionnés de technologie. 

Ce que fait réellement Jev

Au lieu d’une invite, Jev reçoit l’« état » d’une situation et un ensemble de questions prédéfinies. Cet état peut correspondre à une demande d’assistance, à l’historique du compte d’un utilisateur ou à un instantané d’une partie. Il existe trois types de questions :

Choix : choisir l’une des 255 options disponibles.
Note : évaluer quelque chose sur une échelle.
Noul : terme utilisé par TypeSafe pour désigner une réponse par oui ou par non.

Chaque réponse est associée à une probabilité, et toutes les questions sont évaluées simultanément en un seul processus parallèle, plutôt que d'être écrites mot par mot.

TypeSafe annonce des temps de réponse compris entre 70 et 500 millisecondes, contre 3 secondes à plusieurs minutes pour les grands modèles de langage (LLM) de pointe. Le tarif est de 0,042 $ par million de tokens d’entrée, et la sortie est gratuite car il n’y a pas de texte à quantifier.

L’ingénieur Paarangat Rai a proposé ce qui est peut-être la formulation la plus pertinente, qualifiant Jev d’« instruction if native à l’IA ». Un code traditionnel pourrait signaler chaque transaction supérieure à 10 000 dollars pour qu’elle soit examinée. Avec Jev, la règle peut plutôt être la suivante : si ce comportement semble suspect avec un niveau de confiance supérieur à 95 %, transmettez-le à un humain. Le seuil codé en dur devient une décision discrétionnaire, et le score de confiance détermine quand une personne doit intervenir. 

Pourquoi est-ce important ?

La plupart des IA avec lesquelles nous interagissons au quotidien ne sont pas nécessairement des chatbots. Il s’agit plutôt d’une couche invisible de décisions qui se cache derrière les applications que nous utilisons : filtres anti-spam, détection de fraudes, acheminement des demandes d’assistance, modération de contenu, etc. Voici comment Grok, le « bavard », a résumé tout ce remue-ménage. Les ordinateurs ont besoin de millions de jugements rapides, pas de dissertations…

La vitesse modifie également ce que les agents IA sont capables de faire. Quiconque a déjà vu un agent IA parcourir un site web connaît ce calvaire : chaque clic correspond à un appel de plusieurs secondes.

Les démos de TypeSafe illustrent parfaitement ce point. L’une d’elles montre Jev jouant à Doom à raison de 10 décisions par seconde, ce qui revient à environ 7 dollars de l’heure. Il lit toutefois une description textuelle de l’état du jeu plutôt que des pixels. Lors d’une partie d’échecs blitz organisée par un tiers, Jev a battu Fable 5.1 d’Anthropic alors qu’il était largement en infériorité matérielle, simplement parce que Fable avait épuisé son temps de réflexion. GPT-6 Astra d’OpenAI a mis Jev échec et mat en 18 coups. Il s’agit là d’un résultat lié à la latence, et non d’un résultat aux échecs, mais cela montre ce que la vitesse permet d’obtenir. 

L’utilisation la moins spectaculaire, mais peut-être la plus importante, est la vérification. À ces prix-là, un développeur peut vérifier chaque résultat produit par un modèle plus grand et plus intelligent avant qu’il n’atteigne un utilisateur ou ne déclenche une action. Ce type de contrôle était jusqu’à présent trop lent et trop coûteux pour être appliqué à tout.

Le dilemme du tramway, 100 fois

Il y a aussi cette démo qui a à la fois fait rire et grimacer les spectateurs. Le développeur Alex a soumis Jev au dilemme classique du tramway à 100 reprises : cinq personnes sur la voie principale, une sur la voie secondaire. Jev a actionné le levier les 100 fois, avec un niveau de confiance de 99 % à chaque fois. La légende de la photo plaisantait en disant qu’on pourrait confier sa vie à Jev…

Une réponse a souligné qu’une instruction « if » à deux lignes permettait d’obtenir gratuitement le même résultat hors ligne. C’est drôle, mais c’est aussi là où réside tout l’intérêt. La cohérence est un argument de vente essentiel : posez deux fois la même question à un chatbot et vous obtiendrez peut-être deux réponses différentes.

Mais la démonstration montre également à qui incombe réellement la responsabilité. Jev ne fait que choisir parmi les options que quelqu’un a programmées pour lui. C’est celui qui conçoit le menu des choix et fixe le seuil de confiance pour agir qui prend la véritable décision. 

Lisez les petits caractères

Le lancement de Jev a suscité un fil de discussion animé sur Hacker News, et le scepticisme exprimé mérite d’être pris au sérieux…

« Ne peut pas halluciner » est une affirmation restrictive. Jev ne peut pas renvoyer une réponse ne figurant pas dans la liste qui lui a été fournie. Il ne peut pas inventer un niveau de risque « extrêmement élevé » si les options sont faible, moyen et élevé. Mais il peut tout de même choisir avec assurance la mauvaise option.

Les benchmarks proviennent de TypeSafe lui-même. L’entreprise n’a pas publié de classements publics. Ses tests de workflow évaluent les modèles en fonction de leur concordance avec la moyenne des réponses de GPT-6 Astra et Fable 5.1, et non par rapport à des données de référence vérifiées. Selon cette mesure, Jev a atteint environ 67,8 % de concordance globale, contre 74,1 % pour GPT-5.6 Sol. Il s’est rapproché en matière de service client (76 % contre 78,3 %) et est resté loin derrière pour le traitement des factures (61,8 % contre 79,1 %). Les chiffres phares de 193,6 fois plus rapide et 444,6 fois moins cher proviennent de ces mêmes tests, et TypeSafe indique lui-même qu’ils se situent dans le haut de la fourchette des gains observés en conditions réelles. 

Les tests indépendants sont encore peu nombreux, mais encourageants. Un premier test pratique a permis d’effectuer 777 évaluations sur les archives d’un auteur en moins de 0,7 seconde, pour un coût d’environ un quart de centime. Lors d’un essai à plus petite échelle, Jev a détecté 6 des 7 erreurs de rédaction introduites intentionnellement, contre les 7 détectées par Fable 5.1, tout en s’exécutant environ 25 fois plus vite et en coûtant 580 fois moins cher. Il s’agit certes d’un compromis en termes de qualité, mais minime pour de nombreuses tâches.

Autres limites notables : dans sa version actuelle en accès anticipé, Jev ne traite que du texte et des données structurées, pas les images, et TypeSafe n’a pas publié de document sur l’architecture ni de liste des paramètres. 

Le pari de Jevons

Le nom du modèle en résume la thèse. En 1865, l’économiste William Stanley Jevons a observé que les machines à vapeur plus efficaces ne réduisaient pas la consommation de charbon. Elles rendaient le charbon suffisamment bon marché pour être utilisé partout, et la consommation a alors explosé. TypeSafe parie que chaque baisse d’un ordre de grandeur du coût d’une décision prise par l’IA ouvrira la voie à bien plus d’utilisations qu’elle n’en fera économiser.

Ce n’est pas une certitude. De nombreuses personnes ayant accès à des outils d’IA ne les utilisent toujours pas. Mais Jev ne s’adresse pas aux particuliers. Il vise les milliards de petites décisions banales que les logiciels prennent chaque jour, dont la plupart ne justifient pas un appel à un LLM plus coûteux.

On retrouve ici les traces d’une avancée antérieure. En 2017, le Transformer s’est imposé en abandonnant le traitement séquentiel au profit de l’attention parallèle, et il a ensuite équipé les chatbots contre lesquels Jev se positionne aujourd’hui. Jev abandonne précisément ce qui a fait la renommée de ces modèles, à savoir l’écriture, au profit de la vitesse.

Que Jev constitue ou non une véritable avancée, c’est peut-être cette idée plus large qui s’imposera à long terme. L’avenir des logiciels d’IA ne réside peut-être pas dans un modèle géant capable de tout faire, mais dans un modèle plus lent et plus réfléchi pour les problèmes complexes, entouré de décideurs rapides et peu coûteux pour tout le reste.

traduction de : https://www.techspot.com/article/3172-meet-jev/