GPT 4.5 pourrait être le modèle qui fera éclater la bulle de l'IA

 

Résumé : L'intelligence artificielle traverse une période d'insoutenabilité économique où toutes les grandes entreprises du secteur (Microsoft, Anthropic, OpenAI) perdent de l'argent malgré des abonnements coûteux. Le modèle GPT-4.5 d'OpenAI, surnommé Orion, symbolise les limites atteintes par l'approche consistant à simplement augmenter la taille des modèles. Bien que 30 fois plus coûteux que GPT-4o, il n'offre que des améliorations marginales, au point qu'OpenAI envisage de ne pas le maintenir dans son API. Cette situation révèle quatre obstacles majeurs au progrès des grands modèles de langage : problèmes matériels, manque de puissance, effondrement des modèles et pénurie de GPU. GPT-4.5 pourrait ainsi déclencher l'éclatement de la bulle spéculative de l'IA et précipiter un nouvel "hiver de l'IA" lorsque les investisseurs prendront conscience du plateau technologique atteint.

L'IA est une bulle, et ce depuis longtemps. Pratiquement toutes les entreprises spécialisées dans l'IA perdent de l'argent. Microsoft perd de l'argent sur chaque utilisateur de Copilot, Anthropic perd de l'argent, même OpenAI perd de l'argent. Oui, même sur leur abonnement pro de 200$/mois :

Comment peut-on perdre de l'argent en proposant un abonnement de 200 dollars par mois ?

L'IA est clairement non rentable. Toutes ces entreprises dépensent des montagnes d'argent dans une course à l'abîme.

Cela fait un moment que je me demande quand la bulle va éclater. La seule raison pour laquelle elle n'a pas encore éclaté, c'est que des investisseurs idiots à la recherche de rendements considérables sont en train de gaspiller des montagnes d'argent. Lorsqu'ils se rendront compte que la progression de l'IA a atteint un plafond, ils mettront un terme à la flambée ridicule des financements et la bulle de l'IA éclatera.

Et je pense que nous nous rapprochons de ce moment. J'ai écrit un billet intitulé « les LLMs ont plafonné pour trois raisons » qui traite des trois grands problèmes auxquels est confrontée l'industrie de l'IA : les problèmes de hardware, le manque de puissance et l'effondrement des modèles.

Néanmoins, les entreprises continuent de concevoir des modèles plus volumineux et plus puissants. Mais je pense que nous avons finalement atteint une limite avec la nouvelle version de GPT 4.5. Et je pense que GPT 4.5 pourrait être le modèle qui va faire éclater la bulle de l'IA.

Voyons d'abord comment nous en sommes arrivés là. Le boom actuel de l'IA a été provoqué par la simple augmentation de la taille des modèles. Le modèle GPT-1 comportait 117 millions de paramètres. Le GPT-2 avait 1,5 milliard de paramètres. GPT-3 comptait 175 milliards de paramètres. OpenAI n'a pas divulgué le nombre de paramètres de GPT-4, mais de nombreux internautes ont osé affirmer qu'ils en connaissaient le nombre. Ils avancent généralement un chiffre de l'ordre de 1,7 trillion de paramètres.

Combien de paramètres GPT-5 aura-t-il ? GPT-2 était environ 12,8 fois plus grand que GPT-1. GPT-3 était environ 116,6 fois plus grand. GPT-4 pourrait être 9,7 fois plus grand. On peut donc s'attendre à ce que GPT-5 ait un nombre de paramètres 10 à 100 fois supérieur. Pour les besoins de notre argumentation, disons qu'il aura environ 30 fois plus de paramètres, soit environ 51 000 milliards de paramètres. 30x plus grand signifie 30x plus cher. Ce qui est intéressant, car OpenAI a récemment publié un modèle qui est environ 30x plus cher que GPT-4o et c'est GPT-4.5 :

Cela me fait penser que GPT-4.5 était censé être GPT-5, mais qu'en raison de performances décevantes, il a été rebaptisée GPT-4.5. Nous avions même un nom de code pour ce modèle : Orion. Et il était censé être vraiment impressionnant.

Est-ce le cas ? Non, pas du tout !

En fait, dans leur communiqué de presse, ils déclarent ce qui suit :

GPT-4.5 est un modèle très volumineux et à forte intensité de calcul, ce qui le rend plus coûteux que GPT-4o et ne le remplace pas. Pour cette raison, nous évaluons la possibilité de continuer à le proposer dans l'API à long terme, afin de trouver un équilibre entre le soutien des capacités actuelles et la construction de modèles futurs. Nous sommes impatients d'en savoir plus sur ses points forts, ses capacités et ses applications potentielles dans le monde réel. Si GPT-4.5 présente une valeur unique pour votre cas d'utilisation, vos commentaires joueront un rôle important dans l'orientation de notre décision.

« Nous évaluons la possibilité de continuer à le proposer dans l'API à long terme ». Cela n'inspire pas vraiment confiance.

D'autres personnes ont également constaté des résultats décevants avec GPT-4.5. ArsTechnica le qualifie de "flop" en disant : "Le verdict est tombé : Le modèle d'IA traditionnel le plus récent et le plus performant d'OpenAI, GPT-4.5, est gros, cher et lent, et fournit des performances légèrement supérieures à celles de GPT-4o pour un coût d'entrée 30 fois plus élevé et un coût de sortie 15 fois plus élevé". Et beaucoup d'autres ont exprimé des opinions similaires.

Cependant, je ne suis pas sûr qu'il faille prendre ces critiques au sérieux. Les gens sont enclins à souligner le fait que le coût est 30 fois plus élevé. Mais ce modèle n'est en fait pas beaucoup plus cher que le GPT-4 lorsqu'il a été lancé.

Lors du lancement de GPT-4, le prix n'a pas été fixé par million de tokens d'entrée et de sortie, mais par millier. Il existait deux versions : l'une avec une fenêtre contextuelle de 8K et l'autre avec une fenêtre contextuelle de 32K. La version la plus chère coûtait 6 cents par millier de tokens d'entrée et 12 cents par millier de tokens de sortie. Soit 60 dollars par million de tokens d'entrée et 120 dollars par million de tokens de sortie. Oui, GPT-4 était extrêmement cher lors de son lancement, c'est pourquoi je n'ai pas voulu l'utiliser dans mes applications.

Si OpenAI lançait Orion en tant que GPT-5, je suis sûr que le coût finirait par baisser. Ils lanceraient probablement plus tard un GPT-5o et ensuite un GPT-5o mini. Pourquoi ne l'ont-ils pas fait ?

Parce que lorsque GPT-4 est sorti, il était bien meilleur que GPT-3.5 :

Il s'agit d'une avancée considérable. Certes, il est beaucoup plus cher, mais il apporte des améliorations impressionnantes par rapport à GPT-3.5. Est-ce le cas d'Orion ? Eh bien...

Ils n'ont montré que ces graphiques, ce qui m'amène à penser que le GPT-4.5 n'est pas plus performant que le GPT-4o dans de nombreux domaines. Il est également intéressant de noter que ces graphiques n'incluent pas le modèle de raisonnement o3, mais seulement le modèle o3-mini.

Mais au moins OpenAI dit avoir plus d'intelligence émotionnelle. Cela me rappelle quelque chose que j'ai écrit dans ce billet :

C'est pourquoi nous avons l'intelligence émotionnelle. C'est une blague, l'intelligence émotionnelle n'existe pas. 

De plus, la raison pour laquelle la réponse semble la plus naturelle est parce que vous l'avez ajusté finement de cette manière. GPT-3.5 fonctionnait de la même manière. Avec GPT-4o, ils ont ajouté un tas de réglages aléatoires pour qu'il réponde à toutes les questions parce que les utilisateurs aiment ça.

Maintenant, il est toujours possible qu'il y ait un modèle o4 qui utilise Orion et batte o3. Mais le problème avec les modèles de réflexion comme la série o, c'est qu'ils nécessitent beaucoup de tokens supplémentaires pour réfléchir. S'ils utilisaient Orion pour penser, ce serait extrêmement coûteux. Et non seulement cela, mais cela utiliserait aussi tous leurs GPU.

mauvaise nouvelle : il s'agit d'un modèle géant et coûteux. nous voulions vraiment le lancer en même temps pour les niveaux plus et pro, mais nous nous sommes beaucoup développés et n'avons plus de GPU. nous ajouterons des dizaines de milliers de GPU la semaine prochaine et nous le lancerons alors pour le niveau plus. (des centaines de milliers seront bientôt disponibles, et je suis presque sûr que vous utiliserez tous les GPU que nous pourrons mettre en place).

source : https://x.com/sama/status/1895203654103351462

Orion étant environ 30 fois plus grand, il nécessite également environ 30 fois plus de GPU. Lorsque GPT-4 est sorti, ce n'était pas un problème, mais Nvidia n'a tout simplement pas suivi la croissance du marché de l'IA et Orion est maintenant limité par les GPU.

Je suppose que je dois ajouter une quatrième raison pour expliquer pourquoi les LLM plafonnent : problèmes matériels, manque de puissance, effondrement des modèles, et maintenant pénurie de GPU.

Je ne vois donc pas où va l'industrie de l'IA à présent. OpenAI nous a montré que les augmentations massives de la taille des modèles ne se traduisent plus par des augmentations massives des performances. L'époque où il était facile d'augmenter la taille des modèles LLM touche à sa fin. Nous pourrions assister à l'éclatement de la bulle de l'IA, ce qui entraînerait un nouvel hiver de l'IA. Et GPT 4.5 pourrait en être le déclencheur.

traduction de :

https://andrewzuo.com/gpt-4-5-may-be-the-model-to-pop-the-ai-bubble-16b163e400f6#bypass