Résumé : Le développement de l'intelligence artificielle est confronté à des limites significatives, malgré l'engouement actuel. L'amélioration des performances de l'IA se heurte à des rendements décroissants : l'ajout de données d'entraînement devient moins efficace, tandis que les coûts computationnels et énergétiques augmentent exponentiellement. En prenant pour exemples ChatGPT et les projets de Tesla, on souligne que les améliorations marginales nécessiteraient des investissements colossaux, rendant ces développements quasiment impossibles avec les technologies actuelles. Bien que des solutions émergentes comme les technologies quantiques soient envisagées, elles sont encore trop embryonnaires pour résoudre ces défis à court terme, laissant présager un ralentissement significatif de l'innovation en IA dans les années à venir.
L'IA a fait l'objet d'un engouement sans précédent au cours des derniers mois. Les Teslas devraient se conduire toutes seules d'ici un an ou deux, l'IA sera plus intelligente que les humains l'année prochaine et une armée d'un milliard de robots alimentés par l'IA remplacera les travailleurs humains d'ici 2040, et ce ne sont là que les promesses faites par Elon Musk depuis le début de l'année. L'ensemble du secteur de l'IA est saturé de prédictions et de promesses de ce type, ce qui donne l'impression que le développement de l'IA suit une trajectoire exponentielle inarrêtable, que les humains ne peuvent tout simplement pas stopper. Pourtant, c'est loin d'être le cas. En effet, l'IA commence à atteindre un plafond de développement aux rendements décroissants, ce qui rend ces promesses extravagantes tout à fait illusoires. Je m'explique.
Pour comprendre ce problème, nous devons comprendre les principes de base du fonctionnement de l'IA. Les IA modernes utilisent des algorithmes d'apprentissage en profondeur et des réseaux neuronaux artificiels pour trouver des tendances dans les données. Elles peuvent ensuite extrapoler à partir de ces données ou générer de nouvelles données en suivant la même ligne de tendance. L'IA est d'abord « entraînée », c'est-à-dire qu'elle reçoit une quantité massive de données à analyser, ce qui lui permet de trouver ces tendances. Ensuite, l'IA peut être interrogée pour obtenir un résultat. Ce concept de base est à la base de la vision artificielle, des voitures autonomes, des chatbots et de l'IA générative. Il s'agit d'une explication quelque peu réductrice, mais c'est tout ce qu'il nous faut comprendre pour l'instant.
Au cours des dernières années, les capacités des IA se sont considérablement accrues. Cela est dû en partie à l'amélioration de la programmation et au développement d'algorithmes. Mais c'est aussi à 90 % grâce au fait que les IA ont été formées sur des ensembles de données beaucoup plus importants. Cela leur permet de comprendre plus précisément les tendances dans les données et, par conséquent, de générer des résultats plus précis. Mais il y a un problème : nous constatons que les rendements de la formation de l'IA diminuent considérablement, à la fois en termes de données et de puissance de calcul nécessaire.
Commençons par les données. Supposons que nous ayons construit une IA simple de vision par ordinateur conçue pour reconnaître des chiens et des chats, et que nous l'ayons entraînée à l'aide d'images et de vidéos de 100 chiens et chats, et qu'elle soit capable de les identifier correctement dans 60 % des cas. Si nous doublons le nombre d'images et de vidéos d'entraînement pour le porter à 200, son taux de reconnaissance s'améliorera, mais seulement de façon marginale, pour atteindre environ 65 %. Si nous doublons à nouveau le nombre d'images et de vidéos d'entraînement pour le porter à 400, l'amélioration est encore plus marginale, puisqu'elle est de l'ordre de 67,5 %.
Cela s'explique en partie par le fait que lorsque vous disposez d'un ensemble de données plus petit, chaque nouvelle image d'entraînement vous donne proportionnellement plus de nouvelles données avec lesquelles travailler que si vous ajoutez une nouvelle image d'entraînement à un ensemble de données plus grand. Mais c'est aussi parce que l'IA peut rapidement établir de nouvelles connexions et tendances dans un petit ensemble de données, puisqu'il lui suffit de trouver une tendance qui fonctionne avec quelques exemples. Mais au fur et à mesure que l'ensemble de données s'agrandit, il devient de plus en plus difficile de trouver des tendances et des connexions nouvelles et inédites qui fonctionnent pour l'ensemble de l'ensemble de données. Ces nouvelles tendances et connexions issues d'ensembles de données plus importants permettent à l'IA de s'améliorer et d'accroître ses capacités. C'est pourquoi nous constatons que la quantité de données d'entraînement nécessaire pour améliorer une IA d'une certaine quantité augmente considérablement, car nous atteignons un point de rendement décroissant en matière d'entraînement à l'IA.
Mais il y a un autre problème. L'apprentissage de l'IA est incroyablement gourmand en ressources informatiques. L'IA doit comparer chaque point de données individuel à tous les autres points de données de l'ensemble pour trouver ces connexions et ces tendances. Cela signifie que pour chaque bit de données que vous ajoutez à une base de données de formation d'IA, la quantité de travail de calcul nécessaire pour former cette IA sur cette base de données augmente de manière exponentielle. Ainsi, même si vous pouvez acquérir la grande quantité de données nécessaires pour former ces IA toujours plus performantes, la puissance de calcul physique et l'énergie qu'elles requièrent finiront par devenir impossibles à utiliser.
Malheureusement, il semble que nous soyons arrivés à un stade où les rendements décroissants de la croissance des ensembles de données d'entraînement et l'augmentation exponentielle de la puissance de calcul nécessaire pour utiliser ces ensembles de données imposent un plafond difficile à atteindre pour le développement de l'IA.
Prenons l'exemple de l'IA phare d'OpenAI, ChatGPT4. Son amélioration par rapport à ChatGPT3 était inférieure à celle de ChatGPT3 par rapport à ChatGPT2, et même si elle était plus précise, elle présentait toujours les mêmes problèmes d'hallucination des faits et de manque de compréhension que ChatGPT3. OpenAI reste très discrète sur la manière dont elle développe ses IA, mais des experts ont enquêté et découvert que ChatGPT3 utilisait un ensemble de données d'entraînement environ 78 fois plus grand que ChatGPT2, et que ChatGPT4 utilisait un ensemble de données 571 fois plus grand que ChatGPT3 ! Pourtant, malgré cette augmentation considérable de la taille de l'ensemble de données d'entraînement, ChatGPT4 présente toujours des défauts importants qui limitent considérablement ses cas d'utilisation. Par exemple, on ne peut pas lui faire confiance pour écrire quoi que ce soit de vaguement factuel, puisqu'il invente toujours des faits.
Selon certaines estimations, l'ensemble de données d'entraînement brutes de ChatGPT4 contient 45 To de texte en clair. Cela signifie que pour que la prochaine itération représente une amélioration aussi importante que ChatGPT4 par rapport à ChatGPT3, l'ensemble de données d'entraînement devrait représenter des dizaines de milliers de To. L'acquisition et la préparation d'une telle quantité de données en clair, même avec les méthodes douteuses d'OpenAI, sont tout simplement irréalisables. Cependant, l'utilisation de cet ensemble de données pour entraîner leur IA pourrait consommer tellement d'énergie que le coût rendrait l'IA totalement non viable, même pour une organisation à but non lucratif.
Il ne s'agit pas d'une exagération. Le PDG d'OpenAI, Sam Altman, a déclaré publiquement qu'une percée énergétique, comme la fusion nucléaire, était nécessaire pour rendre l'IA avancée viable. Malheureusement, même si nous parvenons à maîtriser la fusion nucléaire, il est peu probable qu'elle soit moins chère que notre énergie actuelle au cours de ce siècle ou même du siècle prochain. En fait, aucune forme d'énergie ne devrait devenir significativement moins chère que celle dont nous disposons actuellement. La solution proposée pour résoudre le problème énergétique de l'IA est donc profondément trompeuse.
Ce point de vue est étayé par des études très sérieuses. L'une d'elles, réalisée par l'université du Massachusetts Amherst, a examiné les coûts de calcul et d'énergie associés à l'amélioration des performances d'une IA de reconnaissance d'images pour atteindre une précision de plus de 95 %. Elle a constaté que l'entraînement d'un tel modèle coûterait 100 milliards de dollars et produirait autant d'émissions de carbone que la ville de New York en un mois. Il ne faut pas oublier que cela concerne une IA qui se trompe encore de manière catastrophique dans 5 % des cas. L'étude souligne également qu'une précision de 99 % entraînerait une augmentation exponentielle des coûts et des émissions de carbone.
C'est la raison pour laquelle Tesla ne développera jamais de voitures entièrement autonomes avec son approche actuelle. Leur Autopilot et leur capacité de conduite entièrement autonome (FSD) ne peuvent percevoir le monde qui les entoure que grâce à ce type de vision artificielle, et pour que la FSD devienne entièrement autonome, la précision de sa reconnaissance d'images doit approcher les 100 %. Comme le montre cette étude, il faudrait bien plus d'argent que n'en a Tesla pour que son IA soit aussi performante.
En d'autres termes, si l'industrie de l'IA ne trouve pas un moyen d'être plus efficace en matière d'entraînement de l'IA et de charge de calcul, elle ne pourra pas dépasser cette limite et le développement de l'IA stagnera complètement. Aujourd'hui, des solutions possibles se profilent à l'horizon, comme un hardware d'IA beaucoup plus efficace intégrant des technologies analogiques et quantiques et de nouvelles architectures d'IA qui nécessitent des ensembles de données d'entraînement beaucoup plus petits. Toutefois, ces concepts n'en sont qu'à leurs balbutiements et il faudra encore des dizaines d'années avant qu'ils ne soient utilisés dans le monde réel.
En bref, il faut s'attendre à ce que l'IA ne réponde pas aux attentes au cours des prochaines années.
source : https://medium.com/predict/ai-is-hitting-a-hard-ceiling-it-cant-pass-851f4667d39b#bypass