Voici ce qui sera la prochaine innovation majeure après les smartphones

Résumé : Les smartphones ont atteint une grande maturité, accumulant des fonctions d'autres appareils comme le GPS, la messagerie, ou les paiements mobiles, mais l'excitation autour de nouveaux lancements s'est effritée, suggérant que l'innovation dans ce domaine a atteint ses limites. L'auteur envisage que les lunettes intelligentes en réalité mixte (MRSG) pourraient remplacer les smartphones, en offrant une expérience plus fluide et immersive, tout en superposant des informations numériques à la réalité et en permettant une interaction naturelle avec l'environnement. Cependant, ces lunettes en sont encore à un stade préliminaire et de nombreux défis technologiques et économiques doivent être surmontés avant qu'elles ne deviennent un substitut pratique et abordable. La MRSG pourrait transformer notre manière d'interagir avec la technologie, mais cela prendra du temps, et beaucoup de projets actuels risquent d'échouer avant d'atteindre une adoption massive.

Avez-vous suivi le récent lancement de l'iPhone 16E, enthousiasmé et impatient ?

Bien sûr que non. Vous l'avez à peine remarqué parmi la multitude de nouveautés.

Quel contraste avec l'époque où le lancement d'un iPhone était un événement tellement important que les gens campaient devant les magasins Apple pour être parmi les premiers à acquérir un nouvel iPhone tout brillant, tandis que les gens tout autour applaudissaient...

Qu'est-il arrivé à l'iPhone ? Apple aurait- il perdu de sa superbe et de sa capacité d'innovation ? Ou est-ce plus général ? S'agit-il uniquement de l'industrie des smartphones ?

Téléphones pliables, écrans OLED, nouveaux matériaux et finitions : rien ne semble pouvoir rendre aux smartphones leur attractivité.

Et ce n'est peut-être pas une question d'excitation. Personnellement, je préfère les appareils fiables qui, comme l'a dit Steve Jobs, « fonctionnent tout simplement ».

Ennuyeux, c'est bien.

Il est certain que les smartphones ont atteint une maturité remarquable et que leur potentiel est pleinement exploité. Il ne s'agit pas seulement de l'appareil, mais aussi des écosystèmes qui l'entourent : par exemple, le smartphone contient un GPS, qui est sans aucun doute une merveille d'ingénierie, mais ce qui le rend si précieux, c'est la présence de services tels qu'Uber, qui combinent le GPS avec un marché numérique de conducteurs et de passagers qui fonctionne en temps réel.

Autre exemple, la communication « Near Field » est incorporée dans nos smartphones, mais ce qui les rend utiles, ce sont des applications innovantes comme Google Pay ou Apple Pay qui utilisent non seulement la NFC mais gèrent aussi des transactions en temps réel avec des institutions bancaires pour que nous puissions acheter des choses. 

Aujourd'hui, alors que les smartphones sont largement répandus (on compte actuellement quelque 7 500 millions de smartphones actifs dans le monde), beaucoup se demandent s'il y aura autre chose après les smartphones ou si, en 2125, les gens courberont encore le cou pour jeter un coup d'œil à leur petit écran.

C'est à cette question que je vais tenter de répondre dans cet article.

Mais tout d'abord, examinons ce qui a rendu les smartphones si omniprésents et établissons certaines caractéristiques que devrait avoir tout appareil qui aspire à les supplanter.

La première est l'accumulation progressive de fonctions.

Une accumulation de fonctions

Je fais remonter les débuts du smartphone à 2007 avec le lancement de l'iPhone. Il y a eu d'autres smartphones auparavant - j'avais un téléphone Nokia des années auparavant - mais ces appareils, même s'ils étaient perfectionnés, étaient totalement incapables de « prendre le contrôle » du monde numérique comme l'a fait l'iPhone.

Nombreux sont ceux qui ignorent que Google a failli lancer un smartphone en 2007, mais lorsqu'ils ont assisté à la présentation de l'iPhone, ils ont annulé le projet et sont retournés à leur bureau pour développer un appareil capable de rivaliser avec l'iPhone. 

Le premier iPhone combinait trois grandes fonctions :

• Un lecteur de musique
• Un navigateur web
• un téléphone cellulaire ( bien entendu)

Comme Jobs le disait lui-même :

« Aujourd'hui, nous présentons trois produits révolutionnaires... un iPod, un téléphone et un communicateur Internet. Vous comprenez ? Il ne s'agit pas de trois appareils distincts. Il s'agit d'un seul appareil, et nous l'appelons iPhone. »

C'est donc trois appareils qu'il a éliminés. Et ce n'était que le début !

Il n'a peut-être pas fait disparaître l'ordinateur, car il est difficile d'égaler sa simplicité d'utilisation pour la saisie de texte et la lisibilité de son grand écran, mais vous voyez l'idée.

Et il y avait aussi l'appareil photo !

Jobs n'a pas mentionné l'appareil photo lorsqu'il a énoncé ses principales fonctionnalités ; peut-être qu'à l'époque, celui-ci était plutôt considéré comme un « gadget » expérimental supplémentaire. 

Je pense que Jobs n'avait aucune idée de l'importance et du perfectionnement que les appareils photo de l'iPhone allaient devenir par la suite. J'ai commencé à utiliser l'appareil photo de mon iPhone pour prendre des photos de ma famille et de mes amis, confiant mes activités purement « photographiques » (comme la photographie de voyage) à mes reflex Nikon et Sony. Mais l'appareil photo de l'iPhone 13 Pro est devenu si performant que j'ai complètement abandonné mon reflex. Non seulement la qualité photographique était incroyable, mais sa praticité (« le meilleur appareil photo est celui que l'on a sur soi ») était imbattable.

C'est ainsi que nos appareils photo sont devenus le quatrième accessoire à être intégré dans les smartphones. N'oublions pas non plus les magnétoscopes, qui sont désormais au cimetière de la technologie grâce à nos appareils portables.

Pour clore cette section, je mentionnerai brièvement d'autres appareils qui ont été supplantés par le smartphone :

• Les scanners (en dehors des bureaux) ont été remplacés par des applications utilisant l'appareil photo du téléphone.
• Les boussoles magnétiques sont également remplacées par une application, grâce aux magnétomètres intégrés dans les smartphones.
• Aujourd'hui, nous n'utilisons plus de radios en dehors de nos voitures ; elles sont remplacées par des applications radio lorsque nous disposons de données gratuites ou bon marché.
• Les réveils sont de plus en plus rares, même sur les meubles de chevet. Ma femme et moi utilisons des iPhones en mode veilleuse.
• Aujourd'hui, les consoles de jeux portables sont beaucoup moins utilisées que les jeux sur smartphone. L'avantage injuste des smartphones est qu'on les a avec soi quand on attend dans la file d'attente à la banque ou qu'on attend le prochain cours à l'université.
• Les smartphones peuvent être utilisés comme télécommande de télévision, mais cette utilisation est marginale.
• Certaines cartes-clés de chambres d'hôtel ont été remplacées par une application.
• Les podomètres (compteurs de pas) ne sont plus utilisés - les smartphones, parfois complétés par une smartwatch, ont pris le relais. 

Il n'y a pas que les appareils électroniques que les smartphones ont pris en charge, il y a aussi les articles au format papier et les objets physiques que nous n'utilisons plus.

Le plus important d'entre eux, à mon avis, est la navigation par GPS au lieu des cartes en papier.

Lorsque j'étais jeune et que je vivais dans une grande ville, je devais consulter le meilleur itinéraire à l'aide d'un guide de plusieurs pages sur papier chaque fois que je devais me rendre vers une destination inhabituelle. C'était complexe et peu pratique, mais c'était la seule option. Aujourd'hui, nous utilisons tous la navigation par GPS.

Google Maps ou son équivalent nous sauve la vie. Il ne viendrait à l'idée de personne de revenir aux cartes en papier. 

Certaines personnes installent des serrures intelligentes à la porte d'entrée et n'ont plus besoin de se munir de clés pour entrer dans la maison.

Il y a aussi les services financiers intégrés aux smartphones.

Un jour, alors que je me rendais à la supérette, je me suis rendu compte que j'avais oublié mon portefeuille à la maison. M'entendant jurer, la caissière m'a dit que je pouvais payer avec mon téléphone si Apple Pay était activé - ce qui était le cas, et j'ai donc évité de retourner chez moi pour chercher mon portefeuille oublié.

Comme beaucoup d'autres personnes, j'ai mes applications bancaires sur mon iPhone, et elles utilisent Face ID pour la vérification de l'utilisateur au lieu de taper des mots de passe. Très peu de gens utilisent encore des ordinateurs pour gérer leurs comptes bancaires.

Lorsque je voyage, j'utilise des cartes d'embarquement numériques, ce qui signifie qu'aucune carte papier ne peut être perdue - d'un autre côté, la perte du téléphone est presque impossible. Oh, et pour accéder aux salons Priority Pass, j'utilise - bien sûr - leur application pour smartphone.

Même les permis de conduire ont commencé à être numérisés, et l'État dans lequel je vivais proposait une application numérique qui avait légalement valeur de permis de conduire. Aux États-Unis, de plus en plus d'États ajoutent une option numérique à cet effet. 

Ensuite, certains services ont commencé à être de plus en plus utilisés sur les smartphones à la place des ordinateurs :

• la messagerie instantanée
• les réseaux sociaux, Instagram, TikTok,
• la gestion des comptes bancaires
• les achats en ligne, en particulier Amazon
• La livraison de nourriture (pizza, par exemple)

À ce stade, nous pouvons conclure sans risque que le smartphone a incroyablement bien réussi à accumuler les fonctionnalités de nombreux autres appareils et objets en un seul appareil pratique et portable.

La deuxième caractéristique qu'un appareil aussi omniprésent que le smartphone doit avoir est d'être toujours allumé. 

Toujours en marche

Une grande partie du pouvoir des smartphones vient du fait qu'ils nous accompagnent en permanence et que nous ne les allumons ni ne les éteignons.

Les smartphones sont toujours allumés et toujours en ligne, à tel point qu'ils deviennent une dépendance.

Vous utilisez l'appareil tout au long de la journée sans commencer une activité spécifique ni vous déplacer dans un endroit particulier.

• Vous avez une connexion internet continue (il y a du bon et du mauvais)
• Vous recevez et envoyez des messages fréquemment au cours de la journée
• Vous attendez à la banque ; vous pouvez naviguer sur vos réseaux sociaux, jouer à un jeu ou même suivre une leçon de Duolingo.
• Le téléphone portable est devenu le tueur de temps par défaut.
• Consulter son téléphone est devenu une nécessité compulsive, et non plus quelque chose que l'on choisit de faire. 

Quel contraste avec l'utilisation du téléphone fixe par nos parents ou nos grands-parents (je ne sais pas quel âge vous avez). Les personnes âgées utilisaient le téléphone fixe avec parcimonie.

C'était particulièrement vrai pour les appels longue distance. Ils parlaient brièvement parce que le téléphone coûtait cher. Avec une seule ligne disponible, ils devaient répondre aux demandes de tout le monde et être joignables en cas d'urgence.

Avec les smartphones, ce n'est plus le cas. Nous pouvons envoyer des SMS toute la journée, sans que le début et la fin de l'interaction ne soient clairement définis. 

Le principe du « toujours allumé » constitue également un changement radical par rapport aux casques de réalité virtuelle. Vous ne pouvez pas porter un casque du crépuscule à l'aube. On ne peut pas marcher dans la rue ou conduire avec un casque.

C'est pourquoi j'écarterais également les casques comme le Vision Pro d'Apple pour remplacer le smartphone.

Les casques sont (très) bons pour les jeux et pour d'autres activités solitaires comme regarder des images et des vidéos en 3D, mais ce n'est que dans des films dystopiques comme « Ready Player One » que l'on peut voir des gens porter un casque toute la journée. Vous ne porterez pas toujours le casque si vous avez une vie réelle.

La troisième (et dernière) caractéristique importante de la prochaine grande nouveauté est ce que les smartphones ont apporté lorsqu'ils ont perturbé le monde de la technologie : ils ont été des facilitateurs d'innovation.

Favoriser l'innovation

L'avènement des smartphones de type iPhone a ouvert la voie à des innovations impossibles à réaliser sans eux. 

En voici quelques-uns :

• Uber et d'autres services de covoiturage. Ils s'appuient sur deux fonctionnalités essentielles des smartphones : la communication internet mobile et la détection de la position GPS, ainsi qu'un magasin d'applications pour les applications tierces.
• J'ai déjà mentionné les conseils de conduite et les cartes basés sur le GPS avec des applications comme Google Maps, qui reposent sur ces deux mêmes capacités.
• Il complète d'autres appareils (« app-ready »), comme les routeurs WiFi, les balances intelligentes, la domotique, les haut-parleurs intelligents, les appareils de cuisine comme Thermomix, et les appareils de mobilité comme mon scooter Segway.

Le prochain appareil disruptif

Il ressort clairement de l'analyse précédente que le prochain appareil de rupture, qui remplacera le smartphone, devra posséder les trois qualités que j'ai évoquées :

• Être capable d'accumuler les fonctions de nombreux autres appareils,
• être toujours allumé,
• Faciliter l'innovation.

Quel appareil peut cumuler les fonctions du smartphone et, éventuellement, celles d'autres appareils ?

Roulement de tambour, s'il vous plaît ! 

Les lunettes intelligentes à réalité mixte (MRSG) vont remplacer le smartphone.

Qu'est-ce que c'est ? Un truc comme les « lunettes » de Snapchat qui sont apparues il y a quelques années et qui ont échoué lamentablement ? Pas vraiment.

Je sais - la plupart des gens ont reçu les lunettes intelligentes comme le dernier gadget électronique, peut-être fou. Beaucoup les considèrent comme une autre mode ringarde qui disparaîtra aussi vite qu'elle est apparue.

Ce n'est pas le cas.

Du point de vue de l'intégration dans notre vie quotidienne, les smartphones n'ont jamais été idéaux. Leur écran minuscule nous fait loucher, provoque une fatigue oculaire et une mauvaise posture cervicale, favorise l'isolement et n'est pas pratique pour la saisie de texte et la visualisation multimédia.

Malgré tous ces inconvénients, nous avons accepté les smartphones parce qu'ils sont sacrément pratiques et que nous n'avons rien de comparable en termes de fonctionnalité.

 Arguments en faveur des lunettes intelligentes de réalité mixte

Qu'est-ce que les lunettes intelligentes de réalité mixte ont de si génial ?

Tout d'abord, clarifions ce qu'est la « réalité mixte ».

Parfois, les termes « réalité augmentée » (RA), « réalité virtuelle » (RV), « réalité étendue » (RE) et « réalité mixte » (RM) se confondent. J'utilise le terme « réalité mixte » pour désigner un appareil doté de lunettes transparentes, avec ou sans prescription, qui ressemblent beaucoup à des lunettes de lecture standard, mais qui sont dotées d'un projecteur permettant à l'utilisateur de voir une superposition numérique sur l'image du monde réel. 

Plusieurs technologies sont à l'essai pour les projecteurs de lunettes intelligentes :

• Écrans Micro-OLED / Micro-LED : De minuscules écrans à haute résolution (souvent par œil) qui produisent des images claires et lumineuses.
• Écrans à guide d'ondes : La lumière provenant d'un petit projecteur (souvent micro-OLED ou LCOS) est guidée à travers un matériau transparent et redirigée vers les yeux de l'utilisateur.
• Balayage par faisceau laser (LBS) : Utilise de minuscules lasers pour projeter directement des images sur la rétine, créant ainsi une image nette et précise.

Par exemple, la MRSG expérimentales « Orion » de Meta utilisent un écran à guide d'ondes avec des écrans micro-LED (ne confondez pas ce prototype avec les lunettes intelligentes Ray-Ban de Meta qui ne fonctionnent qu'avec de l'audio).

Lors d'une interview sur le prototype Orion de Meta avec Alex Heath de The Verge, Zuck a commenté les limites du smartphone, qui n'est qu'une petite fenêtre sur le monde numérique, au lieu de fusionner le monde numérique et le monde physique. 

Il a déclaré qu'il envisageait une gamme de lunettes de « réalité étendue » entre deux extrêmes :

• D'un côté, on trouve les casques de RV avec un excellent rendu d'image, mais qui sont encombrants et presque impossibles à utiliser dans la rue ou dans des situations sociales. Pour les besoins de la RE, ils utilisent des caméras qui se mélangent électroniquement aux images virtuelles. Cette modalité est souvent appelée « Passthrough AR Headsets ».
• À l'autre extrême, vous avez les lunettes intelligentes avec la réalité mixte, comme décrit ci-dessus. Elles sont appelées « Optical See-Through AR » parce que la lumière que l'utilisateur voit provient directement de la réalité à travers les lentilles transparentes.

L'Apple Vision Pro appartient clairement à la première catégorie, car la réalité qui entoure l'utilisateur peut être vue à l'aide de caméras vidéo ; l'utilisateur peut même choisir de rendre plus ou moins visible le contenu virtuel mélangé au flux du monde réel.

Habituellement, les lunettes intelligentes incluent le son, soit avec leurs propres haut-parleurs intégrés, soit via des écouteurs Bluetooth, parce que c'est la partie la moins chère de l'appareil, et aussi parce que l'audio est un formidable complément à l'image dans de nombreuses applications (dans le cas des lunettes Meta Ray-Ban, l'audio est la seule sortie des lunettes, puisqu'elles n'ont pas de capacités de RA).

Un autre complément habituel des lunettes intelligentes est l'appareil photo, qui, selon moi, deviendra essentiel (voir ci-dessous). 

Si nous allons plus loin dans la gamme de la réalité étendue, nous trouverons dans le bas de gamme des appareils très basiques comme les fameuses Google Glass d'il y a 10 ans, qui ne donnent que des notifications minimales, comme des bribes de texte supposées précieuses.

Les Google Glass n'avaient aucune chance de remplacer les smartphones.

Mais lorsqu'il s'agit d'appareils de tous les jours que l'on peut utiliser toute la journée, la MRSG ont clairement l'avantage. Elles sont toujours prêtes à délivrer des notifications, que ce soit par le son (la plupart des lunettes intelligentes ont de petits haut-parleurs) ou par l'image. Et elles pourraient faire bien plus, comme je l'explique ci-dessous.

Zuck a indiqué dans l'interview qu'environ deux milliards de personnes dans le monde utilisent quotidiennement des lunettes correctrices. Il pense que le passage aux la MRSG créera encore moins de frictions pour ces personnes que pour celles qui n'ont pas l'habitude de porter des lunettes. Cependant, à un moment donné, la commodité de la MRSG intelligentes dépassera le segment de la population qui n'a pas de lunettes.

La MRSG reprend les fonctions des smartphones

Nous devons encore vérifier en détail comment la MRSG pourrait reproduire les nombreuses fonctions que les smartphones ont accumulées au fil du temps.

Selon moi, l'utilisation de la réalité mixte de la MRSG consisterait à superposer une couche minimaliste à l'image du monde réel, en lui apportant une valeur ajoutée, au lieu d'obstruer l'image extérieure.

Il s'agit là d'un changement radical par rapport aux casques de réalité virtuelle, notamment l'Apple Vision Pro, qui, selon moi, n'a aucune chance de devenir (même avec une réduction de prix drastique) le compagnon informatique permanent de la plupart des gens.

Une autre précision est que, au moins dans un avenir proche, la MRSG sera lié à un smartphone (très probablement par Bluetooth) et ne sera pas un appareil autonome. Cela signifie que, de toute façon, vous devrez avoir un smartphone sur vous. La différence avec la situation actuelle est qu'il sera rarement nécessaire de sortir le smartphone et de jeter un coup d'œil sur le petit écran.

Grâce à cette clarification, nous pouvons comparer de manière critique, une à une, les nombreuses fonctions des smartphones et voir comment elles pourraient être utilisées avec la MRSG. 

Commençons par les quatre fonctions essentielles de l'iPhone original :

• Passer et recevoir des appels téléphoniques : les lunettes intelligentes actuelles, comme la Meta Ray-Ban, peuvent le faire, même si elles ne disposent pas de la fonctionnalité de réalité mixte. Vous devez utiliser votre voix pour demander à appeler quelqu'un. Vous pouvez utiliser une commande vocale ou toucher les branches pour répondre aux appels.
• Écouter de la musique : L'écoute de musique et de podcasts est déjà possible avec des lunettes non-MRSG comme les Meta Ray-Ban. Vous utilisez les branches sensibles comme commande pour jouer ou arrêter la musique, et la voix pour sélectionner ce que vous voulez entendre.
• Appareil photo : Idem, il est disponible même dans le Meta Ray-Ban, contrôlé par les branches.
• Navigation Internet : Ce point est délicat, car la MRSG n'est pas censées remplacer le monde réel, et c'est précisément ce que fait un navigateur web. La MRSG pourrait présenter des extraits de contenu web, sélectionnés par l'IA (voir ci-dessous la discussion sur l'IA). Si vous voulez vraiment naviguer sur le web, vous feriez mieux de vous rendre sur votre bon vieil ordinateur ou votre smartphone (même en portant des lunettes intelligentes - n'oubliez pas qu'elles sont transparentes).

Certaines des fonctions que les applications pour smartphones ont accumulées au fil des ans, et la manière dont elles pourraient être utilisées avec la MRSG. Par exemple :

• La messagerie instantanée et les réseaux sociaux pourraient être présentés à l'utilisateur sous forme de texte ou de petites images en incrustation semi-transparente dans les lunettes. Il ne serait pas nécessaire de sortir son téléphone et de se pencher pour y jeter un coup d'œil.
• D'autres applications basées sur le texte, comme les transactions bancaires, pourraient également être affichées sous forme de texte superposé, mais il faudrait peut-être trouver un moyen pratique de naviguer dans l'interface.

Néanmoins, certaines fonctions des smartphones sont intrinsèquement problématiques à prendre en charge par la MRSG, comme la présentation de votre carte d'embarquement numérique à la porte d'embarquement de l'avion. Cela pourrait se faire à l'aide d'une montre intelligente. 

Exploiter l'IA

Bien entendu, la partie « intelligente » de la MRSG sera l'application de l'IA. Il en va tout autrement du « smartphone » qui, à l'origine, ne comportait aucune composante liée à l'IA et qui a tout de même été qualifié d'« intelligent ».

En fait, le smartphone n'est pas très pratique pour une interaction continue avec l'IA :

• Si vous recevez une notification générée par l'IA, vous devez interrompre votre activité pour sortir votre téléphone et y jeter un coup d'œil.
• L'aide audio de l'IA n'est pas facilement disponible avec un smartphone : tenir l'écouteur du téléphone contre votre visage perturbe votre activité, et utiliser des écouteurs toute la journée est bizarre et conduit à l'isolement social.
• Le petit écran du téléphone est détaché du monde réel qui vous entoure, et vous devez passer de l'écran à la réalité. 

Tout d'abord, la MRSG utilisera beaucoup les instructions vocales, et la compréhension de la voix est l'une des applications actuelles les plus importantes de l'IA. Les systèmes de reconnaissance vocale existaient avant l'IA (par exemple dans certaines voitures), mais ils étaient maladroits, rigides et peu pratiques, limités à quelques commandes.

Par conséquent, la MRSG en pratique est impossible sans l'IA. Cela n'a pas de sens pratique sans l'IA.

Le prochain appareil révolutionnaire doit être capable d'amener l'interaction avec l'IA aussi près de nous que possible. Il doit offrir une expérience d'interaction naturelle et sans contrainte. Ce n'est qu'ainsi qu'il sera possible de l'utiliser tout au long de la journée.

Nous ne sommes pas encore habitués à l'intelligence artificielle en tant que compagnon d'aide tout au long de la journée, mais je pense qu'il s'agit là de la prochaine étape. Il ne s'agit pas de lancer occasionnellement une application d'IA, de lui demander quelque chose et d'oublier l'IA jusqu'à la prochaine interaction. Le prochain appareil de rupture utilisera l'IA tout au long de la journée.

L'idée serait d'obtenir une aide proactive de l'IA en cas de besoin, en fonction de votre contexte actuel : où vous êtes, quelle heure est-il, que faites-vous ?

Cela semble très intéressant, mais cela n'a de sens que si l'on voit concrètement comment cela fonctionnerait dans la vie réelle. 

Commençons par un exemple. Imaginez que vous vous absentez pendant que vous cuisinez, mais que vous recevez un appel téléphonique et que vous oubliez votre casserole sur le feu. Dans cette situation, vous risquez de vous retrouver avec un plat brûlé gâché ou, pire, avec un incendie dans la cuisine. Mais cette fois, c'est l'IA qui vient à la rescousse : l'IA se rend compte de la situation grâce à ses données visuelles et vous envoie une alerte vocale gentille mais ferme, vous demandant de vous occuper de votre casserole.

Cet exemple n'est possible que si la caméra est allumée en permanence et que l'IA fonctionne en arrière-plan, vérifiant de manière proactive comment aider dans le contexte actuel.

En parlant de contexte, le groupe de recherche que je dirigeais il y a dix ans s'appelait « Context intelligence » ; nous étudiions comment le lieu, le moment et l'activité du moment pouvaient avoir un impact sur les risques et les opportunités. Mais à l'époque, l'IA générative n'existait pas, et le prochain dispositif perturbateur qui remplacerait le smartphone n'était pas du tout imaginable.

L'interface de réalité mixte

Vous n'utiliserez pas la MRSG de la même manière que votre smartphone. Vous ne taperez pas avec vos pouces. Vous ne descendrez pas sur une page web en la touchant ou en cliquant. Une interaction très différente doit être conçue.

Prenons tout d'abord la saisie de texte. Au lieu de taper avec nos pouces sur le smartphone ou avec nos doigts sur un ordinateur, la saisie de texte dans la MRSG reposera principalement sur la dictée vocale.

D'ailleurs, une superposition de réalité mixte peut améliorer considérablement la dictée vocale : ce que vous dites est (éventuellement) présenté dans le champ visuel afin que vous puissiez vérifier que la conversion de la parole en texte s'est faite correctement. 

L'un des inconvénients de la dictée vocale est que parler à l'IA est bizarre, dérangeant, voire socialement impoli. Si vous êtes en pleine réunion de travail, vous n'êtes pas censé dicter à vos appareils. Beaucoup d'entre nous n'aiment tout simplement pas parler à des appareils - au lieu de parler à un être humain. C'est pourquoi j'ai breveté l'année dernière un moyen de parler silencieusement à un appareil tel qu'un smartphone ou la MRSG.

Oui, j'ai déposé le brevet « Silent Voice » auprès de l'Office américain des brevets il y a un an. Vous pouvez en voir les détails dans mon article « J'ai inventé un moyen de parler à une IA tout en préservant votre vie privée ».

La « Voix silencieuse » propose d'utiliser l'écho ultrasonore pour reconnaître les mouvements de la bouche et la position de la langue afin d'identifier les phonèmes sans utiliser la voix. Avec Silent Voice, il n'est même pas nécessaire de chuchoter.

Je ne sais pas si Silent Voice ou un système similaire deviendra bientôt une réalité. Ce que je veux dire, c'est que la dictée vocale pourrait devenir très pratique si l'on investit suffisamment dans ce domaine.

Vérifions maintenant la navigation sur la page web ; par exemple, lorsque vous vérifiez un long texte et que vous devez descendre, comment feriez-vous avec la MRSG ?

L'une des solutions consiste à utiliser des commandes vocales (comme « descendre »). Une autre consiste à utiliser l'oculométrie.

Microsoft a mis en place l'oculométrie (identification de l'endroit où vous regardez) il y a quelque temps : Une fonction intégrée de Windows (Windows 10 & 11) qui fonctionne avec des eye trackers compatibles permet un contrôle complet de la souris et du clavier à l'aide du regard. L'Apple Vision Pro utilise également l'oculométrie pour la navigation et la sélection basées sur le regard dans son interface visionOS.

Une autre option consiste à utiliser des extraits d'informations plutôt que de longues pages. Un système d'IA pourrait décomposer les informations d'une page web en courtes bribes présentées dans la superposition RE, où vous pouvez choisir (avec la voix ou le suivi oculaire) l'élément que vous souhaitez développer davantage - encore une fois, l'IA est essentielle pour l'aspect pratique de la MRSG.

Un autre aspect que l'IA devra gérer est le choix des informations à présenter en superposition visuelle et en superposition audio. Une partie de cette décision pourrait être prise en fonction des préférences de l'utilisateur et de la situation dans laquelle il se trouve (au volant, il serait préférable d'utiliser l'audio plutôt que la superposition visuelle pour les messages textuels). 

 Créer de nouvelles fonctions « intelligentes » en réalité mixte

Les lunettes RE intelligentes pourraient créer des fonctions et des services totalement inédits, à l'instar de ce que les smartphones ont permis à Uber de faire.

Dans ce qui suit, je lance quelques idées au hasard sur la manière dont ces lunettes pourraient offrir de nouveaux services :

• Nous pourrions organiser des appels Zoom où les autres participants seraient des hologrammes assis à votre véritable table, au lieu des horribles tuiles de Zoom avec des visages. L'IA s'occuperait de placer les participants de manière pratique afin que vous ayez l'impression de tenir la réunion à l'endroit où vous vous trouvez réellement.
• Affichage tête haute (HUD) pour la navigation : au lieu d'un écran séparé avec une carte comme dans CarPlay ou Android Auto, une superposition au monde réel mettrait une flèche à l'endroit où vous devez entrer dans une rue. Certaines voitures de luxe (comme BMW, Bentley, Cadillac, Land Rover et Rolls-Royce) sont équipées d'un HUD fixé au pare-brise pour aider le conducteur. Cependant, avec la MRSG, tout le monde peut utiliser un HUD pour naviguer. De plus, la navigation à l'aide d'un HUD permettrait également de superposer des indications pendant les déplacements à pied, à vélo et à pied.
• Manuels d'utilisation : au lieu de montrer une figure indiquant l'emplacement d'un bouton, montrer une flèche dans la superposition RE indiquant l'emplacement du bouton, et éventuellement la manière de l'utiliser, éventuellement complétée par un texte superposé ou des explications audio. 
• Des informations pertinentes sur le sujet en cours de discussion seraient présentées pendant les conversations téléphoniques. Cela pourrait être une bouée de sauvetage pour les appels liés au travail !
• Les flux audio uniquement pourraient être améliorés par des repères visuels. Par exemple, lors d'un appel téléphonique de groupe en mode audio, les lunettes indiqueront qui parle à chaque instant dans la superposition visuelle.
• Dans les réunions de réseautage réelles, si cela est autorisé (voir les préoccupations relatives à la protection de la vie privée ci-dessous), le nom et le rôle de chaque participant seraient affichés à proximité de lui afin d'améliorer la productivité du réseautage.
• Les architectes, les concepteurs de produits et les ingénieurs pourraient visualiser et manipuler des modèles 3D dans leur environnement pour la conception et le prototypage. Cela a déjà été fait avec les Hololens de Microsoft, sauf qu'ils étaient trop chers et n'avaient pas d'IA.
•  La RV a été largement utilisée dans les environnements éducatifs, mais elle rend difficile l'interaction avec l'instructeur ou l'enseignant. La MRSG pourrait présenter des modèles de phénomènes physiques, du corps humain, d'animaux disparus, etc. de manière réaliste et immersive, sans faire disparaître l'enseignant.
  Les guides touristiques permettraient aux visiteurs de voir le passé superposé à des lieux actuels. Imaginez que vous vous rendiez au Colisée de Rome et que vous le voyiez avec une superposition de toute sa gloire passée !
• Lors d'une visite dans un pays étranger, la traduction en temps réel des panneaux de signalisation serait directement superposée, au lieu d'être présentée sur un smartphone qu'il faut consulter. Dans le cas de conversations parlées, vous verriez dans la superposition la traduction de ce que vous entendez.
• Mobilier et décoration d'intérieur : Les utilisateurs peuvent visualiser l'aspect des meubles ou des décorations dans leur espace avant de les acheter. Cela se fait déjà dans les applications de réalité augmentée pour smartphone, mais ce serait beaucoup plus réaliste avec l'image superposée.

Cette liste n'est en aucun cas exhaustive, et il est certain que de nombreuses fonctions essentielles de la MRSG seront découvertes une fois que l'appareil sera mis entre les mains (ou sur la tête) de millions de personnes.

Fixer des limites

L'interaction quotidienne continue avec l'aide permanente de l'IA pourrait avoir des conséquences néfastes. Le premier obstacle auquel je pense est la protection de la vie privée : si « quelqu'un » entend et voit ce que je fais à tout moment de la journée, comment puis-je savoir que je ne suis pas surveillé ?

La protection de la vie privée est une préoccupation légitime, et c'est la raison pour laquelle les Google Glass ont suscité des réactions négatives il y a une dizaine d'années. Je pense qu'il est possible d'utiliser des dispositifs qui préservent la vie privée, mais les limites des droits personnels doivent être définies avec soin, elles ne sont pas le fruit du hasard. Il s'agit surtout d'un problème de politique et non d'un problème purement technologique.

Avec la MRSG, il arrive que trop d'informations soient disponibles. Par exemple, révéler l'identité des personnes qui vous entourent pourrait constituer une violation de leur vie privée. Il en va de même pour la prise de photos ou de vidéos de personnes sans leur consentement.

Il serait essentiel de convenir - et d'appliquer - certaines règles relatives à l'utilisation éthique, à la protection de la vie privée et à la préservation des autres droits de l'homme. Je pense que l'utilisation équitable peut être mise en œuvre de manière à ce que, par exemple, l'autorisation de l'appareil photo soit automatiquement activée ou désactivée, en fonction de l'endroit où l'on se trouve, sans dépendre de la bonne volonté de l'utilisateur.

L'utilisation de la MRSG serait moins évidente que celle des smartphones. Vous pourriez être en face de quelqu'un qui semble établir un contact visuel, mais qui vérifie subrepticement des détails supplémentaires à votre sujet. Même s'il est bon que les gens regardent votre visage plutôt que l'écran du téléphone, au moins vous ne cachez pas ce que vous faites.

Dernières réflexions

J'ai expliqué pourquoi les jours des smartphones sont comptés.

Il ne s'agit pas de développer des smartphones innovants, avec des écrans plus grands et plus performants, des appareils photo à plus haute résolution, des processeurs plus rapides, etc. Il s'agit de la nature même des smartphones et de la façon dont ils occupent une place prépondérante dans nos vies.

Compte tenu de l'évolution du paysage technologique, d'ici quelques années, tous les éléments se mettront en place pour que la MRSG soit bien plus pratique que les smartphones dans la plupart des situations.

Bien entendu, la MRSG devra être presque aussi abordable que le sont actuellement les smartphones. Je pense que cela prendra des années, c'est pourquoi je n'encourage pas mes lecteurs à croire les annonces concernant la MRSG prêtes à l'emploi faites par une mystérieuse société chinoise.

Même si le matériel pour la MRSG est prêt, l'écosystème logiciel est une entreprise gigantesque et il faudra des années pour la développer progressivement.

Je pense même que certaines startups lançant de la MRSG cette année et celles qui suivront échoueront et finiront par disparaître.

Mais en fin de compte, l'emprise des smartphones sur nous prendra fin, et nous nous demanderons alors comment, à un moment donné, nous avons pu penser que la vie était impossible sans eux.

Par Rafe Brena (expert et chercheur en intelligence artificielle).

traduction de : 

https://medium.com/predict/this-will-be-the-next-big-thing-after-smartphones-f8ab068148b6#bypass