Ce matin, j’ai joué à des jeux vidéo par la pensée

Un matin comme les autres sous la canicule, j’ai pu jouer à Duck Hunt – ce classique de la NES où l’on chasse des canards – en déplaçant simplement mon regard sur un écran. J’ai aussi pu m’essayer à un petit jeu de plateforme où, tout en faisant avancer et sauter mon personnage avec une manette entre les mains, je faisais exploser de petits ennemis cubiques et mouvants en focalisant mes yeux sur eux.

La puissance de mon étroit cerveau a-t-elle réussi à briser les lois de la science ? Non, c’est un petit casque, de quelques centaines de grammes à peine, truffé d’électrodes et scotché à l’arrière de mon crâne grâce à un bandeau noir, qui m’a permis de dégommer des canards volants en toute sérénité.

Une interface cerveau-machine à huit électrodes

Habitué de la réalité virtuelle et augmentée, l’expérience était pourtant une première pour moi. Elle s’est déroulée chez NextMind, une start-up parisienne discrète, fondée en 2017 par Sid Kouider, chercheur au sein du laboratoire de sciences cognitives et psycholinguistiques de l’École normale supérieure.

NextMind s’est fait connaître des médias français à l’occasion du CES 2020, où elle a remporté deux prix et fait tester sa technologie. Son produit : une nouvelle interface-cerveau machine (ICM). Ces dispositifs permettent d’utiliser “l’activité cérébrale pour interagir avec le monde extérieur sans passer par les muscles”, explique l’Institut du Cerveau.

En l’occurrence, l’ICM de NextMind est composée de trois modules principaux. “Ce qu’on appelle un sensor, le hardware, qui permet de venir capter les signaux neuronaux au niveau du cortex visuel grâce à huit électrodes“, nous explique Arthur Jacq, qui dirige le service commercial et marketing de NextMind. Pas besoin de gel, ce casque minuscule vient “brosser” les cheveux pour attraper le contact avec l’arrière du crâne.

“On a ensuite une équipe qui travaille sur le machine learning, pour être capable de venir comprendre en temps réel les signaux neuronaux et en sortir un résultat sur la concentration de l’utilisateur”, continue-t-il. Enfin, niveau logiciel, NextMind utilise le moteur de jeu Unity, autour duquel est basé son kit de développement.

Changer de chaîne en moins d’une seconde

Justement, ce sont sur les démos de ce kit de développement que j’ai pu poser mes yeux ébahis. On m’a installé le casque sur la tête, le centre bien positionné sur la petite bosse située à l’arrière du crâne, et le logiciel a opéré un calibrage entre mon cortex visuel et l’écran positionné devant moi. Pendant quelques minutes, j’ai donc suivi des yeux un cercle mouvant, à l’intérieur duquel se trouvaient trois bâtons. Si ma concentration atteignait un point suffisant, les bâtons se transformaient en triangle.

Et c’est sur ce principe que fonctionne chacune des expériences proposées par la démo NextMind. Dans Duck Hunt, les canards volants disposaient des mêmes bâtons. Une fois mon regard suffisamment concentré, ceux-ci finissaient par se rejoindre, faisant alors exploser les canards. J’ai également pu taper un code pin sur un clavier virtuel, de la même manière. Dans un programme imitant une télévision, on m’a fait changer de chaîne, couper, mettre le son ou mettre en pause la vidéo devant moi.

Le mini-jeu de plateforme, toute nouvelle démonstration de NextMind qui n’existait pas encore pour le CES, fut un peu plus complexe. Manette en main, je devais me concentrer sur mon environnement et ses défis tout en focalisant mon regard vers des ennemis ou des blocs à déplacer en bougeant mon regard.

De la seconde aux centièmes de seconde

Et ça fonctionne ! C’est même plus convaincant que mes nombreux loupés pour bouger les modules holographiques de l’HoloLens 2. Pour que le casque de NextMind capte votre attention et le traduise en réaction à l’écran, cela prend environ une seconde avec parfois quelques ratés, notamment dans ce dernier jeu plus complexe.

On m’explique que les réactions changent d’une personne à l’autre, notamment à cause de la qualité du contact à l’arrière du crâne ou à cause de l’habitude que l’on a d’interagir avec les écrans. Plus on a de l’expérience avec l’objet, plus ça fonctionne en somme. “Réduire la latence fait partie des défis“, concède Guillaume Ployart, directeur de la technologie. “On travaille aussi sur la phase de calibration. Elle sert à créer un modèle pour chaque personne et à utiliser la technologie en temps réel pour les utilisateurs. On voudrait la réduire en temps, voire la supprimer“.

Pour quelle utilisation concrète dans un futur proche ? Le kit de développement et le hardware seront envoyés aux acheteurs (ayant payé 400 euros) à partir du mois de septembre, principalement dans les domaines du jeu vidéo et de l’entertainment. “Nous voulons avoir un kit qui permette aux développeurs de venir chercher les éléments qu’ils veulent intégrer dans leurs applications“, précise Arthur Jacq.

Sans préciser quels studios de jeux vidéo ont acheté la technologie, mes interlocuteurs précisent qu’ils ne se voient pas forcément comme la marque qui commercialisera directement le casque aux consommateurs. Le casque NextMind pourrait être intégré à des dispositifs de réalité virtuelle, par exemple, avec lesquels il fonctionne. On l’imagine bien dans des jeux de réflexion ou de puzzle, façon Portal.

L’appareil pourrait aussi être utilisé dans le cadre d’une maison connectée, pour gérer l’environnement numérique d’un véhicule ou d’un espace industriel, m’explique-t-on aussi. En parallèle, NextMind accompagne des entreprises “par exemple dans les domaines de la mobilité et de la sécurité“, pour proposer des utilisations adéquates de son casque.

Dans le gaming, le chemin est encore loin pour faire du jeu par la pensée un dispositif suffisamment rapide et intuitif pour des jeux d’adresse, type aventure ou FPS.