Shree Nayar, l’homme qui murmurait à l’oreille des smartphones

À 53 ans, celui qui voulait devenir joueur de cricket professionnel tient une bonne partie du futur de l’industrie photographique entre ses mains.

À la tête du Columbia Vision Laboratory, Shree Nayar est à l’avant-garde des domaines de l’imagerie informatique et photographique. Pourtant, il ne se destinait aucunement à une carrière dans l’ingénierie. Il avoue au site Popular Photography : “Je suis vraiment le dernier à me précipiter pour acheter le dernier modèle d’un appareil photo.”

Cela ne l’empêche pas d’être un véritable précurseur dans le monde de la photographie. À la fin des années 1990, lui et son équipe développent un appareil (voir photo ci-dessus) capable d’enregistrer en continu sur un rayon de 360 degrés. Cette élaboration a été le modèle de bien des caméras de réalité virtuelle qu’on trouve sur le marché aujourd’hui.

Un amoureux de la lumière

Plutôt qu’un passionné de robotique, Shree Nayar est féru de découvertes et adore voir ses recherches être appliquées dans le monde réel : “C’est génial de pouvoir dire : ‘Oh, tu vois ce petit truc que tu utilises sur ton téléphone ? Laisse-moi te raconter un petit secret à son propos…'”, raconte-t-il à Popular Photography. S’il s’est penché sur la recherche photographique, c’est aussi pour son amour de la lumière :

“Je me suis rendu compte que ce qui m’excitait vraiment autour de la vision, ce n’était pas l’intelligence mécanique mais la lumière : l’esthétique de la lumière, la façon dont la lumière se manifeste, pas seulement dans les images mais dans l’art et dans la vie. La lumière, c’est tellement beau. Elle crée des choses magiques.”

Son équipe recherche donc comment travailler avec cette lumière : comment celle-ci peut-elle réussir à capter et dévoiler ce qui n’est pas immédiatement apparent ? Le laboratoire travaille sur l’imagerie informatique ainsi que ses implications physiques et fonctionnelles, en se concentrant par exemple sur l’imagerie à grande gamme dynamique. C’est-à-dire comment créer des produits plus petits et plus modernes. Cette imagerie (high dynamic range imaging ou HDRI, en anglais) désigne l’ensemble des techniques numériques qui permettent de représenter plusieurs niveaux d’intensité de lumière dans une image, en attribuant plus de valeurs à un même pixel.

L’imagerie informatique, c’est quoi ?

Ce qui étonnait Shree Nayar au début de sa carrière était le fait que le même type d’appareil était utilisé autant par des robots pour la recherche scientifique que par des familles pour leurs photos de vacances. L’imagerie à grande gamme dynamique, par exemple, est devenue la norme dans tous les domaines : smartphones et appareils photo inclus.

Pour simplifier, la photographie numérique classique imite la structure de la chambre noire originale (la camera obscura) utilisant une lentille qui diffuse et reproduit une image 3D sur un plan en 2D. Au contraire, l’imagerie informatique utilise des processus numériques et des optiques qui captent la lumière d’une façon déformée, que nos yeux ne percevront pas. C’est ensuite un capteur qui déchiffre les données afin de faire apparaître la photographie à son état final. Cette approche ouvre des horizons qui ne seraient pas envisageables avec la photographie traditionnelle.

L’imagerie informatique est une technologie qui s’immisce dans le mainstream. Les capteurs des appareils photo des mobiles possèdent des technologies de reconnaissance faciale ou d’objets depuis des années, de même qu’ils possèdent la correction automatique des couleurs et des distorsions.

À la croisée de la science-fiction et de la vie quotidienne

Des smartphones tels que l’iPhone 7 Plus ou le LG G5 ont déjà fait sensation à leur sortie pour leurs capteurs bi-sensoriels. Ces téléphones possèdent une double lentille qui rend la photo plus vivante et plus détaillée. Celle-ci permet un zoom optique sans parties floues. Mais surtout, ce système de deux lentilles (ou plus) dotées d’un capteur d’image chacune permet à l’appareil photo de simuler la vision binoculaire de l’homme et donc de capter des images en trois dimensions.

Nayar veut aller plus loin dans les découvertes en reflétant au maximum la vision directe qu’a l’homme sur le monde, par la photographie. Et cela implique beaucoup, beaucoup de calculs : “L’une des raisons pour lesquelles l’appareil photo a pu rétrécir au point de tenir à l’intérieur d’un téléphone portable, c’est le nombre de calculs qui permettent de capter des images codées.”

Un des plus grands accomplissements de l’équipe de Nayar a été la création d’un appareil Gigapixel ultra-compact. Les prototypes Gigapixel précédents mesuraient au moins cinquante centimètres. Grâce à des algorithmes informatiques et optiques, l’équipe a créé un appareil Gigapixel capable de rentrer dans une boîte à chaussures. Ce compact, imaginé en 2011, était doté de deux parties : d’une part, un récipient hémisphérique bordé de centaines de capteurs d’images, et d’autre part, un verre de la taille d’un grain de raisin servant de lentille. Des protubérances ont été ajoutées au design du modèle, afin que le maximum de lumière soit redirigé vers les capteurs. Ainsi, l’image était reçue avec plus d’un milliard de pixels. Cette résolution incroyable permettait de zoomer sur des détails invisibles à l’œil nu.

Des projets futuristes

Les projets actuels du laboratoire de Shree Nayar se concentrent sur la recherche de nouveaux moyens de capter le réel. Un projet nommé “Eternal Camera” vise à créer des caméras autoalimentées dotées d’un capteur d’images qui fait aussi office de panneau solaire. Le prototype utilise plus de 1 200 photorécepteurs qui mesurent la lumière et absorbent l’énergie du soleil. Pour une image d’intérieur bien éclairée, l’appareil produit une image par seconde sans jamais avoir besoin d’alimentation externe. Ce pourrait être un moyen, selon Shree Nayar, d’enregistrer la vie sauvage sans avoir besoin d’un amas de piles ou d’un panneau solaire trop imposant par exemple.

Nayar et son équipe développent aussi des appareils flexibles qui pourraient s’enrouler autour d’objets (voir photo ci-dessus). Ces appareils consistent en un matériel élastique recouvert de lentilles flexibles. Chaque lentille possède un capteur d’images et se concentre sur un pixel. Tandis que le matériel se courbe, la caractéristique malléable des lentilles leur permet de se déformer afin d’élargir le champ de vision. Ainsi, contrairement aux lentilles rigides, celles-ci ne louperaient aucun pixel. Des algorithmes permettent ensuite de débrouiller l’image, qui apparaîtrait complètement déformée à l’œil humain sans ces calculs.

Le principal atout de ces matériaux flexibles est qu’ils pourraient capturer des environnements à 360 degrés, de façon tout à fait réaliste. Dans une vidéo publiée sur la chaîne YouTube de Columbia Engineering, Nayar explique que ce “sheet camera” pourrait à terme avoir la taille d’une carte bancaire ou être aussi fin qu’une feuille de papier.

Si ces recherches peuvent paraître assez éloignées de notre quotidien, notons quand même qu’un bon nombre des avancées de l’équipe de Shree Nayar se retrouvent à terme entre nos mains. La conquête de l’image est en marche !