Pourquoi les appareils photo de nos smartphones sont en train de vivre une révolution

Comme nous, vous partez probablement en vacances de temps à autre. Et comme tout le monde, vous dégainez votre smartphone, histoire de capturer tous qui vous entoure, en mode claquettes-chaussettes et banane jaune fluo sur le côté.

Que l’on gambade sur les plages de Palavas-les-Flots ou que l’on soit en vadrouille dans les Highlands d’Écosse, une simple photographie ne suffit parfois pas à capturer l’immensité des paysages qui nous entourent. C’est à ce moment-là qu’on claque un petit panorama à 360 degrés, en tournant sur soi, smartphone en main.

Sans le savoir, avec cette fonctionnalité qui semble aujourd’hui si évidente, vous utilisez la computational photography. Ce terme un brin barbare n’a pas (encore) d’équivalence en français, mais pourrait se traduire par “photographie de calcul” ou “photographie par ordinateur”.

Il recouvre surtout une révolution dans le monde de la photographie : la manière dont les algorithmes, le code informatique et le machine learning augmentent nos images et font peu à peu de nos smartphones des appareils plus puissants que des les reflex numériques.

Puisque ces recherches technologiques semblent aussi présentes que méconnues, nous avions envie d’en savoir plus…

Dis Père Castor, c’est quoi la computational photography ?

Le mardi 15 octobre au soir, à New York, Google a dévoilé son dernier smartphone, le Pixel 4. “Le hardware n’est pas ce qui rend notre appareil photo bien meilleur, balance Sabrina Ellis, vice-présidente à la gestion des produits, sur scène. La potion magique qui rend notre caméra si unique, c’est notre computational photography.”

Le pionnier de cette potion magique s’appelle Marc Levoy. Professeur émérite en science informatique à Stanford et grand manitou de la photographie chez Google, il considère la computational photography comme un ensemble “de techniques qui permettent d’augmenter ou d’étendre les capacités de la photographie numériques”. Au sein de la firme de Mountain View, dans les laboratoires de Google AI, Marc Levoy a constitué une équipe dédiée uniquement à la recherche en computational photography.

“La computational photography, c’est faire de la photographie avec du logiciel plutôt qu’avec des optiques”, nous explique par visioconférence Alexander Schiffhauer, manager produit et spécialiste du mode “Vision de nuit” sur les Pixel au sein de cette même équipe.

“Si vous souhaitez avoir la même qualité d’image que les professionnels en regardant uniquement du côté du hardware, vous devez basiquement avoir un téléphone énorme. C’est impossible, votre smartphone doit tenir dans votre poche. Alors vous devez être plus malin et utiliser le machine learning”, précise-t-il.

Les mains dans les pixels de la photographie augmentée

Prenons un exemple simple : le mode HDR. Trois petites lettres désormais présentes sur la majorité de nos appareils photo et qui signifient, en français, “imagerie à grande gamme dynamique”. Ce mode permet de capturer plusieurs images au même moment, en une poignée de secondes, avec des tonalités et un temps d’exposition différentes. Le logiciel de la caméra combine ces images et propose à l’utilisateur une seule et même photographie avec les meilleures propriétés de chaque photographie prises.

L’idée derrière le mode HDR n’est pas nouvelle. Elle vient du bracketing d’exposition, qui consiste à prendre une série d’images successives en déclenchant une seule fois, mais en variant l’ouverture et l’exposition d’un appareil photo. Sauf que sur smartphone, le logiciel permet de prendre, traiter et combiner un ensemble d’images avec différents temps d’exposition pour obtenir une meilleure plage dynamique et un rendu plus fin.

Apple fut le premier fabricant à introduire l’HDR avec son iPhone 4, en 2010. Depuis, la technologie s’est sophistiquée avec le Smart HDR (Apple) ou le HDR+ (Google).

Sur le Pixel 4, Google a même introduit le mode Live HDR+ qui propose, pour la première fois, de visualiser le rendu du mode HDR sur son écran avant même que la photographie ne soit prise. Grâce au machine learning, le logiciel analyse les tonalités de lumière captées par la caméra avant que le photographe n’ait appuyé sur le déclencheur. Fou, non ?

L’iPhone 11 possède un mode similaire : le Deep Fusion, héritier de Smart HDR. L’appareil photo prend huit images (quatre expositions moyennes et quatre courtes) avant que le photographe appuie sur le déclencheur. Une neuvième est prise au moment de shooter et servira de base au rendu final.

La tête dans l’astrophotographie

On peut considérer le fonctionnement du mode HDR – et ses multiples évolutions – comme une base théorique sur laquelle s’appuie la computational photography.

L’étonnant mode astrophotographie du Pixel 4, basé sur le mode Night Sight apparu avec le Pixel 3, est l’une des dernières avancées de ce champ de recherche. Comment un smartphone peut-il prendre des images nettes des étoiles, quand on sait à quel point il est difficile de les réaliser avec un appareil photo professionnel ?

Avec un reflex numérique classique, il est nécessaire d’ouvrir l’obturateur plus longtemps pour capter un maximum de lumière et, évidemment, de poser l’appareil sur un pied pour un maximum de stabilité.

Les capteurs photos du Pixel 4, eux, ne sont pas aussi balèzes. Il va donc falloir faire autrement, en choisissant le temps d’exposition parfait, en réalisant plusieurs images pour les faire fusionner et en augmentant la stabilité de l’appareil.

“Les algorithmes fonctionnent continuellement en arrière-plan pour en essayant de trouver quel est le temps d’exposition le plus long que la caméra peut capturer, tout en analysant le mouvement de l’appareil”, continue Alexander Schiffhauer.

Une photo du ciel étoilé avec le Pixel 4 peut ainsi prendre jusqu’à 4 minutes d’exposition. Durant ce laps de temps, l’appareil réalisera un maximum de 15 photos, chacune exposées environ 16 secondes. À partir de là, le logiciel du Pixel 4 va aligner chaque exposition avec l’autre. Une fonction “segmentation sémantique” identifie ensuite les éléments qui composent la photographie pour traiter le bruit et les pixels qui ne conviennent pas, égalisant l’ensemble. Si vous voulez absolument tout savoir sur l’astrophotographie, c’est par ici (en anglais).

Dans le futur, les appareils photo dopés à l’IA

La question est de savoir jusqu’où ira la recherche en computational photography ? Après Deep Fusion chez Apple, le mode astrophotographie chez Google, la super résolution ou les modes 3D, quelles pourraient être les prochaines grandes avancées de la photo sur smartphone ?

“Nous nous intéressons énormément au concept de moment. Quand vous prenez, disons une photographie de groupe, vous prenez probablement plusieurs images à la chaîne. J’imagine que vous en prenez trois ou quatre de la même scène. On considère s’agit d’un échec, nous explique Isaac Reynolds, également manager produit pour le Pixel 4 chez Google AI. Avec le machine learning, nous pouvons être vraiment, vraiment bon pour capturer le moment le plus authentique et candide. Et même si le photographe ne le voit pas, la caméra, elle, en est capable.”

Situation classique : vous prenez une photo, et ça ne va pas du tout parce que la personne a les yeux fermés. Grâce au machine learning, notre appareil pourrait être capable de revenir quelques secondes en arrière pour “sélectionner” un bref instant où les yeux sont ouverts. Un type de technique que proposait déjà iOS 7 et qu’il est possible de réaliser avec certaines applications.

“Si on demande aux gens leurs photographies favorites, ils choisissent très souvent des photos qui peuvent être objectivement horribles. Mais ce qui compte, c’est le sourire ou le regarde, l’émotion, le bonheur d’un instant précis. Nous pensons que les smartphones peuvent aider à mieux capturer ces moments spéciaux”, continue-t-il.

À quel moment les photographies ne seront plus une création humaine mais le produit pur et simple d’un système d’intelligence artificielle ? C’est la question que l’on se pose, après avoir fait connaissance de la computational photography.