Reconnaissance faciale et pornographie : la démocratisation qui terrifie

Ainsi, le 28 mai, nous aurions franchi un nouveau (et énième) palier dans le solutionnisme indécent. Sur Twitter, Yiqin Fu, thésard de l’université de Stanford, postait une capture d’écran dégotée sur le réseau social chinois Weibo. Dans ce texte, dont la traduction a depuis été vérifiée par Motherboard aux États-Unis, un utilisateur anonyme, qui se dit basé en Allemagne, se vante d’avoir mis au point un système de reconnaissance faciale capable d’identifier les profils de réseaux sociaux de femmes à partir de leur visage sur des plateformes de contenu pornographique de type Pornhub. Le concept : permettre à ceux qui le souhaitent de “vérifier si leurs copines ont déjà fait du porno”.

Forcément, ce genre de nouvelle laisse un arrière-goût un peu dégueulasse dans la bouche, mais le pire est encore devant nous. Selon la traduction de Yiqin Fu, le projet représente près de six mois de travail. Il aspire près de 100 téraoctets (100 000 gigaoctets) de données glanées sur cinq des plateformes les plus fréquentées du X, et compare les visages récoltés aux bases de données de Facebook, Instagram, TikTok, Weibo “et autres”. Selon l’utilisateur, le bidouillage aurait déjà permis d’identifier plus de 100 000 actrices à travers le monde. Sur Weibo, conclut Yiqin Fu, la majorité des 1 000 commentateurs exprime son engouement pour le service. Le seuil de l’écœurement est franchi.

Légal ? Certainement pas (en Europe)

Pour le moment, il n’existe aucune preuve formelle que ce système existe – pas de capture d’écran, pas de code, pas de bases de données, rien qu’un compte GitLab vide. Les questions que l’hypothèse de son existence soulève, en revanche, sont déjà là. L’une des premières (et des plus dépassionnées) porte sur la légalité de l’initiative, particulièrement au regard du règlement général sur la protection des données (RGPD) européen.

Interrogé sur Weibo, le mystérieux créateur assurait que tout allait bien puisqu’il n’avait encore rien divulgué, que la base de données qu’il avait construite n’était pas publique et que le travail sexuel était légal en Allemagne. Le 31 mai, contacté (toujours sur Weibo) par le MIT Technology Review, le programmeur (qui a toujours refusé de livrer son identité) semble avoir entre-temps compris les risques qu’il encourait.

En Europe comme en Californie (capitale mondiale de l’industrie du X), il existe un cadre légal étroit pour collecter des données et assurer le droit à l’anonymat en ligne, et ce genre de doxxing à grande échelle (le fait de révéler des identités en ligne sans consentement des personnes concernées) pourrait facilement lui valoir un procès. À plus forte raison lorsqu’il s’agit de données biométriques. L’article 9 du RGPD, rappelle le chercheur en cybersécurité Michael Veale, encadre leur récolte à des seules fins de recherche. Le programmeur, écrit le MIT Technology Review, s’est donc excusé et affirme avoir tout effacé… tout en réaffirmant que son algorithme existait bien.

La technologie au service de la misogynie

Fin de l’histoire ? Tant s’en faut. Si tout dans ce fait divers algorithmique donne envie de rendre son déjeuner, il a néanmoins eu le mérite de provoquer un débat sur Twitter et parmi la presse spécialisée. Eh oui, certains ont soutenu le créateur du système au motif, tout à fait recevable, qu’un tel algorithmique pourrait éradiquer le revenge porn.

Placé entre de bonnes mains – comme une agence gouvernementale correctement supervisée par une entité indépendante, ou une ONG tout aussi supervisée –, il pourrait permettre à chacun de vérifier s’il existe des vidéos X de soi en ligne, de remonter leur trace et de les faire disparaître, à la manière d’un droit à l’oubli. C’est envisageable. Mais au regard des risques, les bénéfices potentiels pèsent bien peu.

Sur Twitter, rapidement, les commentaires horrifiés ont fusé pour pointer du doigt les infernales conséquences d’un tel système, qui verra “des gens se faire extorquer, agresser et tuer”. Pour la chercheuse Danielle Citron, c’est “une idée terriblement mauvaise, qui s’appuie sur la surveillance pour accroître encore le contrôle du corps féminin”.

De fait, le monde de l’innovation nous a malheureusement habitués à l’instrumentalisation terrifiante de l’algorithmie à des fins abusives – il suffit de se souvenir des deepfakes, ces programmes capables de placer le visage de votre choix sur un autre corps avec un rendu réaliste. Comme le résume l’autrice féministe Soraya Chemaly sur Twitter, “la surveillance, l’usurpation d’identité, l’extorsion et la calomnie arrivent toujours aux femmes en premier avant de toucher la sphère publique”.

Pour preuve, Pornhub lui-même dévoilait un système similaire en grande pompe, dès 2017, pour aider les fans à retrouver leurs actrices fétiches. Son concurrent xHamster lui emboîtait rapidement le pas. En oubliant au passage toutes les victimes de revenge porn hébergées sur leur plateforme, et sans réfléchir au fait que si les actrices utilisent un alias, c’est peut-être justement pour éviter d’être harcelées…

Demain, le “World Wide Face”

Ce qui importe, dans cette histoire, n’est pas tant que ce programmeur anonyme et son algorithme soient réels ou non. Ce qui importe, c’est qu’aujourd’hui, la démocratisation des algorithmes de machine learning (particulièrement dans le domaine de la reconnaissance faciale), l’augmentation de la puissance des processeurs, la chute du coût de la mémoire et les incommensurables volumes de données personnelles que nous dispersons à chaque minute passée en ligne permettent théoriquement à une petite équipe, dotée de quelques connaissances en programmation, de développer un tel système en quelques mois, depuis une chambre. L’idée qu’un type développe dans son coin un système aussi nuisible est plausible (un service similaire existe déjà d’ailleurs, au moins).

En 2016, déjà, le Guardian s’inquiétait du succès d’une application mobile de reconnaissance faciale russe, FindFace, qui annonçait “la fin de l’anonymat public”. Depuis, d’autres algorithmes sont disponibles. Plus puissants, mieux entraînés. Face à ce constat, la seule chose raisonnable à faire serait de sortir la tête du guidon de l’innovation et de réfléchir. Réfléchir sur la montée en gamme de la biométrie et la reconnaissance faciale massive automatisée et ce qu’elle signifie pour la vie privée, l’anonymat et le consentement. Sur son invasion lente mais progressive de tous les secteurs de notre vie, du trottoir à l’aéroport en passant par la salle de classe. Sur la création, ici et là, de réservoirs à données biométriques géants, malgré les risques de sécurité que la centralisation de données sensibles implique.

Il faut tenter d’anticiper, comme l’a magistralement fait Olivier Ertzscheid (auteur du blog affordance.info) le 3 juin, les scénarios catastrophe d’une société où le visage s’installe au centre des processus régaliens (police et justice, notamment) en même temps qu’il devient monnaie d’échange et de spéculation au sein du capitalisme de surveillance. “Bienvenue dans le World Wide Face”, écrit Ertzscheid, ce nouveau paradigme biométrique qui nous ferait regretter le bon vieux temps des données impersonnelles.

Identification, surveillance, triage

Notre salut, c’est qu’il y a quelque chose de foireux au royaume du World Wide Face. Nous voilà confrontés à une technologie défaillante, plus dangereuse encore qu’une reconnaissance faciale infaillible. De nombreux acteurs publics et privés (les seconds vendant leurs systèmes aux premiers, contre l’avis de leurs salariés) nous pressent pourtant de l’accepter sans réserve, que ce soit pour notre sécurité, comme à Nice, ou pour débloquer rapidement l’écran de notre téléphone. Ne nous laissons pas leurrer : reconnaître automatiquement des visages avec 100 % de précision est loin d’arriver. En 2019, nos IA ont encore du mal à différencier un chihuahua d’un muffin.

Rappelons quelques évidences. La reconnaissance faciale, outil statistique, génère des faux positifs à la chaîne (au Royaume-Uni, on frôle les 100 % d’erreur pendant les tests). La reconnaissance faciale, parfois entraînée sur des données biaisées, discrimine des populations déjà marginalisées (on se souviendra que les systèmes de Google avaient pour péché mignon, courant 2015, de confondre les Noirs avec des gorilles). Parfaite, elle serait implacable ; imparfaite, heureusement, elle n’est que terrifiante.

Imaginez les conséquences d’un faux positif de l’algorithme d’identification d’actrices porno pour une femme lambda, qui ressemblerait un peu trop à l’une d’elles aux yeux des machines. Imaginez son compte Facebook ou Instagram lié par la myopie algorithmique à un profil Pornhub. Rappelez-vous qu’on ne négocie pas avec une fonction mathématique, même si celle-ci vous pourrit la vie par erreur. “Toute identification, martèle Ertzscheid, est d’abord une désignation.” Et toute désignation porte en soi la promesse de la stigmatisation. Que vous soyez identifié correctement ou pas importe peu, une fois que le sceau est apposé.

Vendue comme utopie d’une police incontestable (car forcément neutre, transparente et dépassionnée), la reconnaissance faciale automatisée n’est rien de tout cela. Elle est un outil au service d’un projet politique obsédé par la surveillance, le suivi, le triage. Elle n’a rien d’inévitable, encore moins d’urgent (la mairie de San Francisco vient tout simplement de l’interdire) dès lors que l’on s’intéresse davantage à ses dérives qu’à ses bénéfices. La tête dans le guidon du progrès technique, nous risquerions de ne pas voir venir le précipice.