Selon Facebook, aucun des spectateurs n’a signalé le live du terroriste de Christchurch

L’attaque terroriste de Christchurch, le 15 mars, a été taillée sur mesure pour les réseaux sociaux. L’Australien de 28 ans, suspecté d’être l’auteur de la tuerie, qui a fait 50 victimes parmi la foule des fidèles de deux mosquées, a filmé son acte et l’a diffusé en direct sur Facebook, espérant sans doute médiatiser au maximum ses revendications de suprémaciste blanc. Quelques minutes avant d’ouvrir le feu, il semait des avertissements sur Twitter et 8chan (prononcer “infinite-chan”), la pépinière de suprémacistes blancs où il avait ses habitudes. Quelques heures plus tôt, il y publiait également un “manifeste” de 74 pages, construit comme une auto-interview, pour fournir clé en main les réponses aux futures interrogations médiatiques dans le cas où l’attaque lui serait fatale.

Tout, dans ce mode opératoire, tourne autour de la viralité en ligne. Et tout a fonctionné comme prévu. Le document est consultable en quelques clics. La vidéo de l’attaque, 17 interminables minutes filmées à la première personne, a été diffusée sur Facebook au nez et à la barbe des systèmes de modération automatiques et des humains chargés d’éviter précisément ce genre d’événements. 200 personnes y ont eu accès… soit 0, 000001 % des utilisateurs de Facebook. Sauf qu’Internet ne fonctionne pas comme ça. Sitôt le live débuté, au moins un des spectateurs l’a enregistré avant de le diffuser sur 8chan puis sur YouTube. Avant que d’autres ne prennent le relais. Et ainsi de suite.

Selon un communiqué de Facebook publié le 19 mars, le premier signalement de la vidéo n’est apparu qu’au bout de 29 minutes. Soit 12 minutes après la fin du direct. Entre-temps, elle sera visionnée 4 000 fois. Durant les premières 24 heures, le réseau social bloquera 1,5 million de copies de la vidéo, dont 1,2 million avant même leur publication. Titanesque, mais trop tardif, car 800 versions éditées étaient diffusées sur la plateforme mardi matin, selon The Guardian. En ne parvenant pas à détecter cette première diffusion, Facebook a lancé tout le Web social dans une course sans fin.

La guerre de la modération est lancée

Vendredi, les géants de la tech se sont donc retrouvés avec un cauchemar sur les bras et une tâche de modération herculéenne : stopper la prolifération du contenu en supprimant les contenus plus vite qu’ils n’apparaissent, alors que la vidéo passait de Facebook à YouTube, Instagram ou Twitter, alors que certains médias étrangers en diffusaient des extraits, alors que les algorithmes de référencement de Google faisaient leur travail, alors que le Web social continuait d’héberger, jusqu’à l’écœurement, 17 minutes de mort filmée.

Le 18 mars, YouTube annonçait avoir supprimé un nombre “sans précédent” de copies de la vidéo et avoir entièrement retiré les modérateurs humains du processus de blocage, laissant les IA faire le boulot d’identification et de blocage des clones. Dans une série de tweets, la plateforme expliquait également que des centaines de comptes “créés pour promouvoir ou glorifier le tireur” avaient été supprimés ainsi que “des dizaines de milliers” de vidéos.

De leur côté, les fournisseurs d’accès à Internet (FAI) néo-zélandais ont pris la décision de bloquer purement et simplement les plateformes qui continuaient d’héberger la vidéo – les URL d’8chan, évidemment, mais aussi de 4chan, MEGA ou LiveLeak sont bloquées (au niveau DNS) après un accord entre les trois FAI du pays, précise BleepingComputer. Enfin, la chaîne de télévision Sky Nouvelle-Zélande a coupé l’antenne de sa jumelle Sky Australie lorsque celle-ci a diffusé des extraits de la vidéo. Même Valve a dû se mettre à la modération, obligé de supprimer une centaine d'”hommages” au tireur sur sa plateforme Steam. Bref, chaque entité fait ce qu’elle peut avec ses armes pour endiguer la prolifération des images.

Les limites de l’empreinte numérique (et de l’impunité) ?

Non contentes de travailler chacune de leur côté pour faire disparaître ces images de leurs plateformes respectives, les grandes entreprises du Web (du moins YouTube, Microsoft, Facebook et Twitter) collaborent au sein du Global Internet Forum to Counter Terrorism (GIFCT), une alliance bâtie en juin 2017 pour coordonner la réponse des grandes plateformes et maximiser leur efficacité. Non contents d’investir ensemble dans des algorithmes de détection de contenus violents, les quatre géants partagent une base de données de 100 000 “hashs”, ces signatures numériques de contenu qui permettent ensuite aux algorithmes de machine learning d’identifier un clone et de le supprimer avant même sa publication.

Dans le cas de la vidéo de Christchurch, 800 empreintes ont ainsi été créées et partagées entre les plateformes. Mais cette fois-ci, ça n’a pas suffi : pour contourner le système, ceux qui ont partagé ces clones ont édité la vidéo, ajouté des watermarks voire inséré des personnages en animation pour tromper la vigilance des algorithmes, comme le souligne Business Insider. Et ça a fonctionné.

Si l’attaque terroriste de Christchurch n’est pas la première à s’appuyer sur la viralité d’Internet pour partager sa malfaisance, elle marque néanmoins un avant et un après pour la détection automatisée des contenus violents, une approche jusque-là mise en avant par les plateformes à grand renfort de pourcentages flatteurs (cruelle ironie, YouTube affiche 98 % de réussite sur les “contenus extrémistes”, quand Facebook annonce 99 % des contenus de l’État islamique et Al-Qaida modérés avant publication).

Depuis le 15 mars, l’approche automatisée a clairement montré ses limites – sans parler de celles des modérateurs humains – face à la créativité morbide des internautes. Visiblement, les sanctions pénales qui guettent les diffuseurs de contenus terroristes (en France, 7 ans d’emprisonnement et 100 000 euros d’amende, rappelle Numerama) n’ont pas refroidi les pourvoyeurs de la haine en ligne. Alors quoi ? Interrompre la publication de vidéos sur YouTube et Facebook en cas d’attaque, comme on a pu l’entendre ? Pour reprendre les mots de Wired, soyons réalistes : avec une telle stratégie, les plateformes passeraient leur temps fermées.

Sans aller jusque-là, donc, il faut accentuer la responsabilité légale des plateformes dans la dissémination de ces contenus haineux. La Première ministre néo-zélandaise Jacinda Ardern l’a rappelé le 19 mars, après avoir discuté avec Theresa May d’une action globale contre Facebook : elles sont “la maison d’édition, pas le facteur”. Brenton Tarrant l’a utilisé à son avantage ; si rien n’est fait, d’autres s’engouffreront dans la brèche. Le terrorisme ne peut pas devenir une vidéo virale.