“C’est horrible !” Nous sommes début août. Dans un de ses vlogs quotidiens, l’influenceuse Léna Situations vient de voir sur Twitter un deepfake, une image générée par intelligence artificielle, conçu à partir de son visage. Si elle cache bien sûr le contenu sensible à sa jeune audience, Léna explique que quelqu’un a volontairement accolé sa tête à un corps nu. L’image en question ne manque pas de choquer Marcus, son ami et acolyte. “Et il y a tellement de meufs sur Internet qui vivent ça. […] C’est vraiment dégueulasse”, conclut-elle, dépitée.
À voir aussi sur Konbini
La pratique n’est malheureusement pas nouvelle : il y a un an, la streameuse Maghla tirait la sonnette d’alarme quant aux conditions des créatrices de contenu sur Internet qui subissent désormais (en plus du reste) ces terribles manipulations non consenties de leur corps et de leur image.
Chargement du twitt...
Début juillet, le Sénat a d’ailleurs adopté des réglementations pour punir les deepfakes, jusqu’à deux ans de prison et 45 000 euros d’amende. Un amendement a également renforcé la sanction lorsqu’il s’agit de deepfakes pornographiques, jusqu’à trois ans et 75 000 euros d’amende.
Mais tandis que les réglementations tentent de lentement raccrocher les wagons, la technologie de l’intelligence artificielle a pris le TGV : excès et dérives ont explosé en volume sur Internet.
Trigger warning : les paragraphes suivants contiennent quelques mentions de mots sexuellement explicites
L’accessibilité de l’IA au service de mauvaises intentions
L’avènement des outils d’IA comme ChatGPT, Dall-E ou encore Midjourney (pour citer les plus connus) a permis aux plus profanes de mieux comprendre la puissance de l’intelligence artificielle, mais il a également appris aux plus malintentionnés à s’en servir. Si on peut décemment rire des trouvailles humoristiques d’internautes qui font chanter à Johnny Hallyday le générique de Pokémon, certains usages de l’IA sont beaucoup plus sombres.
404 Media, nouveau site d’actualité créé par des anciens de Motherboard Vice US, a enquêté sur les nouveaux “marchés” de l’IA pornographique. Ces dernières semaines, les journalistes ont fouillé les recoins de plateformes de “modèles IA”, citant notamment les deux plus connues : Civitai et Mage.
À l’origine, ce sont des plateformes qui proposent à tout contributeur d’ajouter ses “modèles” d’IA, le corps de personnes inexistantes qui sont, dans l’ultramajorité, des femmes. Laissés en accès libre aux membres de ces plateformes, ces modèles sont ainsi utilisés pour créer des images pornographiques. Alors que les sites n’ont rencontré leur succès que cette année, certains modèles axés sur un usage pornographique comptabilisent déjà plusieurs dizaines de milliers de téléchargements.
Sur Mage, on peut également trouver des modèles représentant des célébrités du cinéma ou de la musique (quasi exclusivement des femmes encore ici). Interrogés par 404 Media, les fondateurs expliquent avoir protégé ces contenus “matures” par un paywall (de quelques dollars) et que l’usage de l’image de célébrités à ces fins est interdit. Pourtant, quelques clics suffisent toujours pour trouver de telles images illégales.
Interrogés sur leurs méthodes de modération, les fondateurs de Mage n’ont pas répondu plus amplement aux questions de 404 Media.
Des communautés qui “s’entraident”
En mars dernier, le Discord de Mage avait été suspendu pour avoir justement enfreint des règles d’utilisation. Mais il est désormais de retour, comptabilisant plus de 3 000 membres. On peut y trouver des “conseils” entre utilisateurs pour obtenir le meilleur résultat, allant de “comment grossir les seins ?” à “quel texte écrire pour que le sperme n’apparaisse que sur le visage ?”.
De plus, les générateurs d’images pornographiques par IA ne semblent pas trop se soucier des questions de consentement (dans leurs représentations), voire dans certains cas de l’âge légal, frôlant la limite du contenu pédopornographique.
Capture d’écran du Discord de Mage avec les différentes catégories “matures”.
La plateforme Reddit, qui bénéficie de règles plus souples sur les contenus “matures”, est aussi le lieu de nombreux partages de cette pornographie 2.0. Les créateurs mettent en avant leurs productions : plus le modèle est réaliste et facilement malléable pour convenir aux fantasmes des usagers, plus ils rencontrent du succès. Certains lancent même des Patreon, s’assurant un revenu régulier plus que raisonnable pour continuer leur travail.
Jouant avec la légalité, les utilisateurs multiplient les outils ; un modèle trouvé sur Civitai pourra être utilisé sur un autre logiciel de génération d’images peut-être moins regardant. La difficile traçabilité et la masse toujours plus grandissante de ce genre d’images générées rendent également les potentielles actions en justice caduques.
