Il est peut-être temps de réfléchir à l’empreinte carbone de l’intelligence artificielle

L’univers connu est sous-tendu par quelques lois fondamentales, qui fixent dans l’airain mathématique certaines limites au comportement de la matière dans l’espace et le temps. Ainsi, en vertu du premier principe de la thermodynamique, toute transformation implique une conservation de l’énergie, soit par dissipation thermique (votre processeur qui chauffe quand vous lui en demandez trop), soit par transfert mécanique ou travail (vous poussez sur votre jambe, les roues de la trottinette roulent). Bref, la première loi de la thermodynamique nous explique qu’on n’a rien sans rien. Et c’est pour cette raison qu’on a besoin de faire disparaître des trucs (du bois, du pétrole, des atomes) pour se chauffer, s’éclairer et recharger nos téléphones portables.

Or, ces dernières années, un nouveau secteur est devenu particulièrement énergivore sans que l’on s’en rende vraiment compte. Non, pas les cryptomonnaies – même si le minage du seul bitcoin consomme autant d’énergie en un an que le Danemark. Ce secteur, c’est l’intelligence artificielle, plus précisément l’apprentissage machine (machine learning). Si la donnée est le pétrole de notre époque, les algorithmes chargés de les collecter et les analyser en sont les raffineries. Et à en croire une étude parue début juin et relayée par le MIT Technology Review, la métaphore ne s’arrête malheureusement pas là : comme l’industrie pétrolière, celle du big data pollue. Beaucoup.

Le traitement du langage naturel, petit prodige de l’IA

L’étude des chercheurs de l’université du Massachusetts est l’une des premières à tenter d’évaluer l’empreinte carbone des outils d’analyse de données qu’on trouve désormais au cœur même de l’économie dite “numérique”. Plus précisément, les chercheurs se sont penchés sur quatre modèles de traitement automatique du langage naturel (natural language processing, ou NLP), la sous-division de la recherche algorithmique qui apprend aux machines à lire, comprendre et générer du langage humain.

Ces dernières années, détaille le MIT Technology Review, le secteur a progressé comme aucun autre dans le champ de bataille de l’IA, au point d’en devenir parfois flippant. Le 14 février dernier, l’organisation OpenAI annonçait par exemple qu’elle ne mettrait pas (tout de suite) à disposition du grand public son dernier modèle, GPT-2, de peur que quelqu’un l’utilise pour générer des fake news ultraréalistes à la chaîne. Pour en arriver là, ce qui compte, c’est la qualité de l’ensemble de données utilisé pour entraîner le modèle… Et les heures d’entraînement sur des machines extrêmement puissantes, donc énergivores. Et voilà comment la recherche en IA se découvre une empreinte carbone.

Cinq fois plus d’équivalent CO2 qu’une voiture

Pour estimer cette empreinte carbone, les chercheurs ont sélectionné les quatre modèles les plus sophistiqués du secteur : GPT-2, donc, mais aussi BERT, ELMo et Transformer. Pour contourner leurs limites techniques, ils ont entraîné chaque algorithme sur un seul processeur graphique (GPU) – c’est tout à fait possible, mais ça limite énormément les applications – pendant une journée pour en déduire leur consommation électrique. Il suffit ensuite d’extrapoler le nombre en fonction des heures d’entraînement listées par les différents concepteurs d’algorithmes. (Soit plusieurs mois pour GPT-2, branché sur plus d’une centaine de GPUs.)

Le nombre obtenu a finalement été converti en poids de dioxyde de carbone (CO2) généré durant toute la phase d’entraînement, ce qui permet aux chercheurs d’affirmer que l’entraînement d’IA peut générer environ 282 tonnes d’équivalent CO2 (l’ensemble des gaz émis pendant un processus de fabrication, exprimé en une seule unité). Soit cinq fois plus qu’une voiture américaine durant tout son cycle de vie.

Pire, si les coûts environnementaux augmentent proportionnellement à la taille du modèle, ils explosent lors de la phase finale d’ajustement, lorsque les chercheurs modifient précisément quelques variables pour parvenir au meilleur taux d’exactitude. Sans cette étape finale, explique le MIT Technology Review, le modèle le plus énergivore, BERT, ne générerait “que” 635 kg d’équivalent dioxyde de carbone. Le ratio coût/bénéfice de cette dernière étape d’entraînement est donc terrible pour l’environnement.

Vers une autre approche de l’apprentissage machine

Ultime mauvaise nouvelle : l’apprentissage machine ne marche pas exactement comme décrit dans cette expérience idéale de consommation énergétique. Le développement d’un modèle inédit capable de bouleverser l’état de l’art de la recherche repose sur des associations de modèles existants et entièrement nouveaux, ce qui démultiplie les temps d’entraînement et, bingo, ce qui augmente l’addition énergétique. Selon un autre modèle prédictif développé par les chercheurs, un entraînement d’algorithme typique des standards actuels suppose de faire collaborer 4 789 modèles pendant six mois.

Outre l’intérêt de disposer d’une première estimation du coût environnemental de l’IA, le travail relevé par le MIT Technology Review permet aussi de mettre en perspective l’approche utilisée par les grands acteurs de l’IA. À l’heure actuelle, l’efficacité énergétique est loin d’être au cœur des préoccupations des architectes algorithmiques, qui préfèrent augmenter la taille et la puissance pour parvenir à leurs résultats. Logique, dans un contexte d’abondance des ressources financières et informatiques.

Et pourtant, concluent les chercheurs, cette tendance ne peut pas durer. Certes, de gigantesques réseaux de neurones entraînés sur des ensembles de données tout aussi colossaux nous rapprochent peut-être de l’intelligence artificielle dite “générale” (capable, notamment, de sens commun), mais une autre architecture, moins énergivore et plus ergonomique, est possible. Nous vivons en permanence au contact d’un appareil léger, peu énergivore et capable d’une phénoménale puissance de calcul. Un appareil dont nous ne connaissons encore presque rien de la structure, à part peut-être son infinie complexité. Cet appareil, c’est notre cerveau, et l’industrie ferait bien de s’en inspirer.