Surveillance numérique
Ils ne lisent pas vos messages. Ils n'en ont pas besoin. Vos comportements suffisent.
En 2019, Shoshana Zuboff publiait L'Âge du capitalisme de surveillance et forgeait un concept : un régime économique fondé non plus sur la vente de biens, mais sur la capture et la vente de données comportementales humaines à des fins de prédiction.
Google, Meta, Amazon ne sont pas des entreprises technologiques qui se financent par la publicité. Ce sont des entreprises de surveillance qui financent leurs services par la vente de prédictions comportementales. Chaque clic, chaque pause sur une image, chaque trajet est enregistré, agrégé, modélisé.
« Vous n'êtes pas surveillé parce que vous êtes suspect. Vous êtes surveillé parce que vous êtes rentable. »
Dans le même esprit : Souveraineté numérique · Une éthique numérique
↑ Sommaire
Score social et notation
La Chine a construit le laboratoire. Les instruments, eux, existent partout.
Le système de crédit social chinois est devenu, dans l'imaginaire occidental, l'archétype dystopique du contrôle numérique. La réalité est plus nuancée et le système se retrouve aussi ailleurs.
Dans nos démocraties libérales, les mécanismes de notation numérique prolifèrent. Les scores de crédit, les notes Uber, les évaluations Airbnb : tous sont des formes de notation algorithmique qui affectent l'accès à des ressources. Frank Pasquale parle de « fiefs numériques » où des décisions aux conséquences concrètes sont prises par des systèmes dont les critères échappent à tout contrôle démocratique.
« Une société qui note ses citoyens en temps réel ne les punit pas. Elle les trie. »
Dans le même esprit : Discrimination algorithmique · Surveillance numérique
↑ Sommaire
Discrimination algorithmique
Un algorithme peut être raciste sans que personne ne l'ait programmé pour l'être.
En 2016, ProPublica a passé au crible l'outil COMPAS, utilisé dans plusieurs États américains pour évaluer le risque de récidive. Résultat : le système sous-estimait le risque de récidive des prévenus blancs et le surestimait pour les prévenus noirs. Personne n'avait programmé le racisme. L'algorithme avait appris à discriminer parce que les données reflétaient des décennies de discrimination.
La chercheuse Joy Buolamwini a montré que les systèmes de reconnaissance faciale commerciaux avaient un taux d'erreur de 35 % sur les femmes à peau sombre, contre 1 % sur les hommes à peau claire.
« Un algorithme sans conscience peut faire plus de dégâts qu'un être humain malveillant : il discrimine sans fatigue. »
Dans le même esprit : IA et justice · Score social et notation
↑ Sommaire
IA et justice
Confier une décision judiciaire à un algorithme, c'est condamner sans avoir à expliquer pourquoi.
La justice est fondée sur un principe : toute décision doit être motivée, compréhensible, contestable. Lorsqu'une décision est fortement influencée par un algorithme, ce principe entre en tension directe avec la logique des systèmes d'IA, souvent opaques.
En Europe, l'AI Act (2024) classe les usages de l'IA dans le domaine judiciaire comme « à haut risque » et impose des exigences de transparence et de supervision humaine. C'est une avancée. Mais l'application reste progressive.
« Un algorithme peut calculer le risque. Mais rendre justice, c'est autre chose que calculer. »
Dans le même esprit : Discrimination algorithmique · Surveillance numérique
↑ Sommaire
Souveraineté numérique
Qui contrôle les données, les serveurs et les modèles contrôle aussi une partie de la pensée collective.
En 2013, les révélations d'Edward Snowden ont mis en lumière ce que beaucoup savaient confusément : l'infrastructure numérique mondiale n'est pas neutre. Elle est localisée, physiquement et politiquement.
La souveraineté numérique désigne la capacité d'un État, d'une organisation ou d'un individu à maîtriser ses données, ses outils et ses dépendances technologiques. Pour les États européens, l'essentiel des services numériques repose sur des infrastructures américaines ou chinoises.
« Ce n'est pas celui qui parle qui décide. C'est celui qui contrôle le canal de diffusion. »
Dans le même esprit : Surveillance numérique · IA et propagande politique
↑ Sommaire
Usage militaire de l'IA
Pour la première fois dans l'histoire, des armes peuvent décider de tuer sans intervention humaine.
Le 27 mars 2020, en Libye, un drone Kargu-2 turc a, selon un rapport du panel d'experts de l'ONU, traqué et attaqué des combattants ennemis de manière autonome, sans instruction humaine en temps réel. Si ce rapport est exact, c'est la première fois documentée qu'une arme létale autonome a pris une décision de tir sans qu'un être humain appuie sur un bouton.
La question éthique centrale est celle du contrôle humain. Les conventions de Genève supposent une responsabilité humaine identifiable pour chaque acte de guerre. Lorsque la décision est prise par un algorithme, cette responsabilité se fragmente et disparaît.
« Une arme qui décide seule de tuer ne pose pas une question technique. Elle pose une question de civilisation. »
Dans le même esprit : Souveraineté numérique · IA et justice
↑ Sommaire
IA et propagande politique
Produire des millions de faux messages personnalisés coûte désormais quelques dollars et quelques secondes.
En 2016, l'affaire Cambridge Analytica révèle comment les données de 87 millions d'utilisateurs Facebook ont pu être utilisées pour cibler des électeurs américains. Dix ans plus tard, ce qui nécessitait des moyens importants est devenu accessible à n'importe quelle organisation.
L'IA générative a transformé la propagande de deux façons : elle en a réduit le coût marginal à presque zéro, et elle en a amélioré la crédibilité. Des chercheurs de Princeton (2023) ont montré que des messages politiques générés par GPT-4 étaient évalués comme plus persuasifs que des messages rédigés par des humains.
« Quand chaque électeur reçoit une réalité sur mesure, il n'y a plus d'opinion publique. Il y a des marchés électoraux. »
Dans le même esprit : Fake news et désinformation · Bulles informationnelles
↑ Sommaire