Techno-autoritarisme et design persuasif : quels risques pour nos libertés ?

Notre ère numérique, marquée par l’omniprésence des technologies dans nos environnements, redessine les contours de nos sociétés à un rythme effréné et qui nous dépasse. Si ces outils offrent des opportunités d’efficacité et d’innovation, ils représentent également un risque croissant d’autoritarisme, notamment par le biais du design persuasif, utilisé pour orienter, voire manipuler, nos conduites.
Et c’est bien cette problématique qui me questionne depuis un moment.

Passionnée de design et d’éthique, j’observe l’impact de nos comportements dans nos usages et je me demande si notre rôle central d’être humain est en passe de devenir secondaire. Devenons-nous une sorte de conscience désincarnée qui, à travers le doom scrolling (cette action de scroller sans fin sur son écran), l’intelligence artificielle (comme ChatGPT) ou les outils d’assistance (tels que Siri ou Alexa), ne va plus concevoir mais seulement arbitrer ? Et si nous nous contentons d’arbitrer, peut-on vraiment rester souverains dans un monde où les coalitions gouvernementales, les médias et les grandes entreprises technologiques qu’on nomme désormais les Big Tech (anciennement GAFAM ¹ ) semblent prendre le dessus ?

Plus largement, et en raison de leur rapidité de propagation, ces phénomènes soulèvent une question centrale, aussi urgente qu’inquiétante : sommes-nous à l’aube d’un contrôle technologique global ?
Si tel est le cas, comment ces dérives peuvent-elles être contenues, ou au moins contrebalancées ?

1. Une montée en puissance du contrôle technologique

Ce que j’aime dans la définition de l’autoritarisme, c’est qu’elle comporte trois éléments. D’une part, on parle d’un gouvernement autoritaire. D’une autre, d’une personne autoritaire. Enfin, d’un système autoritaire. Et c’est dans ces trois entités qu’on comprend qu’ils agissent les uns sur les autres. En effet, une personne peut alimenter en conscience ou non un système autoritaire qui peut servir à un gouvernement.

Et c’est le cas du design persuasif, puisque le techno-autoritarisme s’appuie sur des technologies de pointe pour surveiller, contrôler et orienter les comportements, souvent au mépris des libertés individuelles. Donc, via nos usages et sans forcément nous en rendre compte, nous devenons des agents utiles des mécanismes d’asservissement numérique.

Nous devenons, de fait, des propagateurs et propagatrices de nouvelles, bonnes ou mauvaises, d’inconnus ou de notre entourage. En somme, nous exerçons un rôle social connu et reconnu par notre réseau, qui nous identifie comme pertinent sur un sujet X ou Y. Et notre réseau réagit. C’est donc une multitude d’attitudes et d’occurrences qui est générée par nos publications et notre engagement via ce design. Sauf qu’il n’y pas que les autres qui nous identifient. Il y a aussi l’algorithme, oui.

Le design persuasif comme outil de manipulation

Les interfaces numériques, conçues pour maximiser l’engagement, exploitent nos biais cognitifs. Comme l’explique Nir Eyal dans son ouvrage The Hook, nous sommes hameçonnés par des “triggers” (déclencheurs) externes ou internes (promotions, nouveaux followers, interactions, messages privés). Ces triggers ont pour but de faire réagir et ainsi faire entrer l’utilisateur et/ou l’utilisatrice dans une boucle de récompense que nous, personnes en charge de la conception de l’UX, avons pensé pour vous, sur nos maquettes. L’idée étant que vous intéragissiez au maximum, avec pertinence, sur l’interface. Puis, que vous laissiez un maximum d’informations derrière vous, qui serviront à toute une équipe d’analystes, du marketing au produit en passant par les devs pour vérifier, qualifier et quantifier l’utilité de chaque feature. Plus on gamifie, plus vous êtes susceptibles d’aller encore plus loin en laissant, au-delà de l’acceptation des cookies, votre numéro de téléphone, votre adresse postale, e-mail… Pour ce faire, quoi de mieux qu’un joli design tout mims avec les bonnes formes pour rendre l’interface addictive ? C’est en mêlant tout ça, et en faisant entrer l’utilisateurice dans une boucle de gratification et de notifications incessantes, que l’on capte votre attention et qu’on limite, de manière volontaire et biaisée, votre autonomie.
Le pire, je crois, c’est d’avoir sincèrement pensé que tout cela était juste pour faciliter la vie de l’utilisateurice. Parfois, je me sens mal de participer à une machine qui comporte de gros risques liberticides. Depuis deux ans, je me questionne vraiment sur l’impact de personnes qui créent des expériences en ligne, comme moi, et ce qu’on fait, finalement, de l’humanité. Et puis, pour l’avoir moi-même vécu, je constate que les réseaux sociaux nous font passer de victime à bourreau, puis de bourreau à victime, dans un triangle de Karpman infini... et c’est hélas le rôle que nous colle le design persuasif dans la dimension de l’autoritarisme en ligne, où nous devenons des soldats utiles de l’influence à grands coups d’opinions.
C’est pourquoi je prends ma plume et fais cet article à ce sujet, afin qu’ensemble, nous puissions éradiquer ce fléau qui grandit beaucoup trop vite.

Algorithmes et polarisation idéologique

Oui, les plateformes amplifient les contenus polarisants et enferment les individus dans des bulles idéologiques dans le but de renforcer les divisions politiques. Pourquoi ? Le reach, le clic, la conversion, la rétention de l’utilisateur sur l’application dans laquelle on retrouve toutes sortes de marketplace et d’adds. Un esprit fragilisé achète mieux, et beaucoup plus si le clic et le scroll deviennent frénétiques. Hélas, cela a pour effet de fragiliser la cohésion sociale, rendant les sociétés et les individus plus vulnérables à des régimes autoritaires. Saviez-vous qu’en moyenne, vous consultez votre smartphone entre 200 à 400 fois par jour ? Parfois même sans savoir pourquoi vous le faîtes. La peur de passer à côté d’une info ? Franchement, vivement la désintox’ car je le vois autour de moi.

Des gens qui se déchirent en ligne et se prennent la tête avec des personnes random sur des problématiques parfois franchement inutiles dans la résolution de nos existences. Je l’avoue, je me demande chaque jour comment sortir de ça, et j’ai été plus que choquée d’apprendre l’existence de « fermes à likes », soit des milliers de smartphones munis de bots éduqués à la polarisation de gouvernements comme des milices du net. Il est donc possible que GégéDu62 soit en fait un bot russo-malien (oui, oui), ou encore chinois, destinés à ce que vous détestiez votre prochain plutôt que vous cherchiez à le comprendre. Dans un autre temps, j’ai pu observer des tendances « spirituelles » sur TikTok ou encore Instagram, qui t’expliquent à grands coups de rituels comment orienter sa vie, ses amours, ses succès. Et les gens sont dans une telle recherche du sacré qu’ils en viennent à attribuer des fonctions divines, divinatoires et magiques à leur algorithme ou même à des influenceurs...

Il suffit de regarder le boom de contenus « spirituels » depuis le début du Covid pour voir que nous vivons dans une aliénation numérique sans précédent, et une forme de « chaos dans l’ordre », dénuée de sens logique, rationnel ou encore moral. De plus, nous nous retrouvons avec des experts de tout et rien, et il est tout à fait ok de passer d’un contenu triste à crever, puis une pub ciblée, puis super drôle, puis horrible, puis drôle, puis une pub ciblée, puis super triste dans une boucle infinie.

Comme sur une place du village, on peut voir deci delà des gens influencer quiconque s’arrête sur leur contenu par un scroll plus ou moins consenti. Et comme les Big Tech l’ont bien compris via leurs experts du hook, plus les émotions générées sont fortes (peur, tristesse et colère sont en pôle position), plus l’utilisateurice aura envie d’intéragir. Du coup, nous nous retrouvons dans un monde et un mode de pensée de plus en plus extrême et polarisé, où chacun et chacune aura envie de démontrer son identité numérique, à grands coups de like, j’adore, je soutiens, etc.

Et ça paie : la gratification est bien réelle puisque, selon son idéologie, on peut voir son nombre de followers augmenter d’un coup ou même se retrouver à obtenir des cadeaux voire de l’argent (comme sur TikTok). Tout cela serait ok s’il y avait de la substance derrière ; hélas, nous nous retrouvons dans une nomenclature algorithmique qui reflète, en pire, la société par nos actions. Ne vous demandez pas pourquoi un horrible personnage comme Nick Fuentes a des millions d’abonnés, que son compte a été réhabilité par Elon Musk, car oui : c’est typiquement ce genre d’homme qui fait tenir en haleine une population qui agira, toujours, avec les pleins pouvoirs sociétaux et orientera des hordes de gens, comme un faux prophète. “Your body, my choice, forever” : ce tweet provocateur de Nick Fuentes n’est pas qu’un ensemble de mots. Depuis cette publication, et le soutien d’un Elon Musk prêt à tout pour entrer au gouvernement états-unien de Trump, c’est +5 000 % de violences en ligne à l’attention des femmes, issues de minorités ou non, qui ont été enregistrées sur la plateforme X (anciennement Twitter). De quoi augmenter la polarisation en ligne, mais aussi permettre les violences IRL (In real life, dans la vie réelle), car la barrière s’effrite dans un autoritarisme bien réel et nos cerveaux en manque de dopamine, de plus en plus mous pour analyser et évaluer la valeur d’un message.

Surveillance systématique, en ligne et dans la vie

Bienvenue dans l’ère des restrictions des droits fondamentaux, où la censure algorithmique et la surveillance prédictive menacent directement la liberté d’expression et la vie privée ! Des régimes comme celui de la Chine utilisent des systèmes de reconnaissance faciale et de scoring social pour exercer un contrôle direct sur les citoyens. Les entreprises privées, quant à elles, collectent des données à des fins de profit, mais ouvrent également la voie à des abus potentiels. Si vous pensiez que la France y échappait, c’est hélas faux. Depuis 2021, La Quadrature du Net a entamé, aux côtés de collectifs de lutte contre la précarité, un travail de documentation et d’analyse des algorithmes de contrôle social utilisés au sein du système social français : c’est une véritable machine de gestion algorithmique des populations qui se met en place.

On parle de « scores de suspicion » pour prédire qui doit faire l’objet :

• d’un contrôle ;
• d’un profilage psychologique des chômeur·ses ;
• d’une estimation de leur qualité par un « score d’employabilité » ;
• d’une orientation automatisée des personnes au RSA (revenu de solidarité active) ;
• d’un « score de fragilité » pour trier les personnes âgées (la liste n’est pas exhaustive).

Imaginez donc : ce sont actuellement des pans entiers de l’accompagnement social qui sont automatisés, et cela à grands coups de consulting payés pour que les meilleurs experts tech puissent orienter qui passera sous contrôle. Cela fonctionnerait, selon moi, si la fragilité des organismes sociaux n’avait pas fait ses preuves. Dites-vous qu’en France, le taux de non-recours à certaines prestations dépasse 30 %. On parle donc d’un risque de précarité socio-économique et d’isolement des individus (qui ne bénéficient pas des aides ou des droits auxquels ils pourraient prétendre) bien réel. Entre honte et illectronisme, comment ces personnes peuvent-elles profiter sereinement du chemin de la réinsertion socio-économique ? Et est-il franchement démocratique de laisser tant de pouvoir aux administrations et leurs algorithmes sur le destin des individus ? Outrepassons la question morale et prospective, j’aimerais que l’on regarde ce que donne le « scoring social » là où il est instauré depuis plus longtemps.

Bye bye la France, cap sur la Chine, avec ce qui s’appelle là bas le « Sesame Credit ».
Sesame Credit est un système d’évaluation du crédit social individuel développé par Ant Financial Services Group, qui n’est autre qu’une filiale du groupe chinois Alibaba (exploitant des données liées à l’usage d’Internet, donc) et associé du… gouvernement chinois. Introduit le 28 janvier 2015, Sesame Credit est le premier du genre en Chine à utiliser un système de notation pour les utilisateurs individuels, en utilisant à la fois des informations en ligne et hors ligne afin de noter les citoyennes et les citoyens.

Ok, ça pourrait s’arrêter là et ne pas poser plus de problèmes que cela. Sauf que ça en pose. Ce score social, qui utilise les données d’Alibaba afin de calculer le score du consommateur, est utilisé pour classer les citoyens sur la base d’une variété de facteurs, dont un qui a attiré mon attention : la loyauté envers le gouvernement chinois. Mauvaise nouvelle pour la liberté d’expression, donc, et qui n’augure rien de bon pour les valeurs qui nous servent de devise « liberté, égalité, fraternité » si ce modèle venait à être appliqué avec force sur notre territoire.

Autre critère que le Sesame Credit prend en compte : la fidélité aux marques chinoises, à partir de ses interactions sur les médias sociaux et des achats effectués en ligne. Alors, je sais que c’est difficile à mettre en place en France vu l’état économique du moment, mais imaginez deux secondes si nous nous retrouvions dans une économie de marché qui mettrait en avant les marques des multimilliardaires exonérés de l’ISF (impôt sur la fortune) sur les réseaux sociaux, et qui vous donnerait des points si vous versiez votre argent aux grands groupes comme LVMH, ou augmenterait votre score social plus vous consommez du contenu du groupe Bolloré ? Déjà côté luxe, vous devriez en avoir les moyens, mais plus largement votre consommation deviendrait un levier de valorisation sociale officielle, comme les miles d’une Amex (American Express), à obtenir des faveurs qui vous écartent progressivement des non-nantis. En clair, un État qui, avec de l’évaluation socio-économique en ligne, vous mettrait dans tel ou tel district dystopique comme dans Hunger Games.

Et c’est le cas du Sesame Credit : avoir un score élevé permet un accès plus facile à des prêts, simplifie l’accès à l’emploi et donne priorité lors de démarches administratives. Un faible score quant à lui, ou simplement le fait d’être associé à quelqu’un avec un score faible, peut avoir une série de conséquences négatives. De fait, l’orientation de nos relations IRL serait basée sur celles en ligne, puisque notre entourage, à l’exemple des réseaux sociaux, aurait une incidence directe sur notre identité numérique symbolique et dans notre identité de la vie réelle. Aussi, les conséquences sont sérieuses via le Sesame Score : les personnes aux scores faibles voient la vitesse du débit internet réduite, l’accès à des offres d’emploi plus difficile, et des prêts ou des démarches administratives qui sont volontairement compliquées pour vous punir d’être un citoyen à la marge.

Et tout ça by design. Le système a été dénoncé comme un outil de surveillance de masse et de conformisme par des organisations spécialisées dans les droits de la personne depuis sa mise en place et semble donner des idées en termes de restriction des droits, même dans l’Hexagone.

Je me demande alors si nous arrivons à une époque où l’érosion du libre arbitre sera si forte que les décisions des individus seront uniquement influencées ou manipulées par des systèmes conçus pour orienter leurs comportements ?

2. Une technologie au service de la libération

Parlons un peu « positif » après l’exposition de toutes ces choses désastreuses. Face à ces dangers, la technologie peut également être un vecteur d’émancipation et de renforcement des libertés. Par la force des utilisateurs et du collectif, et à condition qu’elle soit utilisée de manière éthique et responsable. Ne serait-ce qu’entre 2015 et 2020, les réseaux sociaux sont devenus progressivement des plateformes de résistance et surtout de mise en avant de contenus servant de contre-pouvoirs. Lutte pour les droits des femmes, plateformes de résistance iranienne, palestinienne, ukrainienne, et rétablissement de réalités néo-coloniales, éducation populaire des réalités de vie de minorité de genre. Je ne compte plus le nombre de témoignages de réalités mises sous silence qui sont finalement sorties de terre, donnant de l’espoir à des populations hors circuit qui avaient, enfin, pour une fois, accès à la parole.

Mobilisation et justice sociale

Finalement aussi oppressifs qu’informatifs, les outils numériques sont et seront aussi là pour défendre les libertés, à condition de marcher main dans la main avec le droit national et international. Les réseaux sociaux, malgré leurs nombreuses imperfections, se sont vachement imposés comme des outils centraux de mobilisation et de justice sociale à l’échelle mondiale. Je pense notamment à des mouvements comme #MeToo, qui a brisé le silence autour des violences sexuelles, ou encore #BlackLivesMatter, qui a relancé le débat sur les injustices raciales et les violences policières. Ça montre comment ces plateformes donnent une voix à celles et ceux qui en sont privés dans les circuits médiatiques traditionnels. En permettant la diffusion massive de récits individuels et de preuves visuelles (photos, vidéos, témoignages), les réseaux sociaux ont rendu tangibles des problématiques souvent perçues comme lointaines ou abstraites au quotidien de ceux et celles qui ne subissent pas ces oppressions. Ils permettent aussi une organisation rapide et efficace : pétitions, levées de fonds, appels à manifester et campagnes de sensibilisation peuvent naître en quelques heures et mobiliser des millions de personnes à travers le monde.

Au-delà de la mobilisation, ces outils nous offrent une capacité unique à défier les structures de pouvoir en devenant des outils de résistance. Là où les institutions politiques ou médiatiques ont parfois des intérêts en jeu, les réseaux sociaux servent aussi d’espaces où des citoyens ordinaires peuvent interpeller directement des dirigeants, des entreprises ou des célébrités (chose qui n’existait pas il y a dix ans).

Aussi, le phénomène de viralité joue un rôle clé : un hashtag peut devenir un cri de ralliement international en quelques jours, un témoignage peut sensibiliser et provoquer des changements concrets, comme des réformes légales ou des sanctions contre des personnalités influentes. Je pense particulièrement à l’association StopFisha de mon amie Shanley Clemot McLaren, qui lutte contre les violences sexuelles en ligne et leurs impacts dans le réel, créée pendant le confinement. Elle occupe désormais une place au gouvernement et travaille pour la reconnaissance de ces oppressions en s’appuyant sur les lois transnationales.

Du coup, peut-on protéger sa vie privée via la technologie et l’éducation ?

Dans un monde où la surveillance numérique et la manipulation de l’information sont omniprésentes, les technologies de protection de la vie privée et l’accès universel à l’éducation numérique jouent un rôle complémentaire pour l’émancipation des citoyens. Je pense notamment à des outils comme Signal, Tor ou encore les VPN qui permettent de sécuriser les communications, de contourner la censure et d’échapper à des systèmes de surveillance qui menacent la liberté d’expression et la confidentialité. Cependant, faites attention : si vous déclarez vos revenus sur des sites gouvernementaux et d’aide sociale, désormais les VPN sont signalés dans l’interface et peuvent vous couper vos droits car vous serez perçu comme « résidant à l’étranger » via votre IP.

Parenthèse faite, je crois que si ces protections techniques s’associent à des initiatives éducatives et à des plateformes ouvertes (telles que Wikipédia et consorts) qui démocratisent l’accès au savoir et renforcent l’esprit critique face aux manipulations numériques, c’est banco. Je pense sincèrement que l’idéologie de l’open source doit revenir au centre et que nous sommes dans une époque où Aaron Swartz, qui défendait l’hacktivisme et le collaboratif, doit devenir une inspiration dans nos usages d’Internet et des réseaux sociaux. Ensemble, ces deux leviers offrent aux individus les moyens non seulement de protéger leurs données personnelles mais aussi de comprendre les dynamiques technologiques et politiques qui les entourent. Selon moi, c’est seulement en s’éduquant et en s’appropriant ces outils, tout en s’informant de l’impact de nos actions comme la manipulation étatique via les réseaux sociaux que nous, les citoyens et citoyennes, devenons mieux armés pour déceler les méfaits du techno-autoritarisme via le design persuasif. Donc comprendre les biais, résister à la désinformation et défendre les libertés fondamentales dans une société de plus en plus connectée est une condition sine qua non pour enrayer ces dynamiques liberticides et reconstruire un « lien en ligne commun ».

3. Régulations et initiatives éthiques

En 2024, les différents abus des dirigeants et fondateurs des Big Tech ont créé un paysage numérique où les abus liés à la collecte et à l’utilisation des données personnelles sont devenus monnaie courante. Heureusement, des avancées législatives et technologiques ouvrent la voie à une régulation plus éthique et à une lutte contre les dérives du design persuasif. Rien qu’en Europe, le RGPD (Règlement général sur la protection des données) a établi un cadre juridique strict pour limiter la collecte abusive de données et renforcer les droits des citoyens-utilisateurs, notamment en matière de consentement éclairé.

Ce modèle inspire d’autres régions du monde et s’inscrit notamment dans une dynamique plus large, portée par des initiatives comme le DSA (Digital Services Act), qui vise à responsabiliser les plateformes et surtout réduire les pratiques manipulatrices intégrées dans leurs interfaces via les évangelistes et faux prophètes des Big Tech. Ces législations s’accompagnent d’un effort croissant de la part d’entreprises et d’associations pour promouvoir un design respectueux des utilisateurs, cherchant à contrer des techniques visant à exploiter leur attention ou à biaiser leurs choix, comme les dark patterns. Ce mouvement est renforcé par les projets d’IA explicable, qui rendent les algorithmes plus transparents et accessibles, permettant non seulement aux individus de comprendre comment leurs données sont traitées, mais aussi de se protéger des mécanismes automatisés qui influencent leurs décisions. Ces nouvelles mises en conformité me font croire qu’en liant législation, innovation et sensibilisation, ces efforts ouvrent la voie à une technologie qui cherche à servir le bien commun en plaçant la souveraineté de l’utilisateur au centre.

Un enjeu philosophique et politique de contrôle et de liberté.

Finalement, le techno-autoritarisme n’est pas seulement une menace technologique, mais aussi un défi éthique et politique. L’histoire montre que toute innovation porte en elle des risques et des promesses. De fait, relever ce défi exige de la vigilance, une régulation proactive et un engagement collectif pour garantir que la technologie reste un outil au service de l’humain et non l’inverse.

Ce que j’observe dans notre environnement tech, c’est que plus nous nous polarisons comme la société, moins ça marche. Selon moi, il est évident que la co-création technologique est la voie essentielle pour façonner un futur numérique respectueux des libertés et des aspirations humaines, tenant compte de tout individu et des minorités.

Associer citoyens, chercheurs, développeurs et régulateurs permet de concevoir des outils véritablement centrés sur l’humain, en intégrant une diversité de perspectives et en garantissant une utilisation éthique et équitable de la technologie. Cependant, ces démarches ne peuvent être dissociées des enjeux philosophiques et politiques qu’elles soulèvent. Et vraiment, je pense que le débat sur le rôle de la technologie dépasse le cadre technique. Il interroge les fondements de la société que nous voulons construire. Cela me fait d’ailleurs penser à l’Aréopage de l’Antiquité, lieu de jugement, mais aussi lieu où l’on venait débattre et convaincre. En clair, faire société entre croyants, scientifiques, stoïciens, juges. Comme à cette époque. Sans tourner au ridicule les uns et les autres, mais dans un challenge intellectuel, et loin d’être désacralisé comme la venue de Paul de Tarse à l’Aréopage, venu témoigner et convaincre dans ce lieu parmi cette population diversifiée, où la noblesse de l’effort de consensus argumenté. J’en appelle à une prise de conscience émotionnelle et philosophique.
Libération ou oppression, autonomie ou manipulation : ce choix est entre nos mains et il exige un engagement commun pour façonner une technologie qui sert l’humanité plutôt qu’elle ne la domine. En assumant cette responsabilité collective, nous pouvons décider si elle deviendra un instrument d’émancipation et de justice sociale ou si elle renforcera les dynamiques d’oppression et de contrôle. Ce choix, crucial pour notre époque, nécessite un engagement et une vision à long terme pour mettre la technologie au service du bien et des libertés fondamentales, quitte, peut-être, à éteindre nos smartphones.