Concentration extrême du pouvoir

Introduction

Le pouvoir est déjà concentré aujourd’hui : plus de 800 millions de personnes vivent avec moins de 3 dollars par jour, les trois hommes les plus riches du monde possèdent une fortune d’environ un billion de dollars, et près de six milliards de personnes vivent dans des pays sans élections libres et équitables.

C’est un problème en soi. Il y a un certain niveau de distribution du pouvoir toutefois : les inégalités de revenus à l’échelle mondiale sont en baisse, plus de deux milliards de personnes vivent dans des démocraties électorales, aucun pays ne génère plus d’un quart du PIB, et aucune entreprise n’en représente ne serait-ce que 1 %.⁠⁠1

Mais à l’avenir, l’IA avancée pourrait permettre une concentration du pouvoir bien plus extrême que tout ce que nous avons connu jusqu’à présent.

Beaucoup pensent que, d’ici la prochaine décennie, les principaux projets d’IA seront capables de faire fonctionner des millions de systèmes d’IA superintelligents pensant plusieurs fois plus vite que les humains. Ces systèmes pourraient remplacer les travailleurs humains, réduisant ainsi considérablement le pouvoir économique et politique de la grande majorité de la population ; et, à moins de prendre des mesures pour l’empêcher, ils pourraient finir par être contrôlés par un nombre infime de personnes, sans véritable supervision. Une fois ces systèmes déployés dans l’économie, le gouvernement et l’armée, les objectifs pour lesquels ils ont été conçus, quels qu’ils soient, deviendront la force principale qui façonnera l’avenir. Si ces objectifs sont choisis par quelques-uns, une poignée d’individus pourrait alors se retrouver avec le pouvoir de prendre toutes les décisions importantes concernant l’avenir.⁠⁠2

Résumé

Nous pensons qu’il s’agit de l’un des problèmes les plus pressants au monde, malgré la grande incertitude qui entoure l’ampleur du problème et les solutions potentielles.

Notre vision globale

Recommandé — priorité absolue

Nous pensons qu’il s’agit de l’un des problèmes les plus pressants au monde.

Ampleur

L’ampleur du problème semble potentiellement très importante :

• Certains des mécanismes alimentant le risque de concentration du pouvoir facilitée par l’IA semblent assez probables (comme le remplacement des travailleurs humains par l’IA et les boucles de rétroaction positive dans le développement de l’IA, qui donnent à certains acteurs une avance considérable en matière de capacités).⁠⁠3
• Le problème que nous considérons comme le plus grave est la prise de pouvoir par une IA en quête de pouvoir. Certaines des dynamiques qui pourraient permettre à des systèmes d’IA mal-alignés de s’emparer du pouvoir pourraient également permettre aux humains contrôlant des systèmes d’IA de le faire.⁠⁠4
• Une concentration du pouvoir facilitée par l’IA signifierait la dépossession politique de presque tous les êtres humains. Pour la grande majorité des gens, cela signifierait ne plus avoir véritablement leur mot à dire dans les décisions qui façonnent leur vie et leur avenir. Sans contrepouvoirs, ceux qui détiennent le pouvoir pourraient faire des choix extrêmement néfastes — l’histoire nous montre qu’un pouvoir sans contrôle peut mener à la tyrannie et à des atrocités.
• Ce qui est encore plus inquiétant, c’est que la concentration du pouvoir facilitée par l’IA serait probablement auto-entretenue : ceux qui détiennent le pouvoir chercheront sans doute à s’enraciner davantage et pourraient utiliser leur avantage en matière d’IA pour consolider leur régime, de sorte que tout préjudice pourrait s’avérer très durable.

Caractère négligé

Beaucoup de personnes travaillent sur la concentration du pouvoir en général, au sein des gouvernements, du système juridique, du monde universitaire et de la société civile. Mais très peu se concentrent spécifiquement sur le risque de concentration du pouvoir facilitée par l’IA. Nous connaissons quelques dizaines de personnes au sein d’une poignée d’organisations qui s’efforcent de réduire ce risque, et encore moins qui s’y consacrent à plein temps.

Potentiel d’amélioration

La prévention de la concentration du pouvoir facilitée par l’IA est tellement négligée qu’il est encore difficile de dire dans quelle mesure elle a le potentiel de s’améliorer. Nous ne savons pas encore ce qui fonctionne, car très peu de personnes ont tenté quoi que ce soit.

Cependant, il y a plusieurs raisons d’être optimiste à ce sujet :

• Il est dans l’intérêt de presque tout le monde d’empêcher la concentration du pouvoir facilitée par l’IA — y compris celui des personnes les plus puissantes d’aujourd’hui, qui pourraient sinon perdre face à leurs rivaux.
• Même si la réflexion sur ce problème n’en est qu’à ses débuts, il existe déjà des interventions concrètes qui semblent prometteuses. Par exemple, des mesures d’atténuation techniques qui empêchent les individus d’entraîner une IA pour servir leurs propres intérêts, comme les audits d’alignement et la sécurité de l’information interne, semblent tout à fait avoir le potentiel de s’améliorer.

D’un autre côté :

• Les forces structurelles poussant à la concentration du pouvoir — le remplacement des travailleurs humains par l’IA et les boucles de rétroaction creusant d’importants écarts de capacités — pourraient s’avérer très puissantes et difficiles à infléchir.
• Même s’il est dans l’intérêt de la plupart des gens d’empêcher la concentration du pouvoir facilitée par l’IA, leur capacité à comprendre la situation et à agir dans leur propre intérêt pourrait s’éroder si les progrès de l’IA sont très rapides, si les dynamiques concurrentielles dégradent l’environnement épistémique, ou si des individus en quête de pouvoir mènent des actions hostiles pour dissimuler délibérément ce qui se passe. Les personnes en quête de pouvoir occupant des postes d’autorité pourraient également être en mesure de supprimer purement et simplement les mesures d’atténuation instaurées par d’autres pour limiter cette concentration du pouvoir, lorsque celles-ci deviennent gênantes.

En résumé : on ne sait pas clairement s’il est facile de résoudre le problème de la concentration du pouvoir facilitée par l’IA — mais il n’est pas clairement impossible à résoudre, il existe déjà des choses à faire ayant le potentiel de s’améliorer, et c’est un problème suffisamment important et négligé pour que des efforts bien plus conséquents semblent justifiés. En fait, notre opinion actuelle est qu’il figure parmi les problèmes les plus pressants au monde.

Comme nous n’en sommes qu’aux prémices et que des plans mal exécutés en la matière pourraient se retourner contre nous, nous pensons qu’à l’heure actuelle, la plupart des gens devraient garder le risque à l’esprit plutôt que d’y travailler directement, mais si vous êtes bien placé pour travailler sur ce problème, c’est très probablement votre meilleure option.

Profondeur du profil

Exploratoire

Il s’agit de l’un des nombreux profils que nous avons rédigés pour aider les gens à trouver les problèmes les plus pressants qu’ils peuvent résoudre grâce à leur carrière. En savoir plus sur la manière dont nous comparons différents problèmes et voir comment ce problème se situe par rapport aux autres que nous avons examinés jusqu’à présent.

Pourquoi la concentration du pouvoir facilitée par l’IA pourrait-elle être un problème pressant ?

Les principales raisons pour lesquelles nous pensons que la concentration du pouvoir facilitée par l’IA est un problème particulièrement pressant sont les suivantes :

1. Des niveaux d’automatisation sans précédent dans l’histoire pourraient concentrer le pouvoir de faire des choses, en réduisant la valeur du travail humain, en dotant de petits groupes d’une importante main-d’œuvre IA, et en offrant potentiellement à un développeur d’IA un avantage considérable en matière de capacités (si l’automatisation du développement de l’IA entraîne des progrès incontrôlables de l’IA).
2. Cela pourrait conduire à une concentration sans précédent du pouvoir politique. Un petit nombre de personnes pourrait utiliser une immense main-d’œuvre IA pour prendre le contrôle des institutions existantes, ou les rendre obsolètes en amassant d’énormes richesses.
3. La concentration du pouvoir facilitée par l’IA pourrait causer des dommages énormes et durables, en privant la plupart des gens de leur pouvoir politique et en permettant des abus de pouvoir à grande échelle.
4. Il existe des moyens de réduire ce risque, mais très peu de personnes y travaillent.

Dans cette section, nous passerons en revue chacun de ces points tour à tour, mais nous présenterons d’abord un scénario illustratif dans lequel le pouvoir devient extrêmement concentré en raison d’une IA avancée. Ce scénario est très stylisé et les choses pourraient se dérouler de bien d’autres manières, mais il donne une idée plus concrète du type de situation qui nous inquiète.

Un scénario de concentration du pouvoir facilitée par l’IA

Notez que ce scénario, ainsi que les entreprises et institutions qui y figurent, sont fictifs. Nous essayons d’illustrer un cas hypothétique et n’avons pas d’acteurs réels particuliers à l’esprit.

En 2029, une entreprise américaine d’IA appelée Apex AI réalise une avancée décisive : son IA est désormais capable de mener des recherches en IA aussi bien que les scientifiques humains. Cela conduit à une explosion d’intelligence, où l’IA améliorant l’IA améliorant l’IA entraîne des gains de capacités très rapides. Mais ses concurrents — y compris en Chine — sont sur ses talons et déclenchent leurs propres explosions d’intelligence en l’espace de quelques mois. Craignant que la Chine ne soit bientôt en mesure de tirer parti de sa base industrielle pour dépasser les États-Unis, le gouvernement américain crée le Projet Fortress — regroupant tout le développement américain en matière d’IA sous l’égide d’un Conseil de contrôle classifié composé de représentants du gouvernement et de dirigeants de laboratoires. Apex tire parti de son avance initiale pour s’assurer trois des neuf sièges du conseil et fournit l’infrastructure centrale de ce dernier : systèmes de sécurité, analyse de données et conseillers en IA.

En 2032, les entreprises d’IA génèrent la majorité des recettes fiscales fédérales, les systèmes d’IA ayant automatisé les emplois traditionnels. Le chômage augmente. Le Conseil de contrôle dirige désormais des centaines de millions de travailleurs de l’IA, contrôle la majeure partie de l’assiette fiscale et prend les décisions les plus importantes concernant les achats militaires en matière d’IA, les investissements dans les infrastructures et la redistribution des revenus. Seules les personnes ayant des liens directs avec le Conseil ou les grandes entreprises d’IA ont accès aux IA outils les plus avancés, tandis que la plupart des citoyens interagissent avec des versions grand public limitées. Lorsque le président propose de bloquer la fusion d’Apex avec Paradox AI (qui créerait une entité combinée contrôlant 60 % de la puissance de calcul utilisée pour entraîner et faire fonctionner les systèmes d’IA américains), les modèles économiques générés par le Conseil mettent en garde contre un dépassement par la Chine et un effondrement économique si cette mesure est appliquée. La proposition est discrètement abandonnée. Les systèmes d’IA du Conseil — qui fonctionnent tous sur l’architecture d’Apex — favorisent subtilement les intérêts d’Apex, mais les traces techniques sont trop infimes pour être détectées par des modèles moins avancés. De plus, la plupart des gens adhèrent à l’objectif de battre la Chine, et lorsqu’ils interrogent leurs conseillers IA personnels (généralement des versions moins avancées des modèles Paradox ou Apex) au sujet de la fusion, ceux-ci affirment de manière convaincante qu’elle sert l’intérêt national.

En 2035, l’économie américaine a triplé, tandis que celle des autres nations a stagné. Les décisions du projet Fortress façonnent désormais les marchés mondiaux : quelles technologies sont développées, quelles ressources sont allouées, quels pays bénéficient d’une assistance de l’IA. Les dirigeants d’Apex et de Paradox consolident progressivement leur influence : leurs systèmes d’IA rédigent la plupart des propositions, leurs modèles évaluent les options, leurs protocoles de sécurité déterminent quelles informations parviennent aux autres membres du Conseil. Tous les principaux canaux d’information — des conseillers IA aux analyses de l’actualité en passant par les briefings gouvernementaux — étant filtrés par des systèmes qu’ils contrôlent, il devient presque impossible pour quiconque d’avoir une vision impartiale de la concentration du pouvoir en cours. Tout ce que les gens lisent sur les réseaux sociaux ou entendent aux informations semble conforter l’idée qu’il n’y a pas grand-chose à craindre.

Les dirigeants sont suffisamment puissants pour prendre unilatéralement le contrôle du Conseil et dicter leurs conditions aux autres nations, mais ils n’en ont pas besoin. À travers des milliers de petites incitations — une évaluation des risques par-ci, une recommandation stratégique par-là —, leurs systèmes d’IA veillent à ce que chaque décision majeure s’aligne sur leur vision de l’avenir de l’humanité.

L’automatisation pourrait concentrer le pouvoir de faire des choses

Nous avons toujours utilisé la technologie pour automatiser une partie du travail humain : les moulins à eau ont remplacé la mouture manuelle, l’imprimerie a remplacé les scribes, et la machine à filer a remplacé le filage à la main. Cette automatisation a eu des impacts sur la répartition du pouvoir, dont certains ont été significatifs — l’imprimerie a contribué à transférer le pouvoir de l’Église vers les marchands des villes ; et les machines industrielles ont transféré le pouvoir des propriétaires terriens vers les capitalistes et vers l’industrialisation des pays.

Ce qui est différent avec l’IA, c’est qu’elle a le potentiel d’automatiser de nombreux types de travail humain à la fois. Les meilleurs chercheurs en IA estiment qu’il y a 50 % de chances que l’IA puisse automatiser toutes les tâches humaines d’ici 2047 — bien que beaucoup pensent que cela pourrait se produire bien plus tôt (plusieurs PDG d’entreprises d’IA prévoient l’arrivée de l’IAG dans les toutes prochaines années) ou bien plus tard (la même enquête menée auprès des meilleurs chercheurs en IA a estimé à 50 % la probabilité que l’IA automatise toutes les professions humaines d’ici 2116). Même si l’automatisation complète du travail humain prend beaucoup de temps ou ne se produit jamais, il est clair que l’IA pourrait automatiser une grande partie du travail humain — et compte tenu de la rapidité à laquelle les capacités progressent actuellement, cela pourrait commencer à se produire bientôt.⁠⁠5

Cela pourrait avoir des implications majeures sur la répartition du pouvoir :

• Par défaut, les travailleurs recevront moins d’argent, tandis que les détenteurs de capital en recevront davantage. L’automatisation pourrait réduire la valeur du travail humain, entraînant dans des scénarios extrêmes un effondrement indéfini des salaires à de très bas niveaux. ⁠6 Cela augmenterait la part du gâteau revenant au capital par rapport au travail, et les détenteurs de capital pourraient acquérir un pouvoir encore plus disproportionné qu’aujourd’hui.
• Les petits groupes seront capables d’en faire plus. À l’heure actuelle, les grands projets nécessitent une importante main-d’œuvre humaine. À son apogée, le projet Manhattan employait 130 000 personnes. Il faut 1,5 million de personnes rien que pour faire fonctionner Amazon. À mesure que l’IA gagnera en capacités, il deviendra possible de réaliser de grandes choses sans vastes équipes humaines — et sans le besoin qui en découle de les convaincre que ce que vous faites est bien, ou du moins acceptable — en utilisant à la place de la main-d’œuvre IA.
  • Cela permettrait déjà à de petits groupes d’accomplir davantage. Mais l’effet sera encore plus fort car l’utilisation de l’IA pour accomplir des tâches ne donnera pas les mêmes moyens à tout le monde : elle avantagera particulièrement ceux qui ont accès aux meilleurs systèmes d’IA. Les entreprises déploient déjà certains modèles sans les rendre publics, et si les capacités deviennent plus dangereuses ou si le marché devient moins concurrentiel, l’accès aux toutes meilleures capacités pourrait en effet devenir très limité.
• Un emballement des progrès de l’automatisation du développement de l’IA pourrait conférer à un développeur un avantage considérable en termes de capacités. Le premier projet à automatiser la R&D en IA pourrait déclencher une explosion d’intelligence, où des systèmes d’IA améliorant d’autres systèmes d’IA, qui en améliorent d’autres à leur tour, créent une boucle de rétroaction positive, ce qui signifie que leurs capacités en matière d’IA peuvent rapidement distancer celles de tous les autres. Les concurrents pourraient suivre avec leurs propres explosions d’intelligence, mais s’ils sont suffisamment loin derrière le numéro un dès le départ ou si le bond de capacités initial du numéro un est suffisamment colossal, une seule entreprise pourrait être en mesure de consolider un avantage durable.

Si ces dynamiques sont suffisamment fortes, l’essentiel du pouvoir permettant de gagner de l’argent et de faire des choses pourrait se retrouver entre les mains des quelques organisations (entreprises d’IA⁠⁠7 ou gouvernements⁠⁠8) qui ont accès aux meilleurs systèmes d’IA — et donc à d’énormes quantités de main-d’œuvre intelligente qu’elles peuvent utiliser à n’importe quelle fin.

De plus, au sein de ces organisations, de plus en plus d’employés pourraient être remplacés par des systèmes d’IA, de sorte qu’un très petit nombre de personnes exercerait un pouvoir considérable.⁠⁠9

Il existe de nombreuses autres voies possibles, et il n’est pas inéluctable que l’IA conduise à ce type de concentration du pouvoir. Peut-être observerons-nous un glissement plus marqué d’un pré-entraînement coûteux vers une mise à l’échelle de l’inférence plus accessible, déclenchant une multiplication des entreprises de pointe et mettant des IA tout aussi puissantes à la portée d’un plus grand nombre. Il se peut qu’il n’y ait aucune explosion d’intelligence, ou qu’elle s’essouffle rapidement, permettant aux retardataires de combler leur retard. Si la concurrence commerciale reste forte, les consommateurs auront accès à des modèles de plus en plus intelligents, ce qui pourrait niveler les écarts de capacités entre les humains et favoriser un plus grand égalitarisme. L’IA pourrait permettre une démocratie beaucoup plus directe en facilitant l’agrégation des préférences, ainsi qu’une plus grande transparence. Et ainsi de suite (plus de détails à ce sujet ci-dessous).

Il existe donc des forces qui s’opposent à la concentration du pouvoir, ainsi que des forces qui la favorisent. Il est tout à fait possible que la société s’adapte naturellement à ces changements et parvienne à se défendre contre la concentration du pouvoir facilitée par l’IA. Mais compte tenu de la vitesse que pourraient atteindre les progrès de l’IA, il existe un risque réel que nous n’ayons pas assez de temps pour nous adapter.

Cela pourrait conduire à une concentration sans précédent du pouvoir politique

Nous pourrions donc nous retrouver dans une situation où l’essentiel du pouvoir de gagner de l’argent et de faire des choses serait entre les mains d’une minorité.

Ce pouvoir pourrait être adéquatement limité par les institutions et les lois existantes, de sorte que l’influence sur les décisions importantes concernant l’avenir reste distribuée. Mais il n’est pas difficile d’imaginer que d’énormes avantages en termes de capacités pour certains acteurs et l’érosion de la valeur de l’essentiel du travail humain pourraient saper nos contre-pouvoirs actuels, qui ont été conçus pour des niveaux de capacités beaucoup plus équilibrés dans un monde reposant sur le travail humain.

Mais comment cela se passerait-il concrètement ? Les personnes qui détiennent le pouvoir aujourd’hui se battront bec et ongles pour le conserver, et le simple fait de disposer d’une IA très performante ne vous place pas automatiquement à la tête des institutions clés.

Nous pensons que le pouvoir pourrait devenir extrêmement concentré par une combinaison de :

• Prises de pouvoir facilitées par l’IA, où des acteurs utilisent l’IA pour prendre le contrôle d’institutions existantes
• Forces économiques, qui pourraient rendre certains acteurs si riches qu’il leur serait facile d’influencer ou de contourner les institutions existantes
• Interférence épistémique, où la capacité de la plupart des individus à comprendre ce qui se passe et à se coordonner pour défendre leurs intérêts s’érode

Les experts que nous avons interrogés ne s’accordent pas pour déterminer laquelle de ces dynamiques est la plus importante. S’il est possible qu’une seule de ces dynamiques conduise à une concentration du pouvoir facilitée par l’IA, nous sommes particulièrement préoccupés par leur combinaison, car elles pourraient se renforcer mutuellement :

• La mainmise sur les principales entreprises ou les gouvernements faciliterait l’accumulation de richesses et le contrôle des flux d’information.
• Plus la richesse se concentre, plus il devient facile pour les plus riches d’acquérir une influence politique et de se positionner pour une prise de pouvoir.
• Plus la capacité des individus à comprendre et à se coordonner pour défendre leurs intérêts est compromise, plus il devient facile pour des acteurs puissants d’amasser des richesses et de prendre le contrôle des institutions.

Nous examinons ci-dessous plus en détail comment chacun de ces facteurs – les prises de pouvoir, les forces économiques et l’interférence épistémique – pourrait conduire à une concentration du pouvoir facilitée par l’IA, dans laquelle un petit nombre de personnes prendrait toutes les décisions importantes concernant l’avenir.

Prises de pouvoir facilitées par l’IA

Il existe déjà aujourd’hui des contextes dans lesquels des acteurs peuvent utiliser l’argent, la force ou d’autres avantages pour prendre le contrôle d’institutions — comme le démontrent les coups d’État militaires périodiques et les prises de contrôle d’entreprises à travers le monde. Cela dit, ce phénomène a ses limites : les démocraties régressent parfois jusqu’à la dictature, mais c’est rare ;⁠⁠10 et il n’y a presque jamais de coups d’État dans les démocraties matures.

Une IA avancée pourrait rendre possibles les prises de pouvoir, même à l’encontre d’institutions très puissantes et démocratiques, en plaçant une énorme main-d’œuvre IA entre les mains d’une poignée de personnes. Cela changerait fondamentalement la dynamique des prises de pouvoir : au lieu d’avoir besoin d’un grand nombre de personnes pour soutenir et aider à orchestrer une prise de pouvoir, il deviendrait possible pour un petit groupe de prendre le contrôle d’un gouvernement ou d’une autre institution puissante sans aucune aide humaine, en utilisant uniquement de la main d’œuvre IA.

À quoi cela ressemblerait-il concrètement ?

L’une des voies menant à une prise de pouvoir facilitée par l’IA sur l’ensemble d’un gouvernement est le coup d’État militaire automatisé, par lequel un acteur utilise son contrôle sur des systèmes d’IA militaires pour s’emparer du pouvoir dans un pays. Il existe plusieurs façons pour un acteur d’obtenir le contrôle de suffisamment de systèmes d’IA militaires pour organiser un coup d’État :

• Structure de commandement défaillante. Les systèmes d’IA militaires pourraient être explicitement entraînés pour être loyaux envers un chef d’État ou un responsable gouvernemental plutôt qu’envers l’État de droit. S’ils étaient entraînés de cette manière, le responsable qui les contrôlerait pourrait les utiliser comme bon lui semble, y compris pour organiser un coup d’État.⁠⁠11
• Loyautés secrètes. À mesure que les capacités de l’IA progressent, il pourrait devenir possible de rendre les systèmes d’IA secrètement loyaux envers une personne ou un petit groupe.⁠⁠12 À l’instar des espions humains, ces systèmes sembleraient se comporter comme prévu, tout en servant secrètement d’autres fins. Surtout si une entreprise dispose d’une IA bien plus sophistiquée que toutes les autres et que seuls quelques acteurs y ont accès, ces loyautés secrètes pourraient être très difficiles à détecter de l’extérieur.⁠⁠13 Ainsi, les générations suivantes d’IA déployées au sein du gouvernement et de l’armée pourraient également être secrètement loyales et être utilisées pour organiser un coup d’État — que ce soit par des dirigeants d’entreprises d’IA, des adversaires étrangers, ou certaines factions du gouvernement ou de l’armée.
• Piratage. Si une entreprise ou un pays dispose d’un avantage considérable en matière de cyberattaque, il pourrait pirater simultanément de nombreux systèmes d’IA militaires et soit les désactiver, soit les utiliser pour organiser activement un coup d’État.

Ces scénarios peuvent sembler farfelus. Il faut espérer que les armées feront preuve de prudence quant au déploiement de systèmes militaires autonomes, et exigeront des garanties appropriées pour empêcher ce type d’utilisation malveillante. Mais la concurrence ou un conflit entre grandes puissances pourrait conduire à un déploiement précipité,⁠⁠14 et les loyautés secrètes pourraient être difficiles à détecter, même avec des tests rigoureux. Et il suffirait peut-être d’une petite force pour réussir un coup d’État, surtout si elle dispose d’une IA pour l’aider (il existe plusieurs exemples historiques de quelques bataillons ayant réussi à s’emparer du pouvoir même sans avantage technologique, en persuadant les autres forces de ne pas intervenir).⁠⁠15

Outre les coups d’État militaires, une autre voie potentielle vers une prise de pouvoir facilitée par l’IA est un avantage cognitif écrasant, où un acteur dispose d’un avantage si considérable en matière de main-d’œuvre IA qualifiée qu’il peut directement dominer un pays, voire le reste du monde. Avec un avantage cognitif très important, il pourrait être possible de s’emparer du pouvoir en utilisant une stratégie et une persuasion surhumaines pour convaincre les autres de céder le pouvoir, ou en constituant rapidement une force militaire secrète. Cela relève encore plus de la science-fiction, mais certains pensent que cela pourrait se produire s’il y avait une explosion d’intelligence suffisamment importante.

Une prise de pouvoir facilitée par l’IA — que ce soit par un coup d’État militaire automatisé ou par un avantage cognitif écrasant — ne constituerait pas automatiquement une concentration du pouvoir facilitée par l’IA telle que nous l’avons définie. Il n’existe aujourd’hui aucune institution qui prenne toutes les décisions importantes — pas même le gouvernement le plus puissant du monde. Il pourrait donc y avoir encore un long chemin à parcourir entre une « prise de pouvoir réussie sur une institution » et le fait de « prendre toutes les décisions importantes concernant l’avenir ». Mais une prise de pouvoir pourrait constituer une étape supplémentaire très importante vers une situation où un petit nombre de personnes finiraient par détenir le pouvoir de prendre toutes les décisions importantes concernant l’avenir⁠⁠16 — ou, si le pouvoir était déjà très concentré, une prise de pouvoir pourrait en constituer l’étape finale.

Forces économiques

Il existe plusieurs façons pour un petit groupe de s’enrichir suffisamment pour concentrer efficacement le pouvoir, rendant, dans les cas extrêmes, les institutions existantes obsolètes :

• Éroder les incitations des gouvernements à représenter leur peuple, en rendant l’électorat économiquement insignifiant. Bien sûr, la mission des gouvernements dans les démocraties est de représenter et de servir les intérêts de leurs citoyens. Mais actuellement, les gouvernements ont également des incitations économiques directes à le faire : des personnes plus heureuses et en meilleure santé sont des travailleurs plus productifs et paient plus d’impôts (sans compter qu’elles sont moins enclines à se rebeller). Si ce lien était rompu par l’automatisation, et si les entreprises d’IA fournissaient la grande majorité des recettes publiques, les gouvernements n’auraient plus cette raison intéressée de promouvoir les intérêts de leur peuple.
  • Des élections pourraient encore avoir lieu dans les démocraties, mais des progrès très rapides pourraient rendre les cycles électoraux si lents qu’ils n’auraient plus guère d’influence, tandis que la désinformation et le lobbying pourraient fausser encore davantage les votes. Dans de tels scénarios, des gouvernements pourraient encore exister, mais ils ne rempliraient plus leurs fonctions actuelles et serviraient principalement les intérêts d’immenses entreprises d’IA.⁠⁠17
• Dépasser le monde, où un pays ou une entreprise devient bien plus riche que le reste du monde réuni. Une explosion d’intelligence du type évoqué ci-dessus pourrait conférer au principal développeur d’IA un monopole (peut-être temporaire) sur l’IA, ce qui pourrait lui permettre de gagner des billions de dollars par an,⁠⁠18 et de concevoir et de mettre au point de nouvelles technologies puissantes. Naïvement, si cet acteur pouvait maintenir son monopole et croître à un rythme plus rapide que le reste du monde pendant suffisamment longtemps, il finirait par détenir plus de 99 % des ressources. Il existe de nombreuses complications qui rendent ce dépassement du monde moins probable,⁠⁠19 mais il semble tout de même possible qu’un acteur y parvienne grâce à un effort très concerté et bien coordonné s’il disposait d’un accès privilégié à la technologie la plus puissante au monde. Les institutions actuelles pourraient continuer d’exister, mais il n’est pas certain qu’elles seraient en mesure de prendre des décisions importantes qui déplairaient à l’entreprise ou au pays.
• Les avantages du premier arrivé dans l’espace, où le leader en IA tire parti de son avantage pour revendiquer le contrôle des ressources spatiales. Si l’IA permet des progrès technologiques rapides, le leader en IA pourrait être le premier acteur à développer des capacités spatiales avancées. Il pourrait potentiellement revendiquer de vastes ressources au-delà de la Terre — et si les ressources spatiales s’avèrent défendables, il pourrait en conserver le contrôle indéfiniment. Il n’est pas certain que de tels avantages du premier arrivé existent réellement,⁠⁠20 mais si tel est le cas, le premier arrivé dans l’espace serait en mesure de prendre des décisions unilatérales concernant l’expansion de l’humanité dans l’univers — des décisions qui pourraient avoir une importance considérable pour notre avenir à long terme.

Toutes ces voies sont assez spéculatives, mais si nous ne prenons pas de mesures pour les éviter, il semble plausible que les forces économiques puissent conduire un pays ou une entreprise à détenir beaucoup plus de pouvoir politique que tous les autres réunis. Si cet acteur était déjà très centralisé (comme un gouvernement autocratique ou une entreprise où le travail de la plupart des employés aurait été automatisé), ou s’il y avait par la suite une prise de pouvoir qui consoliderait le contrôle entre les mains d’un petit groupe, cela pourrait conduire à ce que toutes les décisions importantes concernant l’avenir soient prises par une poignée d’individus.

Interférence épistémique

Les prises de pouvoir et les forces économiques qui sapent les institutions existantes seraient néfastes pour la plupart des gens ; il serait donc dans leur intérêt de se coordonner pour mettre fin à ces dynamiques. Mais le revers de la médaille est qu’il est dans l’intérêt de ceux qui tentent d’accumuler le pouvoir d’entraver la capacité des gens à comprendre ce qui se passe et à se coordonner pour empêcher une concentration accrue du pouvoir.⁠⁠21

C’est la moins étudiée des trois dynamiques que nous avons soulignées, mais nous pensons qu’elle pourrait être très importante. À titre provisoire, voici quelques facteurs différents qui pourraient éroder l’environnement épistémique, dont certains impliquent une interférence délibérée et d’autres sont des dynamiques émergentes qui favorisent une poignée :

• Manque de transparence. Les acteurs puissants au sein des entreprises d’IA et des gouvernements auront intérêt à dissimuler leurs activités, en particulier s’ils cherchent à s’accaparer le pouvoir. Il pourrait également s’avérer techniquement difficile de partager des informations sur les capacités de l’IA et la manière dont elles sont utilisées, sans divulguer d’informations sensibles. Plus le développement de l’IA s’opère en secret, plus il est difficile pour la majorité des gens de s’opposer à des mesures qui conduiraient à une concentration accrue du pouvoir.
• Vitesse des progrès de l’IA. Les choses pourraient évoluer si rapidement qu’il serait difficile pour les humains de suivre le rythme. Cela avantagerait les personnes ayant accès aux meilleurs systèmes d’IA et à la plus grande puissance de calcul : elles pourraient être les seules capables de tirer parti de l’IA pour comprendre la situation et agir dans leur propre intérêt.
• Conseillers IA biaisés. À mesure que les conseils de l’IA s’améliorent et que le rythme des changements s’accélère, les gens pourraient devenir de plus en plus dépendants des systèmes d’IA pour comprendre le monde. Mais ces systèmes pourraient prodiguer des conseils subtilement biaisés en faveur des entreprises qui les ont conçus, soit parce qu’ils ont été délibérément entraînés à le faire, soit parce que personne n’a attentivement réfléchi à la manière dont leurs environnements d’entraînement pourraient les orienter dans cette direction. Si les systèmes d’IA finissent par favoriser les intérêts des entreprises, cela pourrait systématiquement biaiser les croyances et les actions des individus vers ce qui contribue à une concentration accrue du pouvoir.
• Campagnes de persuasion et de manipulation. Ceux qui ont accès à des capacités d’IA et à une puissance de calcul supérieures pourraient délibérément entraver la capacité d’autrui à limiter leur pouvoir, en menant des campagnes de lobbying alimentées par l’IA ou en manipulant des décideurs individuels. Par exemple, l’IA pourrait déployer des efforts sans précédent, intensifs et personnalisés, pour influencer chaque membre du Congrès afin d’obtenir son soutien sur une question politique, y compris en proposant de l’argent et une assistance surhumaine par l’IA pour ses campagnes de réélection. On ne sait pas encore clairement quelle sera l’efficacité de ces techniques (peut-être que les défenses épistémiques humaines sont déjà assez bonnes et que l’IA ne progressera pas beaucoup par rapport à ce que les humains peuvent déjà accomplir), mais si nous sommes malchanceux, cela pourrait gravement nuire à la capacité de la société à détecter la quête de pouvoir et à y réagir.

Cette liste de facteurs pourrait omettre des éléments importants et en inclure d’autres qui ne poseront pas vraiment problème — encore une fois, ce domaine est peu étudié. Mais nous l’incluons pour donner une idée plus concrète de la manière dont l’IA pourrait éroder (ou être utilisée pour éroder) l’environnement épistémique, rendant plus difficile pour les gens de se rendre compte de ce qui se passe et de résister à une concentration accrue du pouvoir. L’interférence épistémique, prise isolément, ne conduira probablement pas à une concentration extrême du pouvoir facilitée par l’IA, mais elle pourrait constituer un facteur contributif.

La concentration du pouvoir facilitée par l’IA pourrait causer des dommages énormes et durables

Le simple bon sens suggère que confier les clés de l’avenir à une poignée de personnes est de toute évidence inacceptable, et c’est une perspective à laquelle la plupart des gens s’opposeraient fermement. Nous accordons un poids certain à cet argument intuitif.

Nous accordons également une certaine importance à des arguments spécifiques expliquant en quoi la concentration du pouvoir facilitée par l’IA serait extrêmement néfaste, bien que le raisonnement semble ici plus fragile :

• Cela pourrait conduire à la tyrannie. La démocratie empêche généralement de petits groupes d’extrémistes de prendre les rênes du gouvernement et de s’en servir pour commettre des atrocités de masse contre leur peuple, en exigeant qu’une grande part de la population soutienne l’orientation générale du gouvernement. Si le pouvoir devenait extrêmement concentré, un petit groupe pourrait commettre des atrocités qui horrifieraient la plupart des gens. Bon nombre des pires atrocités de l’histoire de l’humanité ont été perpétrées par un petit nombre de personnes qui exerçaient un pouvoir absolu sur leur peuple (pensez aux Khmers rouges qui ont assassiné un quart de tous les Cambodgiens entre 1975 et 1979). Nous pouvons envisager deux manières principales dont la concentration du pouvoir facilitée par l’IA pourrait mener à la tyrannie :
  • Des humains malveillants — ou simplement extrêmement égoïstes — pourraient se retrouver au pouvoir. En particulier dans les scénarios où le pouvoir se concentre par le biais de prises de pouvoir facilitées par l’IA, il semble fort probable que les types d’humains prêts à s’emparer du pouvoir possèdent d’autres traits néfastes. Ils pourraient vouloir activement causer du tort.
  • Le pouvoir corrompt. Même si ceux qui détiennent le pouvoir avaient de bonnes intentions au départ, ils n’auraient aucune raison de continuer à promouvoir les intérêts du plus grand nombre si leur pouvoir était assuré. Chaque fois que les intérêts d’autrui deviendraient gênants, la tentation de revenir en arrière serait forte, et il n’y aurait aucune répercussion à le faire.
• Cela pourrait nous faire passer à côté d’avenirs très positifs. La concentration du pouvoir facilitée par l’IA pourrait ne pas conduire à une tyrannie au sens le plus flagrant : nous pourrions, d’une manière ou d’une autre, nous retrouver avec un dictateur bienveillant ou une caste éclairée d’acteurs puissants qui veillerait sur le reste d’entre nous. Mais même dans ce cas, l’avenir pourrait être bien moins bon qu’il n’aurait pu l’être, car il y aurait :
  • Injustice et privation de pouvoir. La concentration du pouvoir facilitée par l’IA priverait la grande majorité des gens de leur pouvoir politique. Selon certaines perspectives philosophiques⁠⁠22, la justice et l’autonomisation politique ont une valeur intrinsèque, ce qui rendrait l’avenir bien moins souhaitable.
  • Une moindre diversité des valeurs et des modes de vie. Un cercle plus restreint de personnes au pouvoir signifie qu’un ensemble plus restreint de valeurs et de préférences sera représenté à l’avenir. Là encore, selon de nombreuses perspectives, ce type de diversité possède une valeur intrinsèque.
  • Moins de réflexion morale (peut-être). Prendre de bonnes décisions concernant l’avenir pourrait nécessiter une réflexion approfondie sur ce à quoi nous accordons de la valeur et ce que nous devons aux autres. Si le pouvoir sur l’avenir est réparti, il y a de fortes chances qu’au moins certaines personnes choisissent de réfléchir de cette manière — et il y aura davantage de désaccords et d’expérimentations, ce qui pourrait inciter d’autres personnes à réfléchir à leur tour. Mais si le pouvoir est extrêmement concentré, ceux qui sont aux commandes pourraient simplement imposer leur vision du monde actuelle sans jamais la remettre en question. Cela pourrait conduire à des erreurs irréversibles : imaginez si les aveuglements moraux des Victoriens ou des Romains étaient devenus une politique permanente. S’il se trouve que ceux qui détiennent le pouvoir se soucient de déterminer ce qui est juste, la concentration du pouvoir pourrait également conduire à davantage de réflexion morale que dans un monde par défaut — mais elle serait limitée à un ensemble restreint d’expériences et de perspectives, et pourrait passer à côté d’enseignements importants issus d’un dialogue humain plus large.

Une concentration extrême du pouvoir facilitée par l’IA serait aussi probablement difficile à inverser, rendant tout préjudice très durable. Comme c’est déjà le cas, les puissants tenteront de conserver leur pouvoir. Mais l’IA pourrait permettre de le faire d’une manière extrêmement durable, ce qui n’a jamais été possible historiquement :

• Même si la plupart des gens s’opposaient à un régime soutenu par l’IA, ils pourraient avoir encore moins de pouvoir pour le renverser que n’en ont eu les groupes historiquement privés de leurs droits. Si toutes les activités économiques et militaires sont automatisées, les humains n’auront plus de force de travail précieuse à retirer ni de force violente à exercer, de sorte que les grèves et les soulèvements n’auront aucun effet.
• Les dictateurs humains meurent, mais un gouvernement dirigé par des systèmes d’IA pourrait potentiellement préserver les valeurs d’un dictateur ou d’un autre dirigeant humain de manière permanente à l’avenir.
• Si le pouvoir devient si concentré qu’il n’y a plus qu’un seul hégémon mondial, il n’y aura alors aucune menace extérieure pour le régime.⁠⁠23

Ces effets néfastes doivent être mis en balance avec les avantages potentiels de la concentration du pouvoir facilitée par l’IA, comme la réduction des dynamiques concurrentielles. Nous ne savons pas exactement comment les choses vont évoluer, mais notre intuition autant que l’analyse qui précède suggèrent que la concentration du pouvoir facilitée par l’IA présente de graves risques pour l’épanouissement humain, que nous devrions nous efforcer d’éviter.

Il existe des moyens de réduire ce risque, mais très peu de personnes y travaillent

De nombreuses personnes s’efforcent de prévenir des formes plus modérées de concentration du pouvoir. De manière générale, une grande partie des travaux menés au sein des gouvernements, du système juridique, ainsi que dans de nombreux secteurs du monde universitaire et de la société civile, y contribuent.

Mais très peu se concentrent sur le risque de concentration extrême du pouvoir induite par l’IA — bien que, si les arguments précédents sont fondés, il s’agisse d’un risque très sérieux. Nous avons connaissance de quelques dizaines de personnes, réparties dans une poignée d’organisations, qui s’efforcent de réduire ce risque, et d’encore moins de personnes qui s’y consacrent à temps plein. En septembre 2025, le seul appel à projets public dont nous ayons connaissance concernant la concentration du pouvoir facilitée par l’IA est un programme de subventions de 4 millions de dollars (bien que des financements supplémentaires soient disponibles dans le privé).

Cela en dépit du fait qu’il existe des mesures concrètes que nous pourrions prendre dès maintenant pour réduire ce risque. Par exemple, nous pourrions :

• Travailler sur des solutions techniques pour empêcher l’utilisation malveillante d’une main-d’œuvre massive d’IA, telles que :
  • Entraîner l’IA à respecter la loi
  • Appliquer la simulation d’adversité aux spécifications des modèles (documents que les systèmes d’IA sont entraînés à respecter et qui précisent comment ils doivent se comporter) pour s’assurer que les IA sont entraînées à ne pas contribuer à des prises de pouvoir
  • Auditer les modèles pour vérifier l’absence de loyautés cachées
  • Renforcer la sécurité de l’information dans les laboratoires pour empêcher toute altération du processus de développement et tout accès non autorisé, ce qui rendrait plus difficile l’insertion de loyautés cachées ou l’utilisation malveillante des systèmes d’IA⁠⁠24
• Élaborer et promouvoir des politiques qui répartissent le pouvoir sur l’IA, par exemple :
  • Définir les clauses des contrats entre les laboratoires et les gouvernements afin de s’assurer qu’aucun acteur n’ait trop d’influence
  • Partager largement l’accès aux meilleures capacités d’IA lorsque cela est sûr, et avec plusieurs acteurs de confiance tels que le Congrès et des auditeurs lorsque ce n’est pas le cas, afin qu’aucun acteur ne dispose de capacités nettement plus puissantes que tous les autres
  • Construire des centres de données dans des démocraties autre que les États-Unis, afin de répartir le pouvoir de faire fonctionner des systèmes d’IA entre un plus grand nombre d’acteurs
  • Imposer la transparence sur les capacités de l’IA, leur utilisation, les spécifications des modèles, les mesures de protection et les évaluations des risques, afin de faciliter la détection de comportements préoccupants
  • Mettre en place des protections plus solides pour les lanceurs d’alerte afin qu’il soit plus difficile pour des initiés de comploter ou pour les dirigeants d’entreprise d’étouffer les préoccupations de leur personnel
  • Toutes les solutions techniques ci-dessus
• Développer et déployer des outils IA qui améliorent la capacité des individus à raisonner et à se coordonner, afin qu’ils puissent résister à l’ingérence épistémique.

Pour être clair, la réflexion sur la manière d’empêcher la concentration du pouvoir facilitée par l’IA en est encore à un stade très précoce. Tous ceux qui travaillent actuellement sur ce sujet ne soutiendraient pas l’ensemble des interventions de cette liste, et il n’est pas certain que le problème serait résolu même si nous mettions en œuvre l’intégralité de ces mesures. Il se pourrait que les forces structurelles poussant vers une concentration du pouvoir facilitée par l’IA soient trop fortes pour être arrêtées.

Mais il ne semble pas certainement inévitable que le pouvoir devienne extrêmement concentré :

• Il est dans l’intérêt de presque tout le monde d’empêcher la concentration du pouvoir facilitée par l’IA — y compris dans l’intérêt des personnes les plus puissantes aujourd’hui, car elles ont beaucoup à perdre si elles se font surclasser.
• Il est encourageant de constater que nous pouvons déjà énumérer certaines interventions concrètes et vraisemblablement réalisables, même si la réflexion sur la manière de résoudre le problème n’en est qu’à ses débuts.

Il y a beaucoup plus de travail à accomplir dans ce domaine que de personnes pour le faire.

Quels sont les principaux arguments contre le fait de travailler sur ce problème ?

Nous avons abordé ces arguments ailleurs dans cet article, mais nous les avons tous rassemblés ici afin qu’il soit plus facile d’identifier les points faibles de l’argument en faveur d’une priorisation du problème de la concentration du pouvoir facilitée par l’IA, et d’approfondir un peu plus la question.

La concentration du pouvoir facilitée par l’IA pourrait réduire d’autres risques liés à l’IA

Certaines formes de concentration du pouvoir pourraient réduire divers autres risques liés à l’IA :

• S’il n’y avait pas de concurrence dans le développement de l’IA, le seul développeur d’IA ne serait pas soumis à des pressions concurrentielles l’incitant à lésiner sur la sûreté, ce qui pourrait réduire le risque de prise de pouvoir par l’IA. Ces pressions concurrentielles constituent une raison majeure de craindre que les entreprises d’IA ne se lancent dans une course effrénée sans prendre les précautions adéquates en matière de sûreté de l’IA.
• Le risque d’une guerre entre grandes puissances disparaîtrait si le pouvoir était entièrement concentré dans un seul pays.
• Le risque d’utilisation malveillante catastrophique des armes biologiques et d’autres technologies dangereuses serait bien moindre si un seul acteur avait accès à des capacités dangereuses. Le fait que l’IA puisse démocratiser l’accès à des technologies extrêmement dangereuses comme les armes biologiques est l’une des principales raisons de s’inquiéter d’une utilisation malveillante.

Cela dit :

• Il existe d’autres moyens de gérer ces risques. Il est faux de croire que nous n’avons le choix qu’entre une dictature bienveillante et une catastrophe existentielle due à d’autres risques de l’IA. Une combinaison de réglementation nationale, coordination internationale, de progrès techniques en matière d’alignement et de contrôle, ainsi que d’outils IA pour la sécurité épistémique pourrait nous permettre de faire face à tous ces risques.
• La perspective d’une concentration du pouvoir facilitée par l’IA pourrait également exacerber d’autres risques de l’IA. C’est une chose d’imaginer un monde où le pouvoir est déjà extrêmement concentré. Mais le processus menant à ce monde pourrait considérablement augmenter les enjeux de la concurrence et rendre les acteurs puissants plus enclins à prendre des paris risqués et à mener des actions antagonistes, afin de ne pas se laisser distancer.
• De nombreuses interventions visant à réduire la concentration du pouvoir facilitée par l’IA contribuent également à réduire d’autres risques. Il n’y a pas toujours de compromis à faire dans la pratique. Par exemple, les audits d’alignement contribuent à réduire à la fois le risque de concentration du pouvoir et celui d’une prise de pouvoir par l’IA, en rendant plus difficile, tant pour les humains que pour les IA, la manipulation des objectifs des systèmes d’IA. Et un partage plus large des capacités pourrait à la fois réduire les écarts de pouvoir et permettre à la société de déployer l’IA de manière défensive : si nous parvenons à protéger suffisamment les modèles d’IA, cela n’augmentera pas nécessairement les risques d’une utilisation malveillante catastrophique.

Évaluer ces risques est complexe, et nous ne prétendons pas qu’il n’y a aucun compromis à faire. À l’heure actuelle, il nous semble difficile de déterminer si les effets de la concentration du pouvoir facilitée par l’IA se révèlent, au final, bénéfiques ou néfastes pour d’autres risques de l’IA. Étant donné que la concentration du pouvoir est un problème important et négligé en soi, nous pensons qu’il vaut largement la peine de s’y consacrer. (Toutefois, nous encourageons les personnes travaillant sur la concentration du pouvoir facilitée par l’IA à garder à l’esprit que leurs actions pourraient influencer ces autres enjeux, et à veiller à ne pas les aggraver.)

L’avenir pourrait tout de même s’avérer favorable, même en cas de concentration du pouvoir facilitée par l’IA

Pour les raisons que nous avons exposées ci-dessus, nous pensons qu’une concentration extrême du pouvoir a de fortes chances d’être néfaste. Cependant, même si vous partagez cet avis, il y a des raisons de penser qu’un avenir marqué par une concentration du pouvoir facilitée par l’IA pourrait tout de même s’avérer favorable selon certains critères :

• Abondance matérielle : l’IA pourrait générer une telle richesse que la plupart des gens vivraient dans des conditions matérielles bien meilleures que celles des plus riches d’aujourd’hui. Dans un monde marqué par une concentration du pouvoir facilitée par l’IA, la population serait privée de pouvoir politique, mais si les puissants l’autorisaient, elle pourrait tout de même bénéficier d’une grande aisance matérielle.
• Diminution des incitations à la répression et à la brutalité : l’une des raisons pour lesquelles les autocraties répriment leurs peuples est que leurs dirigeants tentent de consolider leur propre pouvoir. Si le pouvoir devenait si concentré que les dirigeants étaient assurés de rester au pouvoir pour toujours, il n’y aurait plus d’incitations rationnelles à restreindre la liberté d’expression ou à torturer les dissidents (mais il subsisterait des motivations irrationnelles comme la malveillance ou les idéologies fanatiques.)
• Effets de sélection : bien que cela soit peu probable, il est possible que les personnes qui finissent par accéder au pouvoir souhaitent sincèrement améliorer le monde. Peut-être que l’accès à une position aussi puissante sélectionne des personnes exceptionnellement compétentes, et peut-être ont-elles pris le pouvoir à contrecœur parce que d’autres se lançaient dans une course au développement d’une IA dangereuse, et que la concentration du pouvoir semblait être le moindre mal.

Encore une fois, nous ne trouvons pas ces arguments particulièrement convaincants, mais nous pensons qu’ils sont suffisamment plausibles pour mériter d’être pris en considération et soupesés.

Les efforts visant à réduire la concentration du pouvoir facilitée par l’IA pourraient se retourner contre nous

La concentration du pouvoir facilitée par l’IA est un sujet épineux, et les efforts visant à la prévenir pourraient facilement se retourner contre nous. Plus le risque de concentration du pouvoir facilitée par l’IA est manifeste, plus il l’est pour les acteurs en quête de pouvoir. S’efforcer de réduire la concentration du pouvoir facilitée par l’IA pourrait :

• Galvaniser l’opposition aux interventions chez ceux qui ont tout à gagner de la concentration du pouvoir.
• Donner directement des idées aux acteurs en quête de pouvoir, en générant et en diffusant des informations sur la manière dont de petits groupes pourraient se retrouver avec d’importantes quantités de pouvoir.
• Déclencher une course au pouvoir. Si chacun pense que tous les autres tentent de consolider leur pouvoir, il pourrait être plus enclin à essayer de s’en emparer pour lui-même afin de prendre les devants.

Certaines interventions pourraient également réduire la probabilité qu’un acteur se retrouve avec trop de pouvoir, tout en augmentant la probabilité qu’un autre y parvienne. Par exemple, renforcer la surveillance gouvernementale sur les entreprises d’IA pourrait rendre les prises de pouvoir par ces entreprises plus difficiles, mais faciliter simultanément celles orchestrées par des responsables gouvernementaux.

Nous pensons effectivement que prévenir la concentration du pouvoir facilitée par l’IA est d’une certaine manière un terrain miné, et c’est en partie pour cela que nous estimons que, pour l’instant, la plupart des gens devraient garder ce risque à l’esprit plutôt que de s’y attaquer directement. Mais il existe des moyens de réduire le risque que ces efforts se retournent contre nous, par exemple :

• Faire preuve de réflexion et être conscient des risques de retour de bâton. Si vous ne pensez pas avoir un bon jugement sur ce genre de choses (ou si vous n’avez personne doté d’un bon jugement pour vous faire des retours), il vaut probablement mieux vous consacrer à autre chose.
• Utiliser des cadrages et un langage moins antagonistes. Par exemple, l’expression « prise de pouvoir » semble plus provocante que « concentration du pouvoir » comme cadrage.
• Se concentrer sur des types de travaux qui se prêtent difficilement à une utilisation malveillante par des acteurs en quête de pouvoir. Par exemple, l’élaboration et la mise en œuvre de contre-mesures, telles que des mesures de transparence ou des audits d’alignement, sont plus difficiles à exploiter pour un acteur en quête de pouvoir qu’une modélisation détaillée des menaces.

Le pouvoir pourrait rester réparti par défaut

Plus haut, nous soutenons que le pouvoir pourrait devenir extrêmement concentré. Mais cela n’est pas inévitable, et ces arguments pourraient s’avérer erronés. Par exemple :

• Les capacités de l’IA pourraient tout simplement ne pas devenir si puissantes. Le plafond des capacités importantes telles que la persuasion ou la R&D en IA est peut-être assez bas, si bien que les effets de l’IA seraient moins transformateurs dans l’ensemble.
  • Une variante particulièrement importante de cette idée est que les dynamiques d’auto-renforcement issues de l’automatisation de la R&D en IA seront peut-être faibles, auquel cas il n’y aurait peut-être pas d’explosion d’intelligence, ou seulement une explosion mineure. Cela signifierait qu’aucun développeur d’IA ne serait en mesure d’obtenir et de conserver une avance significative en matière de capacités par rapport aux autres développeurs.
• La réponse réglementaire par défaut (et le cadre institutionnel en vigueur dans des pays comme les États-Unis) pourrait suffire à redistribuer les gains issus de l’automatisation et à empêcher l’utilisation malveillante d’une importante main-d’œuvre IA. Ceux qui détiennent le pouvoir aujourd’hui — ce qui, dans les démocraties, inclut l’électorat, la société civile et les médias — feront tout leur possible pour le conserver face aux nouveaux venus s’ils parviennent à comprendre ce qui se passe, et la plupart des gens ont tout à perdre d’une concentration du pouvoir facilitée par l’IA.
• Si les gens craignent que l’IA soit mal-alignée, ce qui signifie qu’elle ne poursuit pas de manière fiable les objectifs voulus par ses utilisateurs ou ses créateurs, cela pourrait à la fois réduire les impacts économiques de l’IA (car son déploiement serait moindre) et rendre les individus avides de pouvoir moins enclins à utiliser l’IA pour tenter de s’en emparer (car l’IA pourrait se retourner contre eux).

Nous pensons que la probabilité d’une concentration extrême du pouvoir est suffisamment élevée pour être très préoccupante. Mais nous convenons que c’est loin d’être garanti.

Il pourrait être trop difficile d’empêcher la concentration du pouvoir facilitée par l’IA

À l’inverse, il pourrait s’avérer que la concentration du pouvoir facilitée par l’IA ne vaille pas la peine qu’on s’y consacre, car elle est trop difficile à empêcher :

• Les forces structurelles favorisant la concentration du pouvoir facilitée par l’IA pourraient être très puissantes. Par exemple, si une colossale explosion d’intelligence accordait à un seul développeur d’IA un accès exclusif à des capacités d’IA quasi divines, la suite des événements serait sans doute laissée à sa seule discrétion.
• La plupart des acteurs susceptibles de tirer profit de la concentration du pouvoir facilitée par l’IA sont déjà très puissants. Ils pourraient s’opposer aux efforts visant à atténuer le risque, dissimuler ce qui se passe et entraver la capacité des autres à se coordonner contre la concentration du pouvoir.

Cela dit, nous ne pensons pas qu’il faille encore baisser les bras :

• Nous ne savons pas encore comment la dynamique structurelle va se dérouler. Nous pourrions nous retrouver dans un monde où il serait tout à fait possible de limiter la concentration du pouvoir.
• Il est dans l’intérêt de presque tout le monde d’empêcher la concentration du pouvoir facilitée par l’IA — y compris dans l’intérêt des personnes les plus puissantes aujourd’hui, car la plupart d’entre elles ont tout à perdre si un petit groupe prend le contrôle des décisions les plus importantes. Il serait peut-être possible de se coordonner pour empêcher la concentration du pouvoir et rendre la défection très coûteuse.
• Il existe déjà des interventions prometteuses pour empêcher la concentration du pouvoir facilitée par l’IA (voir ci-dessus). Si ce domaine bénéficie d’une plus grande attention, nous pourrions bien en découvrir d’autres.

Que pouvez-vous faire pour aider ?

Étant donné que très peu de travaux spécifiques ont été menés à ce jour pour prévenir la concentration extrême du pouvoir facilitée par l’IA, il n’existe pas encore d’interventions vers lesquelles nous pouvons orienter un grand nombre de personnes en toute confiance. Et il n’y a certainement pas beaucoup d’emplois permettant de travailler directement sur cette question !

Pour l’instant, notre principal conseil pour la plupart des gens est le suivant :

• Gardez à l’esprit le risque de concentration du pouvoir facilitée par l’IA. Nous avons plus de chances d’éviter la concentration du pouvoir facilitée par l’IA si des personnes raisonnables sont conscientes de ce risque et souhaitent le prévenir. Cela est particulièrement pertinent si vous travaillez dans une entreprise d’IA ou dans la gouvernance de l’IA et la sûreté de l’IA : les politiques ou les nouvelles technologies ont souvent des répercussions sur la concentration du pouvoir, et en ayant conscience de cela, vous pourriez éviter d’accroître ce risque par inadvertance.
• Soyez attentif au fait que les efforts visant à réduire ce risque pourraient être contre-productifs ou accroître d’autres risques.

Il existe également des programmes prometteurs en phase initiale, et nous pensons que certaines personnes pourraient d’ores et déjà y accomplir un travail de qualité. Nous serions ravis de voir davantage de personnes travailler sur :

• L’IA respectueuse des lois. Entraîner les systèmes d’IA à respecter la loi et d’autres contraintes rendrait plus difficile l’utilisation de systèmes d’IA pour s’emparer du pouvoir. Law-following AI: Designing AI agents to obey human laws est le principal article sur le sujet, et comprend un programme de recherche proposant des thèmes à approfondir.⁠⁠25
• Audits d’alignement et intégrité des systèmes pour empêcher toute altération. Cela rendrait plus difficile pour des acteurs malveillants d’insérer des allégeances secrètes ou, d’une autre manière, de faire une utilisation malveillante des systèmes d’IA pour s’emparer du pouvoir. La note de l’IFP sur la prévention des agents dormants IA en donne un aperçu ; il en existe un autre dans cet article sur les coups d’État facilités par l’IA.
• Développer des outils IA qui améliorent la capacité des individus à raisonner et à se coordonner. Cela pourrait aider les gens à comprendre ce qui se passe en termes de concentration du pouvoir, et à se coordonner pour protéger leurs propres intérêts. AI tools for existential security donne un aperçu du domaine, tout comme notre propre article sur la prise de décision améliorée par l’IA (mais avec davantage de mises en garde). Vous trouverez d’autres idées ici et ici, et la Future of Life Foundation a récemment organisé un programme de bourses sur l’IA au service du raisonnement humain.
• Élaborer et promouvoir des politiques qui répartissent le pouvoir sur l’IA. Cet axe est moins bien délimité que les précédents, mais pourrait inclure des politiques favorisant le partage des capacités d’IA et de la puissance de calcul à plus grande échelle, la transparence sur les capacités d’IA et leur utilisation, ainsi que la protection des lanceurs d’alerte.

Vous pouvez manifester votre intérêt pour travailler à la réduction du risque de concentration extrême du pouvoir ici.⁠⁠26

Pour plus d’idées, vous pouvez consulter les sections consacrées aux mesures d’atténuation de ces articles sur les coups d’État facilités par l’IA, la désautonomisation graduelle et la malédiction de l’intelligence ; ainsi que ces listes de projets sur la désautonomisation graduelle. Ce domaine en est encore à ses balbutiements, l’essentiel pourrait donc simplement consister à suivre les organisations et les chercheurs qui y travaillent,⁠⁠27 et à chercher des moyens de s’y impliquer.

En savoir plus

Le problème de la concentration du pouvoir facilitée par l’IA

• Prises de pouvoir :
  • AI-enabled coups: How a small group could use AI to seize power, par Tom Davidson, Lukas Finnveden et Rose Hadshar
  • Podcast : Tom Davidson on how AI-enabled coups could allow a tiny group to seize power
  • How an AI company CEO could quietly take over the world, par Alex Kastner
  • Secretly loyal AIs: Threat vectors and mitigation strategies, par Dave Bannerjee
• Domination économique :
  • The Intelligence Curse, par Luke Drago et Rudolf Laine
  • Could one country outgrow the rest of the world after AGI?, par Tom Davidson
• Gradual disempowerment, par Jan Kulveit et al. (ainsi que notre résumé et notre entretien avec David Duvenaud)
  • AGI, governments, and free societies, par Justin Bullock et al.

À quel point la concentration du pouvoir facilitée par l’IA pourrait être néfaste

• AGI and lock-in, par Lukas Finnveden, Jess Riedel et Carl Shulman
• Notre profil de problème sur le totalitarisme stable
• Reducing long-term risks from malevolent actors, par David Althaus et Tobias Baumann
• Human takeover might be worse than AI takeover, par Tom Davidson

Quelques contre-mesures à la concentration du pouvoir facilitée par l’IA

• Law-following AI: Designing AI agents to obey human laws, par Cullen O’Keefe et al.
• Auditing language models for hidden objectives, par Samuel Marks et al.
• AI tools for existential security, par Lizka Vaintrob et Owen Cotton-Barratt, ou notre propre article similaire sur la prise de décision assistée par l’IA, qui couvre en grande partie le même sujet mais explore davantage les objections à travailler dans ce domaine
• Les sections consacrées aux mesures d’atténuation dans les articles sur les coups d’État facilités par l’IA, la perte progressive de pouvoir et la malédiction de l’intelligence
• Gradual disempowerment: Concrete research projects, par Raymond Douglas
• The best approaches for mitigating “the intelligence curse” (or gradual disempowerment), par Ryan Greenblatt

---

Publication originale : Rose Hadshar (2025) Extreme power concentration, 80,000 Hours, avril.