Objectif : donner un aperçu de base de ce qui se passe dans la gouvernance long-termiste de l’IA.
Public : les personnes qui ont une familiarité limitée avec la gouvernance long-termiste de l’IA et qui veulent mieux la comprendre. Je ne m’attends pas à ce que cela soit utile pour ceux qui sont déjà familiers avec le domaine. NB : Certaines personnes qui connaissaient déjà bien le domaine ont trouvé cela utile.
Ce billet présente les différents types de travaux menés dans le domaine de la gouvernance long-termiste de l’IA. Pour chaque type de travail, je l’expliquerai, je donnerai des exemples, j’esquisserai quelques explications sur la façon dont il pourrait avoir un impact positif, et j’énumérerai les acteurs qui, à ma connaissance, travaillent actuellement sur la question.a
Tout d’abord, quelques définitions :
La gouvernance de l’IA consiste à mettre en place des normes, des politiques, des lois, des processus, des politiques et des institutions locales et mondiales (et pas seulement des gouvernements) qui auront une incidence sur les résultats sociaux du développement et du déploiement des systèmes d’IA.b
La gouvernance long-termiste de l’IA est plus précisément le sous-ensemble de ce travail qui est motivé par une préoccupation pour les impacts à très long terme de l’IA. Ces travaux se recoupent largement avec ceux visant à gouverner l’IA transformatrice (IAT).
Il convient de noter que le domaine de la gouvernance long-termiste de l’IA est très restreint. Je dirais qu’il y a environ 60 personnes travaillant dans le domaine de la gouvernance de l’IA qui sont motivées par une préoccupation pour les impacts à très long terme.
Bref résumé
De manière générale, je pense qu’il est utile de considérer qu’il existe un spectre entre le travail fondamental et le travail appliqué. À l’extrémité fondamentale, il y a la , qui vise à identifier de bons objectifs de haut niveau pour la gouvernance long-termiste de l’IA ; puis il y a la qui vise à identifier les moyens qui aideront à atteindre ces objectifs de haut niveau. Du côté de l’application, il y a le travail d’élaboration des politiques qui traduit ces recherches en politiques concrètes, le travail de plaidoyer pour la mise en œuvre de ces politiques, et enfin la mise en œuvre effective de ces politiques (par des fonctionnaires, par exemple).
recherche stratégique
recherche tactique
Il y a aussi le travail de développement du domaine (qui ne s’inscrit pas clairement dans le spectre). Plutôt que de contribuer directement au problème, ce travail vise à créer un domaine de personnes qui effectuent un travail utile sur le sujet.
Bien entendu, cette classification est une simplification et tous les travaux n’entrent pas dans une seule catégorie.
On pourrait penser que les idées vont surtout du plus fondamental au plus appliqué, mais il est également important que la recherche tienne compte des préoccupations politiques, par exemple en examinant dans quelle mesure la recherche est susceptible d’éclairer une proposition politiquement réalisable.
Nous allons maintenant examiner plus en détail chacun de ces types de travaux.
La recherche
Recherche stratégique
La recherche stratégique long-termiste sur l’IA vise à identifier les objectifs de haut niveau que nous pourrions poursuivre et qui, s’ils étaient atteints, augmenteraient clairement les chances d’obtenir de bons résultats de l’IA avancée, dans une perspective long-termiste (à l’instar de Muehlhauser, j’appellerai parfois cet objectif « obtenir une clarté stratégique »).
Cette recherche peut elle-même se situer sur un spectre entre la recherche ciblée et la recherche exploratoire, comme suit :
La recherche stratégique ciblée répond à des questions qui éclairent une autre question spécifique, importante et connue
Par exemple : « Je veux savoir quelle est la puissance de calcul du cerveau humain, car cela m’aidera à répondre à la question de savoir quand l’IAT sera développée (ce qui a une incidence sur les objectifs de haut niveau que nous devons poursuivre) ».
La recherche stratégique exploratoire répond à des questions sans avoir une idée très précise des autres questions importantes auxquelles elles nous aideront à répondre.
Par exemple : « Je veux comprendre la politique industrielle de la Chine, car cela m’aidera probablement à répondre à un certain nombre de questions stratégiques importantes, même si je ne sais pas précisément lesquelles ».
Exemple de pertinence stratégique : si l’IAT est proche, faire croître lentement un vaste domaine d’experts semble moins prometteur ; si l’IAT est très éloignée, on devrait relativement réduire la priorité d’une gouvernance long-termiste de l’IAT.
Exemple de pertinence stratégique : si la plupart des risques liés à l’IA proviennent d’agents d’IA avancés et mal alignés, la gouvernance devrait se concentrer sur l’influence des premiers acteurs qui les construisent.
Travaux sur l’étude de la vitesse des progrès de l’IA en vue d’une IAT, par exemple l’enquête et l’analyse d’AI Impacts.
Exemple de pertinence stratégique : si les progrès de l’IA sont discontinus, il est probable qu’il n’y ait qu’un petit nombre d’acteurs à forts enjeux et que la valeur de la gouvernance provienne essentiellement de l’influence exercée sur ces acteurs.
Il est facile de confondre la recherche stratégique (et en particulier la recherche stratégique exploratoire) avec la recherche à large portée. Comme le montrent de nombreux exemples ci-dessus, la recherche stratégique peut avoir une portée restreinte, c’est-à-dire qu’elle peut répondre à une question relativement restreinte. Exemples de questions à portée large ou restreinte :
Sur les lois de mise à l’échelle :
Question générale : en général, comment la performance des modèles d’apprentissage profond évolue-t-elle à mesure qu’on augmente la taille de ces modèles ?
Question plus restreinte : comment la performance des grands modèles de langage en particulier (par exemple GPT-3) évolue-t-elle à mesure que l’on augmente la taille de ces modèles ? (Question abordée dans cet article).
Sur les sources de risque x de l’IA :
Question générale : quelle est l’ampleur du risque x posé par l’IA avancée en général ?
Question plus restreinte : quelle est l’ampleur du risque x posé spécifiquement par les agents d’IA en quête d’influence ? (Question abordée dans ce rapport.)
En effet, je pense qu’il est souvent préférable de choisir des questions à portée étroite, en particulier pour les jeunes chercheurs, parce qu’elles ont tendance à être plus faciles à traiter.
Luke Muehlhauser a quelques recommandations pour ceux qui veulent essayer ce type de travail : voir le point 4 de ce billet. Vous trouverez également dans ce billet des exemples de questions de recherche ouvertes.c
Explications de l’impact
Impact direct : il existe de nombreux objectifs possibles en matière de gouvernance de l’IA, et nous devons donner la priorité aux plus importants. Ce travail est souvent motivé par l’impression des chercheurs qu’il y a très peu de clarté sur les sujets qui affectent les objectifs que nous devrions poursuivre. Par exemple, les résultats de cesenquêtes montrent un large désaccord sur les scénarios de risque x de l’IA et sur la quantité totale de risque x de l’IA, respectivement.
Impact indirect :
Développement du domaine : une compréhension claire des objectifs que nous poursuivons et des raisons pour lesquelles ils sont importants permettrait d’attirer davantage de personnes dans le domaine.
Communication sur la nécessité d’un changement de politique : si on veut convaincre les gens qu’il faudra faire des choses coûteuses ou drastiques, il vaut mieux expliquer clairement ce que nous cherchons à réaliser et pourquoi c’est important.
La recherche tactique long-termiste en IA vise à identifier des moyens qui permettront d’atteindre des objectifs de haut niveau (que la recherche stratégique a identifiés comme étant une priorité). Elle tend à avoir une portée plus étroite par nature.
Il convient de noter qu’il peut y avoir des raisons de faire de la recherche tactique même si vous n’avez pas de priorité clairement identifiée : pour votre propre apprentissage, votre capital carrière et pour contribuer à la construction d’un domaine académique.
Plan : développer un outil pour distribuer les bénéfices de l’IA pour le bien commun.
Objectifs de haut niveau poursuivis par ce plan : réduire les incitations qui pourraient pousser les acteurs à faire la course pour être les premiers à développer l’IA avancée ; réduire les inégalités économiques.
Plan : développer des pratiques permettant aux développeurs d’IA de rendre leurs propres affirmations sur le développement de l’IA plus vérifiables (c’est-à-dire des affirmations sur lesquelles les développeurs peuvent être tenus responsables).
Objectifs de haut niveau poursuivis par ce plan : développer des mécanismes permettant de démontrer le comportement responsable des systèmes d’IA ; permettre une surveillance plus efficace ; réduire les pressions visant à rogner sur les coûts pour obtenir un avantage concurrentiel.
Plan : proposer des moyens d’atténuer les tensions entre le droit de la concurrence et la nécessité d’un développement coopératif de l’IA
Objectif de haut niveau poursuivi par ce plan : accroître la coopération entre les entreprises qui développent une IA avancée.
Explications de l’impact
Impact direct : créer des solutions qui servent à prendre de meilleures décisions (dans la politique et la recherche future).
C’est ce qu’Allan Dafoe appelle le « modèle de recherche par le produit ».
Impact indirect : même si toutes les solutions ne sont pas utilisées pour prendre de meilleures décisions, elles contribueront à élargir le domaine des personnes qui s’intéressent aux questions de gouvernance long-termiste de l’IA, et à améliorer la compréhension, l’expertise, les relations et la crédibilité des chercheurs.
C’est ce qu’Allan Dafoe appelle le « modèle de recherche par le développement du domaine ».
Élaboration, défense et mise en œuvre des politiques
La recherche stratégique produit des objectifs de haut niveau. La recherche tactique reprend ces objectifs et propose des moyens de les atteindre. Le travail d’élaboration des politiques traduit ces moyens en recommandations politiques prêtes à être présentées aux décideurs. Il s’agit de déterminer (par exemple) quelle demande précise formuler, quel langage utiliser (à la fois dans la politique formelle et dans la demande) et d’autres caractéristiques spécifiques au contexte qui affecteront la probabilité d’une mise en œuvre réussie.
Le travail de défense des politiques consiste à plaider en faveur de la mise en œuvre des politiques, par exemple en déterminant qui est la meilleure personne pour présenter la politique, à qui et à quel moment.
La mise en œuvre des politiques est le travail de mise en pratique des politiques par les fonctionnaires ou les entreprises.
Il convient de distinguer la politique gouvernementale (c’est-à-dire la politique destinée à être adoptée par les gouvernements ou les organisations intergouvernementales) de la politique d’entreprise (c’est-à-dire la politique destinée à être adoptée par les entreprises). Certaines personnes travaillant sur la gouvernance long-termiste de l’IA se concentrent sur l’amélioration de la politique des entreprises (en particulier les politiques des développeurs d’IA), tandis que d’autres personnes dans le domaine se concentrent sur l’amélioration des politiques des gouvernements concernés.
Une motivation commune à tous les travaux sur les politiques est que les détails de la mise en œuvre sont souvent considérés comme essentiels à la réussite de l’élaboration des politiques. Par exemple, si une réglementation gouvernementale comporte une faille subtile, cela peut la rendre inutile.
Par rapport à la recherche, ce type de travail tend à impliquer relativement moins de réflexion individuelle et relativement plus de conversations et de collecte d’informations (par exemple, organiser des réunions pour savoir qui a autorité sur une politique, ce qui leur tient à cœur et ce que les autres acteurs attendent d’une politique) ainsi que de coordination (par exemple, déterminer comment amener un groupe d’acteurs à soutenir une politique, puis faire en sorte que cela se produise).
Comme je l’ai déjà mentionné, la compréhension de la politique se fait parfois « à rebours ». Par exemple, l’élaboration d’une politique peut se faire de manière itérative en fonction de l’évolution de vos connaissances (et du paysage politique) en réponse au plaidoyer.
Exemples
Politique gouvernementale :
S’engager à ne pas incorporer la technologie de l’IA dans le commandement, le contrôle et les communications nucléaires (NC3), comme le préconise par exemple le CLTR dans son rapport Future Proof.
Sensibiliser la réglementation naissante ou les stratégies/principes de l’IA aux risques des systèmes d’IA avancés (ainsi que des systèmes actuels), par exemple les commentaires de divers organismes d’évaluation environnementale sur la loi européenne sur l’IA.
Politique d’entreprise :
Élaboration de normes pour la diffusion responsable de la recherche sur l’IA, compte tenu de son potentiel d’utilisation abusive, par exemple les recommandations du PAI.
Ces idées varient sur un spectre allant du plus ciblé (par exemple, ne pas intégrer l’IA dans le NC3) au plus général (dans le sens de la création d’une capacité générale de traiter une large catégorie de problèmes qui se poseront probablement, par exemple, la plupart des problèmes mentionnés ci-dessus). Je pense que l’élaboration, la défense et la mise en œuvre des politiques devraient aujourd’hui se concentrer sur des idées plus générales, compte tenu de nos incertitudes quant à l’évolution de l’IA (tout en encourageant des idées spécifiques manifestement bonnes, lorsqu’elles se présentent).
Explications de l’impact
Impact direct : la mise en place de bonnes politiques augmente nos chances de réussir la transition vers un monde doté d’une IA avancée.
Impact indirect : même si l’on ne peut être sûr qu’une idée politique est véritablement bonne, le fait de la développer, de la défendre ou de la mettre en œuvre contribuera à renforcer les connaissances, l’expertise, les relations et la crédibilité des personnes long-termistes qui s’occupent de la gouvernance de l’IA. Nous ne voulons pas arriver à un « moment critique »e pour l’IA et commencer à apprendre à élaborer des politiques et à prendre des décisions seulement à ce moment-là.
Cela dit, nous devons être très prudents dans la mise en œuvre de politiques qui pourraient s’avérer préjudiciables, par exemple en limitant l’élaboration de politiques futures.
Il s’agit d’un travail qui vise explicitement à développer le domaine ou la communauté de personnes qui effectuent un travail précieux dans la gouvernance long-termiste de l’IA.f On peut considérer que ce travail implique à la fois (1) d’amener de nouvelles personnes et (2) de rendre le domaine plus efficace.
des programmes ou des cours en ligne pour aider les jeunes à se tenir au courant de ce qui se passe dans le domaine de la gouvernance de l’IA ;
du matériel d’introduction de haute qualité, largement attrayant, qui s’adresse à de nombreux étudiants de premier cycle ;
des bourses de recherche plus extensibles pour mettre en relation, soutenir et accréditer les jeunes intéressés.
Rendre le domaine plus efficace en créant
des programmes de recherche
des moyens permettant aux chercheurs confirmés d’embaucher facilement des assistants de recherche.g
Explications de l’impact
Modèle de croissance : construire un domaine de gouvernance long-termiste de l’IA avec beaucoup de personnes alignées ayant la capacité et l’expertise pertinente pour effectuer un travail de recherche et de politique important (peut-être surtout lorsque ce travail est moins entravé par le manque de clarté stratégique).
Modèle de métropoleh : construire un domaine de gouvernance long-termiste de l’IA ayant des liens denses avec des communautés plus larges (par exemple, en politique, en sciences sociales, en apprentissage automatique), de sorte que le domaine puisse s’appuyer sur une expertise diversifiée de ces communautés.
Qui s’en charge ?
GovAI, OpenPhil, SERI, CERI, CHERI et EA Cambridge. Plus largement, tout ce qui touche à la construction du mouvement de l’AE axée sur des causes générales. Il s’agit du type de travail le moins exploré dans ce billet.
Autres points de vue sur le paysage de la gouvernance long-termiste de l’IA
Je n’ai présenté qu’une seule vision possible du paysage de la gouvernance long-termiste de l’IA – il en existe évidemment d’autres, qui peuvent être plus utiles à d’autres fins. Par exemple, on pourrait découper le paysage en fonction de différents types d’interventions, tels que :
Modifier les discussions existantes dans l’espace politique pour les rendre plus sensibles au risque x de l’IA (par exemple, en sensibilisant à la difficulté d’assurer les systèmes d’IA de pointe).
Proposer de nouveaux outils politiques (par exemple, des normes internationales en matière d’IA)
Obtenir des gouvernements qu’ils financent la recherche sur la sécurité de l’IA
Modifier le comportement des entreprises (par exemple, la clause d’aubaine).
…
On pourrait également découper les activités par pôle géographique (bien que toutes les organisations ne fassent pas partie d’un pôle géographique) :
Bay Area : OpenPhil, OpenAI, PAI, diverses organisations d’alignement de l’IA. En moyenne, elles se concentrent davantage sur le mauvais alignement en tant que source de risque x pour l’IA ; culturellement, elles sont plus proches de la Silicon Valley et des cultures de la rationalité.
DC : gouvernement américain, CSET. Se concentre sur l’élaboration, la défense et la mise en œuvre des politiques américaines ; culturellement plus proche de la culture de Washington.
Royaume-Uni : FHI/GovAI, DeepMind, gouvernement britannique, CSER, CLTR, (autres ?). En moyenne, plus d’inquiétude concernant un plus large éventail de sources de risques x de l’IA.
L’UE. En 2020, la Commission européenne a rédigé la première réglementation mondiale sur l’IA, qui sera probablement adoptée dans les prochaines années et pourrait avoir un Effet Bruxelles.
La Chine.
…
On pourrait aussi découper le paysage en fonction de différentes « théories de la victoire », c’est-à-dire d’explications complètes sur la façon dont l’humanité peut réussir la transition vers un monde doté d’une IA avancée. Il y aurait encore beaucoup à dire sur tout cela ; l’objectif de ce billet était simplement de donner un aperçu concis des types de travaux en cours.
Remerciements : il s’agit de ma propre synthèse du paysage, mais elle est inspirée et/ou s’inspire directement des messages du forum EA d’Allan Dafoe, de Luke Muehlhauser et de Convergence Analysis. Je remercie également Jess Whittlestone pour ses conversations utiles, ainsi que Matthijs Maas, Yun Gu, Konstantin Pilz, Caroline Baumöhl et surtout un évaluateur du SERI pour ses commentaires sur une version préliminaire.
