Gouvernance de l’IA et politique

Alors que le progrès des capacités de l’IA a reçu beaucoup d’attention en fin d’année 2022 et en 2023, l’intérêt porté à la gouvernance et à la réglementation de ces systèmes s’est accru. Le débat autour des risques catastrophiques potentiels d’une IA désalignée ou incontrôlable a pris de l’ampleur, ouvrant potentiellement la voie à des mesures politiques susceptibles d’atténuer les menaces.

Un grand nombre d’incertitudes subsistent quant à savoir quelles seraient les meilleures stratégies de gouvernance de l’IA. Beaucoup ont proposé des politiques et des stratégies visant à réduire les risques les plus importants, que nous examinons ci-dessous.

Cependant, il est impossible de s’appuyer sur des repères établis. Le débat sur les mesures à prendre est loin d’être clos et il se peut que nous n’ayons pas encore trouvé les meilleures idées dans ce domaine. Quoi qu’il en soit, il reste encore beaucoup à faire pour déterminer la manière dont les politiques et les stratégies prometteuses fonctionneraient en pratique. Nous espérons voir davantage de personnes entrer dans ce domaine pour développer une expertise et des compétences qui contribueront à une gouvernance et à une politique de l’IA qui réduisent les risques.

Résumé

En bref: Les systèmes d’IA avancés pourraient avoir des répercussions massives sur l’humanité et potentiellement causer des risques catastrophiques mondiaux. La gouvernance de l’IA, un vaste domaine, offre des opportunités de façonner favorablement la manière dont la société répond et se prépare aux défis posés par la technologie. Compte tenu de l’importance des enjeux, poursuivre cette carrière pourrait être l’option au plus fort impact pour beaucoup. Mais il convient de faire preuve d’une grande prudence afin de ne pas accidentellement accroître les menaces au lieu de les atténuer.

Recommandation

Si cette carrière est adaptée à votre profil, il pourrait s’agir de la meilleure façon pour vous d’avoir un impact social.

Bilan actuel

Sur la base d’une enquête approfondie⁠a.

Ce que vous faites présente un gigantesque potentiel et un gigantesque danger. — Joe Biden, président des États-Unis, aux dirigeants des plus grandes entreprises d’IA

Pourquoi il pourrait s’agir d’une carrière à fort impact

L’intelligence artificielle a progressé rapidement. En 2022 et 2023, de nouveaux modèles de langage et de génération d’images ont fortement attiré l’attention par leurs capacités, surpassant nettement ce qui se faisait jusqu’à présent.

Et leurs applications sont toutes récentes ; avec davantage d’ajustements et d’intégration dans la société, les systèmes d’IA existants pourraient devenir plus faciles à utiliser et plus omniprésents.

Nous ignorons où tous ces développements nous mèneront. Il y a des raisons d’être optimiste et de penser que l’IA finira par nous aider à résoudre de nombreux problèmes mondiaux en augmentant le niveau de vie et en nous aidant à construire une société plus florissante.

Mais il existe aussi des risques importants. L’IA avancée pourrait être utilisée pour causer beaucoup de tort. Et nous craignons qu’elle ne conduise accidentellement à une catastrophe majeure — et peut-être même qu’elle ne provoque un fort affaiblissement ou une extinction de l’humanité. Nous examinons les arguments en faveur de l’existence de ces risques dans notre profil de problème approfondi.

En raison de ces risques, nous encourageons les gens à s’efforcer de trouver des moyens de réduire le danger par la recherche technique et l’ingénierie.

Mais des stratégies variées sont nécessaires pour réduire les risques. En particulier, des politiques publiques et une gouvernance des entreprises pourraient être requises pour faire en sorte que l’IA avancée soit largement bénéfique et présente peu de risques.

La gouvernance renvoie en général aux processus, structures et systèmes qui assurent la prise de décision à un niveau élevé pour les organisations et les sociétés. Dans le cas de l’IA, les structures de gouvernance les plus importantes seront probablement les gouvernements nationaux et les organisations qui développent l’IA — ainsi que certaines organisations internationales et peut-être des gouvernements infranationaux.

Les objectifs de la gouvernance de l’IA pourraient être les suivants :

• Empêcher le déploiement de tout système d’IA présentant un risque significatif et direct de catastrophe.
• Limiter l’impact néfaste de la technologie de l’IA sur d’autres risques de catastrophe, tels que ceux relatifs aux armes nucléaires et à la biotechnologie
• Encadrer l’intégration de la technologie de l’IA dans notre société et notre économie au bénéfice du plus grand nombre et en limitant les dommages
• Réduire le risque d’une « course aux armements de l’IA » entre les nations et entre les entreprises
• Veiller à ce que les développeurs d’IA avancées soient incités à être coopératifs et soucieux de la sûreté
• Ralentir le développement et le déploiement de nouveaux systèmes si les progrès sont susceptibles d’aller plus vite que notre capacité à les garder sans danger et sous contrôle.

Il est nécessaire d’établir une communauté de spécialistes qui comprennent les systèmes d’IA modernes et le domaine politique, ainsi que les menaces graves et les solutions potentielles. Ce secteur est encore jeune ; de nombreuses pistes ne sont pas clairement définies et ne sont pas sûres d’aboutir. Mais il existe des parcours professionnels pertinents qui vous fourniront un capital professionnel précieux pour une variété de postes et de types de fonctions.

La suite de cet article explique en quoi consiste le travail dans ce domaine, comment vous pouvez développer votre capital professionnel et tester votre adéquation, et présente quelques lieux de travail prometteurs.

Quels types de travaux pour la gouvernance de l’IA ?

Il existe de nombreuses façons de poursuivre des stratégies de gouvernance de l’IA, et à mesure que le domaine gagnera en maturité, les voies devraient se clarifier et se consolider.

En règle générale, nous pensons que les personnes en début de carrière ne devraient pas chercher à obtenir un emploi spécifique à fort impact. Elles devraient plutôt chercher à développer des compétences, de l’expérience, des connaissances, une capacité de jugement, des réseaux et des qualifications — ce que nous appelons le capital professionnel — dont elles pourront se servir plus tard pour avoir un impact.

Cela peut impliquer de suivre un parcours de carrière standard ou d’évoluer dans différents types de fonctions. Parfois, il suffit de postuler à de nombreux postes différents et de tester son aptitude à effectuer différents types de missions avant de savoir ce que l’on sait faire. Plus important encore, vous devriez essayer d’exceller dans un domaine avec lequel vous avez une forte adéquation personnelle et qui vous permettra de contribuer à la résolution de problèmes pressants.

Dans le domaine de la gouvernance de l’IA, nous avons identifié au moins six grandes catégories d’activités que nous jugeons importantes :

• Travail gouvernemental
• Recherche en politique et stratégie en IA
• Travail dans l’industrie
• Plaidoyer et lobbying
• Audit et évaluation par des tiers
• Travail et coordination au niveau international

Réfléchir aux différents types de capital professionnel qui sont utiles pour les catégories d’activités qui vous attirent peut vous indiquer les prochaines étapes de votre parcours. (Nous examinons ci-dessous comment évaluer votre aptitude et intégrer un domaine.)

Il se peut que vous souhaitiez passer d’une catégorie d’activité à l’autre à différents moments de votre carrière. Vous pouvez également tester votre aptitude à occuper différents postes en effectuant des stages, des missions, des contrats temporaires, en occupant des emplois de premier échelon, ou même en effectuant des recherches indépendantes, autant d’activités qui peuvent servir de capital professionnel pour toute une série de parcours.

Nous avons également examiné les possibilités de carrières dans la recherche et l’ingénierie en matière de sûreté technique de l’IA, la sécurité de l’information et l’expertise relative au hardware des IA, qui peuvent être cruciales pour réduire les risques liés à l’IA. Ces domaines peuvent également jouer un rôle important dans un programme de gouvernance efficace. Les personnes qui envisagent sérieusement de faire carrière dans la gouvernance de l’IA devraient également se familiariser avec ces domaines.

Travail gouvernemental

Occuper un poste au sein d’un gouvernement influent pourrait vous aider à jouer un rôle important dans l’élaboration, la promulgation et l’application de politiques en matière d’IA.

Il est généralement admis que le gouvernement fédéral américain est l’acteur le plus important de la gouvernance de l’IA dans un avenir proche. Cela est dû à son influence mondiale et à sa juridiction sur une grande partie de l’industrie de l’IA, y compris les entreprises d’IA les plus importantes telles que Anthropic, OpenAI et Google DeepMind. Les États-Unis ont également autorité sur des éléments clés de la chaîne d’approvisionnement en puces d’IA. Une grande partie de cet article se concentre donc sur la politique et le gouvernement des États-Unis⁠b.

Mais d’autres gouvernements et institutions internationales sont également concernés. Par exemple, le gouvernement britannique, l’Union européenne, la Chine, et d’autres peuvent fournir des opportunités pour un travail de gouvernance de l’IA à fort impact. Certains gouvernements d’États américains, comme la Californie, peuvent offrir la possibilité d’avoir un fort impact et d’acquérir un capital professionnel.

En quoi consisterait ce travail ? Les sections ci-dessous examinent comment intégrer le secteur politique américain et quelles sphères du gouvernement pourraient s’avérer intéressantes.

En 2023, les gouvernements des États-Unis et du Royaume-Uni ont annoncé la création de nouveaux instituts pour la sûreté de l’IA — qui devraient tous deux fournir de précieuses opportunités en matière de capital professionnel et d’impact potentiel.

Mais plus généralement, les personnes souhaitant influencer positivement la politique de l’IA devraient acquérir des compétences et de l’expérience permettant d’accéder aux sphères du gouvernement ayant un lien avec la politique de l’IA ou des technologies émergentes.

Il peut s’agir de postes dans : les organes législatifs, la réglementation nationale, la sécurité nationale, la diplomatie, l’allocation et la planification budgétaire, ou d’autres domaines politiques.

Si vous pouvez obtenir un emploi qui traite déjà directement de ce sujet, par exemple dans l’un des instituts de sûreté de l’IA ou auprès d’un législateur qui s’intéresse à l’IA, cela pourrait être une excellente opportunité.

Sinon, vous devriez chercher à en apprendre le plus possible sur le fonctionnement des politiques et sur les postes gouvernementaux qui pourraient vous permettre d’avoir le plus fort impact. Essayez de vous établir comme quelqu’un qui connaît bien le paysage politique de l’IA. Occuper presque n’importe quel poste gouvernemental significatif qui touche à un aspect de l’IA, ou posséder des qualifications impressionnantes en lien avec l’IA, peut suffire pour aller assez loin.

L’une des façons de faire progresser votre carrière au sein du gouvernement sur un sujet spécifique consiste à « gagner en visibilité ». Il s’agit d’utiliser votre position pour vous renseigner sur le milieu et pour entrer en contact avec les protagonistes et les institutions du domaine politique. Il vous faudra établir des liens avec d’autres acteurs du monde politique, être invité à des rencontres avec d’autres fonctionnaires et organismes, et recevoir des sollicitations pour contribuer aux décisions. Si vous parvenez à vous imposer comme spécialiste reconnu sur un aspect important mais négligé de la question, vous aurez plus de chances de participer aux discussions et événements clés.

On peut schématiquement répartir les carrières au sein de l’administration publique comme suit :

• Trajectoire gouvernementale classique : Il s’agit d’entrer dans l’administration à un poste relativement modeste et de gravir les échelons de la hiérarchie. Pour avoir le plus d’impact possible, l’idéal est d’atteindre les échelons supérieurs en faisant preuve de persévérance, en nouant des relations, en acquérant des compétences et de l’expérience, et en obtenant des promotions. Vous pouvez évoluer entre les différentes agences, les départements ou les services.
• Capital de carrière spécialisé : Vous pouvez également entrer et sortir de l’administration publique tout au long de votre carrière. Les personnes qui suivent cette trajectoire travaillent également dans des organisations à but non lucratif, des groupes de réflexion, le secteur privé, des entreprises publiques, des partis politiques, des universités et d’autres organisations. Mais elles s’efforceront avant tout de devenir des experts dans un domaine, tel que l’IA. Il peut être plus difficile d’obtenir de l’ancienneté de cette manière, mais la valeur de l’expertise peut parfois être supérieure à la valeur de l’ancienneté.
• Travail à impact direct : Certaines personnes accèdent à des postes dans l’administration sans avoir de plan à long terme pour construire un capital professionnel parce qu’elles y voient une opportunité d’avoir un impact direct et immédiat. Il peut s’agir de se voir confier la direction d’une commission importante ou d’apporter une contribution précieuse à un projet urgent. Cette stratégie ne constitue pas nécessairement un plan de carrière, mais il est bon de savoir qu’il s’agit d’une option qui peut éventuellement s’avérer intéressante.

Pour en savoir plus sur la manière d’évaluer votre adéquation et de commencer à développer un capital professionnel utile, consultez notre article sur les compétences politiques.

Recherche en politique et stratégie en IA

Il reste beaucoup de recherches à effectuer sur les stratégies de gouvernance de l’IA et leur mise en œuvre. Des mesures politiques plus concrètes sont nécessaires pour commencer à s’attaquer aux menaces les plus sérieuses. L’élaboration de telles politiques et l’approfondissement de notre compréhension des besoins stratégiques de la gouvernance de l’IA sont des priorités majeures.

D’autres recherches appropriées pourraient inclure des sondages d’opinion publique et de spécialistes, des recherches juridiques sur la faisabilité des politiques proposées, des recherches techniques sur des questions telles que la gouvernance du calcul, et même des recherches théoriques de plus haut niveau sur des questions relatives aux implications sociétales de l’IA avancée.

Certaines recherches, comme celles menées par Epoch AI, sont axées sur la prévision de l’évolution de l’IA, ce qui peut influencer les décisions en matière de gouvernance de l’IA.

Cependant, plusieurs spécialistes avec lesquels nous nous sommes entretenus nous ont averti qu’un grand nombre de recherches sur la gouvernance de l’IA pourraient s’avérer inutiles. Il est donc important de faire preuve de réflexion et de solliciter les opinions d’autres personnes du domaine pour savoir quel type de contribution vous pouvez apporter. Nous répertorions plusieurs organismes de recherche ci-dessous qui, selon nous, poursuivent des recherches prometteuses sur ce sujet et pourraient fournir un accompagnement utile.

Pour tester votre aptitude à ce travail — surtout au début —, vous pouvez par exemple rédiger des analyses et des réponses aux travaux existants sur la politique en matière d’IA ou étudier certaines questions dans ce domaine qui n’ont pas reçu beaucoup d’attention. Vous pouvez ensuite partager votre travail à grande échelle, le soumettre à l’avis de personnes travaillant dans ce domaine, et évaluer dans quelle mesure vous appréciez ce travail et comment vous pourriez contribuer à ce domaine.

Mais ne passez pas trop de temps à tester votre aptitude sans faire beaucoup de progrès, et notez que certaines personnes sont plus à même de contribuer lorsqu’elles travaillent en équipe. N’investissez donc pas trop dans le travail indépendant, surtout s’il y a peu de signes qu’il vous convient particulièrement bien. Ce type de projet peut se justifier pour un mois ou un peu plus, mais il est peu probable que ce soit une bonne idée d’y consacrer beaucoup plus de temps sans financement ou sans un retour d’information vraiment encourageant de la part des personnes travaillant dans ce domaine.

Si vous avez l’expérience nécessaire pour occuper un poste de recherche, vous pouvez travailler sur la gouvernance de l’IA dans les universités, les organisations à but non lucratif et les groupes de réflexion. Certaines agences et commissions gouvernementales effectuent également des recherches utiles.

Notez que les universités et les milieux académiques ont leurs propres priorités et incitations qui ne sont souvent pas alignées sur la production de travaux à fort impact. Si vous êtes un chercheur déjà établi et titularisé, il peut être très utile de vous tourner vers des travaux sur la gouvernance de l’IA — votre position peut même vous donner une plateforme crédible à partir de laquelle vous pouvez défendre des idées importantes.

Mais si vous commencez tout juste une carrière dans la recherche et que vous souhaitez vous concentrer sur ces questions, vous devriez évaluer attentivement si c’est au sein du monde académique que vous recevrez le meilleur soutien. Par exemple, si vous connaissez un programme spécifique avec des mentors particuliers qui vous aideront à trouver des réponses à des questions cruciales dans ce domaine, cela pourrait être intéressant. Nous sommes moins enclins à encourager les personnes qui suivent cette voie pour occuper des postes universitaires génériques sans avoir une idée claire de la manière dont elles peuvent mener des recherches importantes sur la gouvernance de l’IA.

Des diplômes d’études supérieures en politique ou dans des domaines techniques pertinents peuvent cependant s’avérer utiles — voir plus de détails à ce sujet dans la section comment évaluer votre adéquation et démarrer.

Vous pouvez également en apprendre davantage dans notre article sur comment faire carrière dans la recherche.

Travail dans l’industrie

Les politiques internes et la gouvernance de l’IA au sein même des plus grandes entreprises d’IA sont également importantes pour atténuer les risques liés à l’IA.

Au plus haut niveau, décider qui siège aux conseils d’administration des entreprises, quel type d’influence ont ces conseils et quelles incitations orientent l’organisation peut avoir un fort impact sur les choix effectués par une entreprise. Nombre de ces postes sont occupés par des personnes ayant une grande expérience de gestion et de direction d’organisations, par exemple en ayant fondé et dirigé des entreprises.

Si vous rejoignez l’équipe décisionnelle d’une grande entreprise, vous pouvez modéliser les menaces et contribuer à l’élaboration, à la mise en œuvre et à l’évaluation de propositions visant à réduire les risques. De plus, vous pouvez établir un consensus autour des meilleures pratiques, telles qu’une sécurité de l’information solide, le recours à des évaluateurs externes pour trouver les vulnérabilités et les comportements dangereux dans les systèmes d’IA (simulation d’adversité), et l’expérimentation des dernières techniques issues du domaine de la sécurité de l’IA.

Et si, comme nous nous y attendons, les entreprises d’IA sont confrontées à une surveillance croissante de la part des gouvernements, assurer la conformité avec les lois et réglementations appropriées sera une priorité majeure. Communiquer avec les acteurs gouvernementaux et faciliter la coordination depuis l’intérieur des entreprises pourrait constituer un travail à fort impact.

En général, il semble préférable que les entreprises d’IA soient très coopératives entre elles⁠c et avec les groupes extérieurs qui cherchent à minimiser les risques. Et cela ne semble pas être un vœu pieux — de nombreux chefs de file de l’industrie ont exprimé leur inquiétude quant aux risques catastrophiques et ont même appelé à une réglementation de la technologie pionnière qu’ils sont en train de créer.

Cela dit, la coopération demandera probablement beaucoup d’efforts. Les entreprises qui fabriquent des systèmes d’IA puissants peuvent résister à certaines politiques de réduction des risques, car elles seront fortement incitées à commercialiser leurs produits. Il sera donc bénéfique d’obtenir l’adhésion des principaux acteurs du milieu, d’accroître la confiance et le partage d’informations, et de parvenir à un consensus autour de stratégies de sécurité de haut niveau.

Plaidoyer et lobbying

Les personnes extérieures au gouvernement ou aux entreprises d’IA peuvent influencer les politiques publiques et la gouvernance des entreprises par des actions de plaidoyer et de lobbying.

Le plaidoyer est un terme général pour désigner les efforts visant à promouvoir certaines idées et à façonner le discours public, souvent autour de sujets liés à la politique. Le lobbying est un effort plus ciblé visant à influencer la législation et la réglementation, souvent en dialoguant avec des législateurs et d’autres fonctionnaires.

Si vous pensez que les entreprises d’IA seraient disposées à plaider en faveur d’une réglementation globalement bénéfique, une collaboration avec elles pourrait pousser les gouvernements à adopter des politiques spécifiques. Il est plausible que les entreprises d’IA soient celles qui comprennent le mieux la technologie, ainsi que les risques, les mécanismes de défaillance et les voies les plus sûres — et qu’elles soient donc les mieux placées pour informer les décideurs politiques.

D’un autre côté, les entreprises d’IA pourraient avoir trop d’intérêts directs dans le contenu des réglementations pour plaider de manière fiable en faveur de politiques bénéfiques au plus grand nombre. Dans ce cas, il peut être préférable de rejoindre ou de créer des organisations de défense des intérêts sans lien avec l’industrie — éventuellement soutenues par des dons — qui peuvent adopter des positionnements opposés aux intérêts commerciaux.

Par exemple, certaines personnes estiment qu’il serait préférable de ralentir ou de stopper délibérément le développement de modèles d’IA de plus en plus puissants. Les partisans de cette mesure pourraient l’exiger des entreprises elles-mêmes ou des pouvoirs publics. Mais promouvoir cette mesure pourrait être difficile pour les personnes impliquées dans les entreprises qui créent des systèmes d’IA avancés.

Il est également possible que ce soit l’équilibre entre les perspectives internes et externes à l’industrie qui aboutisse aux meilleurs résultats.

Le plaidoyer peut aussi :

• Mettre en lumière des approches négligées mais prometteuses de la gouvernance qui ont été découvertes par la recherche
• Faciliter le travail des décideurs politiques en montrant que le public soutient les mesures de gouvernance
• Créer des passerelles entre la recherche, les décideurs politiques, les médias et le public en communiquant des idées complexes de manière accessible
• Faire pression sur les entreprises pour qu’elles agissent avec plus de prudence
• Changer le sentiment du public à l’égard de l’IA et décourager les comportements irresponsables des acteurs individuels

Notez toutefois que le plaidoyer peut parfois avoir des effets contraires à ceux escomptés, car il n’est pas facile de prédire comment une information sera reçue. Sachez que :

• Attirer l’attention sur un domaine d’action peut parfois déclencher un retour de bâton
• Certains styles de rhétorique peuvent aliéner les gens ou polariser l’opinion publique
• La diffusion de messages erronés peut vous discréditer et discréditer les autres

Il est important de garder ces risques à l’esprit et de consulter d’autres personnes (en particulier celles que vous respectez mais avec lesquelles vous pourriez être en désaccord sur le plan tactique). Vous devez également vous informer en profondeur sur le sujet avant de le présenter au public.

Pour en savoir plus, consultez la section causer du tort ci-dessous. Nous vous recommandons également de lire notre article sur les façons dont les personnes qui essaient de faire le bien aggravent accidentellement les choses et comment éviter cela. Enfin, il peut être utile de lire notre article sur les compétences nécessaires pour communiquer sur des idées importantes.

Étude de cas : la déclaration du Center for AI Safety

En mai 2023, le Center for AI Safety (Centre pour la sûreté de l’IA) a publié une déclaration ne comportant qu’une seule phrase : « Atténuer le risque d’extinction par l’IA devrait constituer une priorité mondiale au même titre que d’autres risques pour nos sociétés, tels que les pandémies et la guerre nucléaire. ».

Fait notable, la déclaration a été soutenue par plus de 100 signataires, dont des responsables de grandes entreprises d’IA, notamment OpenAI, Google Deepmind et Anthropic, ainsi que des chercheurs de premier plan dans le domaine, Geoffrey Hinton et Yoshua Bengio. Y figurent également un membre du Congrès américain, d’autres fonctionnaires, des économistes, des philosophes, des responsables d’entreprises etc.

Cette déclaration a attiré l’attention des médias du moment, et le Premier ministre britannique Rishi Sunak et le secrétaire de presse de la Maison Blanche ont tous deux réagi à la déclaration en exprimant leur inquiétude. Le gouvernement britannique et le gouvernement américain ont depuis lors pris des mesures pour commencer à faire face à ces risques.

La déclaration a également contribué à clarifier et à éclairer le discours sur les risques de l’IA, en montrant que s’inquiéter de catastrophes de l’ampleur de l’extinction humaine n’est pas une préoccupation marginale.

Audit et évaluation par des tiers

Si des mesures réglementaires pour réduire les risques de l’IA avancée sont instaurées, certaines agences et organisations extérieures devront auditer les entreprises et les systèmes pour s’assurer que les réglementations sont respectées.

Les gouvernements s’appuient souvent sur des auditeurs tiers dans le cadre de la réglementation, car ils ne disposent pas d’une grande partie de l’expertise dont dispose le secteur privé. À notre connaissance, il n’existe pas beaucoup d’opportunités dans l’audit lié à l’IA, mais ces fonctions jouent un rôle essentiel dans le cadre d’une gouvernance de l’IA efficace.

Les entreprises d’IA et les systèmes d’IA qu’elles créent peuvent faire l’objet d’audits et d’évaluations par souci de sûreté.

Une organisation à but non lucratif, Model Evaluation and Threat Research (METR, anciennement ARC Evals), a été à l’avant-garde des travaux visant à évaluer les capacités des modèles d’IA avancés.⁠d Début 2023, l’organisation s’est associée à deux entreprises d’IA de premier plan, OpenAI et Anthropic, pour évaluer les capacités des dernières versions de leurs modèles de chatbot avant leur mise en circulation. Ils ont cherché à déterminer si les modèles avaient des capacités potentiellement dangereuses dans un environnement contrôlé.

Les entreprises ont volontairement coopéré avec le METR pour ce projet, mais à l’avenir, ces évaluations pourraient être légalement requises.

D’autres types d’audit et d’évaluation pourraient également être exigés. Le METR a déclaré qu’il avait pour projet de développer des méthodes pour déterminer quels modèles sont correctement alignés — c’est-à-dire que leur comportement est conforme aux attentes des usagers — avant leur mise sur le marché.

Les gouvernements peuvent également faire appel à des auditeurs pour évaluer la puissance de calcul à laquelle les développeurs d’IA ont accès, leurs pratiques en matière de sécurité de l’information, l’utilisation des modèles, les données utilisées pour former les modèles, etc.

Acquérir les compétences techniques et les connaissances nécessaires pour réaliser ce type d’évaluations, et rejoindre les organisations qui seront chargées de les réaliser, pourrait être le point de départ d’une carrière à fort impact. Ce type de travail devra probablement être effectué par des personnes sachant faire face à des relations complexes entre l’industrie et les pouvoirs publics. Une personne ayant de l’expérience dans les deux secteurs pourrait avoir beaucoup à apporter.

Certaines de ces fonctions peuvent se recouper avec le travail dans la recherche sur la sûreté technique de l’IA.

Travail et coordination au niveau international

États-Unis-Chine

Si vous avez le profil adéquat, travailler à développer la coordination avec la Chine sur le développement sûr de l’IA pourrait être une carrière particulièrement forte en impact.

Le gouvernement chinois joue un rôle majeur dans le financement de l’IA, et le pays compte des entreprises technologiques géantes qui pourraient potentiellement stimuler les avancées.

Compte tenu des tensions entre les États-Unis et la Chine, et des risques posés par l’IA avancée, il y a beaucoup à gagner à accroître la confiance, la compréhension et la coordination entre les deux pays. Le monde se portera probablement beaucoup mieux si nous pouvons éviter un conflit entre grandes puissances et si les acteurs les plus importants des technologies émergentes peuvent éviter d’aviver tout risque mondial.

Nous avons écrit une revue de carrière distincte qui explore plus en profondeur les voies liées à la sûreté et la gouvernance de l’IA en relation avec la Chine.

Autres gouvernements et organisations internationales

Comme indiqué précédemment, notre attention porte principalement sur la politique des États-Unis et les rôles des gouvernements. Cela s’explique en grande partie par le fait que nous pensons que les États-Unis sont aujourd’hui l’acteur le plus important en matière de réglementation de l’IA et qu’ils continueront probablement à l’être, quoique la Chine puisse faire exception, comme évoqué dans la section précédente.

Mais de nombreuses personnes souhaitant travailler sur cette question ne peuvent pas ou ne veulent pas travailler sur la politique américaine — peut-être parce qu’elles vivent dans un autre pays et n’ont pas l’intention de déménager.

Une grande partie des conseils ci-dessus reste valable pour ces personnes, car il est possible de jouer un rôle dans la recherche et la défense de la gouvernance de l’IA en dehors des États-Unis⁠e. Et bien que nous ne pensions pas que cela ait généralement un impact attendu aussi élevé que le fait de travailler pour le gouvernement américain, les opportunités offertes par d’autres gouvernements et organisations internationales peuvent être complémentaires au travail à effectuer aux États-Unis.

Le Royaume-Uni, par exemple, pourrait receler d’excellentes possibilités de travailler sur la politique de l’IA en complément du travail mené aux États-Unis. De hauts responsables britanniques ont exprimé leur intérêt pour l’élaboration d’une politique de l’IA, une nouvelle agence internationale et la réduction des risques existentiels. Et le gouvernement britannique a annoncé en 2023 la création d’un groupe de travail sur les modèles d’IA de fondation pour faire avancer la recherche sur la sûreté.

L’Union européenne a démontré que ses normes de protection des données — le Règlement général sur la protection des données (RGPD) — affectent le comportement des entreprises bien au-delà de ses frontières géographiques. Les responsables de l’UE ont également fait avancer la réglementation de l’IA, et certaines recherches ont exploré l’hypothèse selon laquelle l’impact des réglementations de l’UE en matière d’IA s’étendra bien au-delà du continent — ce que l’on appelle l’« effet Bruxelles ».

En outre, tout pays relativement riche pourrait financer une partie de la recherche en sûreté de l’IA, bien qu’une grande partie de cette recherche nécessite de disposer des meilleures compétences et d’une technologie de pointe. Toute avancée significative dans la recherche en sûreté de l’IA pourrait orienter la recherche portant sur les modèles les plus puissants.

D’autres pays pourraient également élaborer des critères de responsabilité pour les concepteurs de systèmes d’IA, ce qui inciterait les entreprises à faire preuve de prudence avant de mettre des modèles sur le marché.

Enfin, à terme, des traités sur l’IA et des réglementations internationales pourraient voir le jour, tout comme la communauté internationale a créé l’Agence internationale de l’énergie atomique, la Convention sur les armes biologiques et le Groupe d’experts intergouvernemental sur l’évolution du climat afin de coordonner et d’atténuer d’autres menaces planétaires catastrophiques.

Les efforts visant à inciter les gouvernements du monde entier à appréhender et à partager les informations relatives aux menaces posées par l’IA pourraient s’avérer extrêmement importants dans certains scénarios futurs. L’Organisation de coopération et de développement économiques, par exemple, a déjà créé l’Observatoire des politiques d’IA.

Des pays tiers pourraient également être en mesure de faciliter la coopération et de réduire les tensions entre les États-Unis et la Chine, tant au niveau de l’IA que d’autres sujets sensibles potentiels.

Quelles politiques et pratiques permettraient de réduire les risques les plus importants ?

Les personnes travaillant dans la politique de l’IA ont proposé une série d’approches visant à réduire les risques à mesure que les systèmes d’IA deviennent plus puissants.

Nous n’approuvons pas nécessairement toutes les idées présentées ci-dessous, mais voici une liste d’approches politiques importantes qui pourraient viser à réduire les plus grands dangers liés à l’IA :⁠f

• Politiques de développement raisonné : certaines grandes entreprises d’IA ont déjà commencé à élaborer des dispositifs internes d’évaluation de sûreté à mesure qu’elles augmentent les capacités de leurs systèmes. Ces dispositifs introduisent des mesures de protection destinées à devenir de plus en plus strictes à mesure que les systèmes d’IA deviennent potentiellement plus dangereux, et ils veillent à ce que les capacités des systèmes d’IA ne dépassent pas les capacités des entreprises à assurer la sécurité des systèmes. Beaucoup affirment que ces politiques internes ne sont pas suffisantes pour assurer la sûreté, mais elles peuvent représenter une étape prometteuse pour réduire les risques. Vous pouvez consulter des versions de ces politiques chez Anthropic, Google DeepMind et OpenAI.
• Critères et évaluation : les gouvernements pourraient élaborer des critères de référence et des protocoles d’évaluation à l’échelle de l’industrie pour évaluer si les systèmes d’IA présentent des risques majeurs. L’organisme à but non lucratif METR et le UK AI Safety Institute figurent parmi les organismes qui développent actuellement ces protocoles pour tester les modèles d’IA avant et après leur mise sur le marché. Cette démarche peut inclure la création de métriques standardisées pour évaluer les capacités et le potentiel de nuisance d’un système d’IA, ainsi que sa propension à la recherche de pouvoir ou au désalignement.
• Dossiers de sécurité : cette pratique consiste à exiger des développeurs d’IA qu’ils fournissent une documentation complète démontrant la sûreté et la fiabilité de leurs systèmes avant leur déploiement. Cette approche est similaire aux dossiers de sécurité utilisés dans d’autres secteurs à haut risque comme l’aviation ou l’énergie nucléaire⁠g. Cette idée est abordée dans un article de Clymer et al et dans un article de Geoffrey Irving du UK AI Safety Institute.
• Normes de sécurité de l’information : nous pourrions établir des normes solides pour protéger les données, les algorithmes et l’infrastructure liés à l’IA contre l’accès ou la manipulation non autorisés — en particulier les « poids » (weights) des modèles d’IA. Rand a publié un rapport détaillé analysant les risques associés à la sûreté des grandes entreprises d’IA, notamment de la part d’acteurs étatiques.
• Droit de la responsabilité : le droit existant impose déjà une certaine responsabilité aux entreprises qui créent des produits dangereux ou causent des dommages importants au public, mais son application aux modèles d’IA et à leurs risques en particulier n’est pas claire. Clarifier les modalités d’application de la responsabilité aux entreprises qui créent des modèles d’IA dangereux pourrait les inciter à prendre des mesures supplémentaires pour réduire les risques. Le professeur de droit Gabriel Weil a écrit sur ce sujet.
• Gouvernance du calcul : les gouvernements peuvent réglementer l’accès et l’utilisation des ressources de calcul à haute performance nécessaires à l’entraînement des grands modèles d’IA. Les restrictions imposées par les États-Unis à l’exportation de puces de pointe vers la Chine sont un exemple de ce type de politique, et d’autres sont possibles. Les entreprises pourraient également être tenues d’installer des dispositifs de sûreté au niveau du matériel directement dans les puces ou les processeurs d’IA. Ces dispositifs pourraient être utilisés pour tracer les puces et s’assurer qu’elles n’entrent pas en possession d’un acteur inadéquat, ou à d’autres fins. Pour en savoir plus sur ce sujet, consultez notre entretien avec Lennart Heim et ce rapport du Centre pour une nouvelle sécurité américaine.
• Coordination internationale : il pourrait être crucial de favoriser la coopération internationale en matière de gouvernance de l’IA afin de garantir des normes cohérentes. Cela pourrait passer par des traités, des organisations internationales ou des accords multilatéraux sur le développement et le déploiement de l’IA. Nous abordons certaines considérations connexes dans notre article sur les carrières en sûreté de l’IA et gouvernance en relation avec la Chine.
• Adaptation sociétale : préparer nos sociétés à l’intégration généralisée de l’IA et aux risques potentiels qu’elle pose pourrait être d’une importance cruciale. Par exemple, il pourrait être nécessaire de développer de nouvelles mesures de sécurité de l’information pour protéger les données importantes dans un monde où le piratage est facilité par l’IA ; ou encore, de mettre en place des mécanismes de contrôle rigoureux pour éviter de remettre des décisions sociétales clés à des systèmes d’IA⁠h.
• Mettre en pause le développement si nécessaire : Certaines personnes estiment que nous devrions actuellement interrompre tout développement supplémentaire des modèles d’IA en raison des dangers que présente la technologie. Nous avons discuté de cette idée dans notre podcast. Il semble difficile de savoir si et à quel moment cette idée serait bonne. Si elle est mise en œuvre, elle pourrait impliquer des accords à l’échelle de l’industrie ou des mandats réglementaires pour interrompre les efforts de développement.

Les détails, les avantages et les inconvénients de bon nombre de ces idées n’ont pas encore été entièrement définis. Il est donc essentiel que nous poursuivions nos recherches et que nous obtenions davantage de contributions de la part de parties prenantes bien informées. Et cette liste n’est pas exhaustive — il existe probablement d’autres interventions politiques et stratégies de gouvernance importantes qui méritent d’être poursuivies.

Vous pouvez également consulter une liste d’idées politiques potentielles de Luke Muehlhauser d’Open Philanthropy,⁠i un article sur les propositions politiques en matière d’IAG de Dylan Matthews de Vox, et une enquête d’opinion d’experts sur les meilleures pratiques en matière de sûreté de l’IA et de gouvernance.

Exemples de personnes ayant suivi cette voie

Helen Toner

Helen a suivi des études d’ingénieur avant d’obtenir un poste de chercheur à GiveWell, puis à Open Philanthropy. Elle a ensuite exploré quelques domaines d’action et a finalement déménagé à Pékin pour se former sur les intersections entre la Chine et l’IA. Lorsque le Center for Security and Emerging Technology (CSET) a été fondé, elle a été recrutée pour participer à la mise en place de l’organisation. Depuis, le CSET est devenu un groupe de réflexion de premier plan à Washington au sujet de l’intersection des technologies émergentes et de la sécurité nationale.

En savoir plus

Ben Garfinkel

Ben a été diplômé de Yale en 2016, où il s’est spécialisé dans la physique, les mathématiques et la philosophie. Après avoir obtenu son diplôme, Ben est devenu chercheur au Centre for Effective Altruism, puis a rejoint le Centre for the Governance of AI, dont il est devenu le directeur. Vous pouvez regarder ici si GovAI recrute.

En savoir plus.

Comment évaluer son adéquation et se lancer

Si vous êtes en début de carrière, vous devriez d’abord vous concentrer sur l’obtention de compétences et d’un capital professionnel pour contribuer avec succès à une bonne gouvernance et réglementation de l’IA.

Il existe plusieurs manières d’acquérir du capital professionnel. D’une manière générale, travailler ou étudier dans des domaines tels que la politique, le droit, les relations internationales, la communication et l’économie peut être un atout pour intégrer le secteur politique.

Une expertise dans le domaine de l’IA elle-même, acquise en étudiant et en travaillant dans l’apprentissage automatique et la sûreté technique de l’IA, ou dans des domaines potentiellement connexes tels que le matériel informatique et la sécurité de l’information, devrait également vous conférer un avantage considérable.

Tester son adéquation

Essayez de trouver des tests qui soient relativement « peu coûteux » pour évaluer votre adéquation avec différentes voies. Vous pourriez, par exemple, suivre un stage en politique, postuler à une bourse, effectuer une courte période de recherche indépendante ou suivre des cours sur l’apprentissage automatique ou l’ingénierie informatique.

Vous pourriez également vous entretenir avec des personnes exerçant un certain emploi et découvrir l’expérience quotidienne du travail et les compétences requises.

Tous ces facteurs peuvent être difficiles à prévoir à l’avance. Bien que nous ayons regroupé le « travail gouvernemental » dans une seule catégorie ci-dessus, cette étiquette couvre un large éventail de rôles. Trouver le bon poste peut prendre des années, et cela peut dépendre de facteurs indépendants de votre volonté, tels que les collègues avec lesquels vous travaillez en étroite collaboration. C’est l’une des raisons pour lesquelles il est utile de se constituer un capital professionnel de bonne qualité qui vous offre davantage d’options.

Ne sous-estimez pas l’intérêt de postuler à de nombreux postes pertinents dans le domaine et le secteur que vous visez pour évaluer les résultats. Cette stratégie vous exposera probablement à de nombreux rejets, mais vous serez en mesure de mieux évaluer votre adéquation aux postes en voyant votre progression dans les processus de recrutement. Cela peut vous apporter plus d’informations que d’essayer de deviner si vous avez l’expérience requise.

Essayez d’exclure certains types d’emplois si vous avez la preuve que vous ne correspondez pas bien à la situation. Par exemple, si vous investissez beaucoup d’efforts pour essayer d’entrer dans des universités réputées ou des organismes à but non lucratif pour faire de la recherche sur la gouvernance de l’IA, mais que vous ne recevez aucune offre prometteuse et peu d’encouragements, cela pourrait être un signal important que vous avez peu de chances de réussir et de vous épanouir dans cette voie.

Cela ne signifie pas que vous n’avez rien à apporter, mais que votre avantage comparatif peut se situer ailleurs.

Lisez la section de notre guide des carrières consacrée à la recherche d’un emploi qui vous corresponde**

Types de capital professionnel

La gouvernance de l’IA nécessite un mélange de personnes ayant une expertise technique et politique — et certaines personnes qui possèdent les deux.

Bien que toute personne impliquée dans ce domaine doive entretenir une compréhension des détails techniques et politiques, vous commencerez probablement par vous concentrer sur les compétences soit politiques soit techniques afin d’obtenir un capital professionnel.

Cette section couvre :

• Le capital professionnel généralement utile
• Le capital professionnel politique
• Le capital professionnel technique
• Autres formes spécifiques de capital professionnel

La plupart de ces conseils sont axés sur les emplois aux États-Unis, mais ils peuvent s’avérer pertinents dans d’autres contextes.

Capital professionnel généralement utile

Le chapitre du Guide Carrière de 80 000 Hours consacré au capital professionnel énumère cinq éléments clés qui seront utiles dans n’importe quel parcours : les compétences et connaissances, le réseau, les diplômes, la personnalité et le matelas de sécurité.

Pour la plupart des emplois liés à la politique, les compétences sociales, le réseau et les compétences — faute d’un meilleur terme — politiques seront un atout majeur. Ce sont des choses qu’on peut probablement acquérir dans une certaine mesure, mais certaines personnes risquent de découvrir qu’elles ne possèdent pas ce type de compétences et qu’elles ne peuvent pas ou ne veulent pas les acquérir.

Ce n’est pas grave : il existe de nombreuses autres voies pour mener une carrière épanouissante et ayant un fort impact, et certains postes au sein de cette voie peuvent nécessiter ces compétences dans une bien moindre mesure. C’est pourquoi il est important de tester votre adéquation.

Lire la section complète du guide de carrière sur le capital professionnel.

Capital professionnel politique

Pour acquérir des compétences en matière de politique, vous pouvez vous former dans de nombreux domaines pertinents, tels que les sciences politiques, l’économie et le droit.

De nombreux cursus de master proposent des cours spécifiques sur les politiques publiques, la science et la société, la sécurité, les relations internationales et autres ; le fait d’être titulaire d’un diplôme d’études supérieures ou d’un diplôme de droit vous donnera une longueur d’avance pour de nombreux postes.

Aux États-Unis, un master, un diplôme de droit ou un doctorat sont particulièrement utiles pour gravir les échelons de la bureaucratie fédérale. Notre article sur les masters en politique américaine fournit des informations détaillées sur la manière d’évaluer ces nombreuses options.

Les stages à Washington sont intéressants pour tester votre adéquation avec la politique et obtenir un capital professionnel. De nombreux établissements d’enseignement supérieur proposent désormais un programme stratégique de « Semestre à Washington », qui vous permet d’explorer les possibilités de stages au Congrès, dans les agences fédérales ou dans les groupes de réflexion.

Le Virtual Student Federal Service (VSFS) propose également des stages gouvernementaux à distance et à temps partiel. Ce programme permet aux élèves de travailler parallèlement à leurs études.

Une fois que vous aurez acquis une formation adéquate, vous pourrez occuper des emplois de premier échelon dans certains secteurs du gouvernement et vous constituer un réseau professionnel tout en développant des compétences clés. Aux États-Unis, vous pouvez devenir membre du personnel du Congrès ou occuper un poste dans un service fédéral compétent, tel que le ministère du commerce, le ministère de l’énergie ou le ministère des affaires étrangères. Vous pouvez également acquérir de l’expérience au sein de groupes de réflexion(une option particulièrement prometteuse si vous avez des aptitudes pour la recherche). Certaines entreprises publiques peuvent également constituer une option intéressante.

On dit souvent que Washington a une culture particulière, notamment pour les personnes qui travaillent au sein ou autour du gouvernement fédéral. Le réseautage, la politique bureaucratique, la recherche de statut et le trafic d’influence y tiennent une place prépondérante. Nous avons aussi entendu dire que si le mérite compte dans une certaine mesure dans la fonction publique américaine, il n’est pas le principal déterminant de la réussite. Les personnes qui pensent ne pas pouvoir être dans ce type d’environnement à long terme ou ne pas s’y sentir à l’aise devraient se demander si d’autres voies ne seraient pas préférables.

Si vous aimez le travail gouvernemental et politique, que vous impressionnez vos collègues et que vous progressez dans votre carrière, il se peut que vous soyez un bon candidat. Le simple fait de réussir et de s’épanouir dans le travail gouvernemental peut constituer un avantage comparatif précieux. **Citoyenneté américaine

La citoyenneté américaine Votre citoyenneté peut influencer les possibilités qui vous sont offertes. Bon nombre des fonctions de gouvernance de l’IA les plus importantes aux États-Unis — en particulier au sein de l’exécutif et du Congrès — ne sont ouvertes qu’aux ressortissants américains, ou du moins les favorisent fortement. Tous les postes clés en matière de sécurité nationale qui pourraient être particulièrement importants seront réservés aux personnes disposant de la nationalité américaine, qui est requise pour obtenir une habilitation de sécurité.

Cela signifie que les personnes qui n’ont pas la nationalité américaine devront envisager de ne pas occuper les postes qui l’exigent. Elles peuvent aussi envisager de s’installer aux États-Unis et de poursuivre le long processus d’acquisition de la citoyenneté. Pour plus de détails sur les voies d’immigration et les types de travail politique accessibles aux personnes n’ayant pas la nationalité américaine, voir cet article sur travailler dans la politique américaine en tant que ressortissant étranger. Vous pouvez également envisager de participer à la loterie annuelle des visas de diversité si vous êtes originaire d’un pays éligible : cela ne demande que peu d’efforts et peut vous permettre, si vous avez de la chance, de décrocher une carte verte américaine.

Capital professionnel technique

L’expérience technique en matière d’apprentissage automatique, de matériel d’IA et de domaines connexes peut constituer un atout précieux pour une carrière dans la gouvernance de l’IA. Il sera donc très utile d’avoir étudié dans un domaine pertinent dans le cadre d’un diplôme de premier ou de deuxième cycle, ou d’avoir suivi un programme d’études indépendant particulièrement productif.

Nous proposons un guide des carrières en sûreté technique de l’IA, qui explique comment apprendre les bases de l’apprentissage automatique.

Travailler dans une entreprise ou un laboratoire d’IA dans des postes techniques, ou dans d’autres entreprises qui utilisent des systèmes et du matériel d’IA avancés, peut également fournir un capital professionnel conséquent pour le travail politique en lien avec l’IA. Lisez notre étude de carrière qui discute des avantages et des inconvénients de travailler dans une entreprise d’IA de premier plan.

Nous avons également publié une revue de carrière qui affirme que devenir spécialiste en matériel d’IA pourrait s’avérer très utile dans le domaine de la gouvernance de l’IA.

De nombreux responsables politiques et législateurs sont des généralistes, car leurs fonctions les amènent à travailler dans de nombreux domaines et sur différents types de problèmes. Cela signifie qu’ils devront s’appuyer sur des connaissances spécialisées lorsqu’ils élaboreront et mettront en œuvre des politiques relatives à des technologies d’IA qu’ils ne comprennent pas entièrement. Par conséquent, si vous pouvez leur fournir ces informations, en particulier si vous êtes capable de les communiquer clairement, vous pouvez potentiellement jouer un rôle influent.

Certaines personnes qui étaient initialement intéressées par une carrière dans la sûreté technique de l’IA, mais qui ont constaté qu’elles n’étaient plus intéressées par cette voie ou qui ont trouvé des opportunités politiques plus prometteuses, pourraient également décider de se tourner vers une carrière politique.

Il est courant pour les personnes ayant une formation STIM de s’engager et de réussir dans des carrières politiques américaines. Les personnes ayant des diplômes techniques qu’elles peuvent considérer comme assez modestes — comme une licence en informatique ou une maîtrise en apprentissage automatique — trouvent souvent que leurs connaissances sont très appréciées à Washington.

La plupart des emplois à Washington n’exigent pas de diplôme spécifique. Il n’est donc pas indispensable d’ être titulaire d’un diplôme en politique pour travailler à Washington. Les postes portant spécifiquement sur la politique scientifique et technologique conviennent particulièrement bien aux personnes ayant une formation technique, et les personnes qui recrutent pour ces postes valoriseront des diplômes plus élevés tels qu’un master ou, mieux encore, un doctorat ou un diplôme de médecine.

Il existe de nombreux programmes de bourses visant spécifiquement à aider les personnes ayant une formation STIM à entrer dans des carrières politiques ; certains sont énumérés ci-dessous.

Le travail politique ne convient pas à tout le monde — de nombreux experts techniques peuvent ne pas avoir la bonne prédisposition ou les bonnes compétences. Les personnes qui s’engagent dans la voie de la politique ont souvent intérêt à posséder de solides compétences rédactionnelles et sociales, à être à l’aise dans la bureaucratie et à travailler avec des personnes ayant des motivations et des visions du monde très différentes.

Ernest Moniz : de l’expertise scientifique à la politique

Ernest Moniz a commencé sa carrière en tant que physicien, devenant professeur au MIT dans les années 1970. Il a acquis de l’expérience de gestion en tant que chef de département et dirigeant du conseil de recherche du MIT. Dans les années 1990, il a occupé le poste de directeur associé pour la science au sein du bureau de la politique scientifique et technologique de la Maison-Blanche.

Il est ensuite devenu sous-secrétaire au ministère de l’Énergie, ce qui lui a permis d’accéder au poste de secrétaire à l’Énergie sous la présidence de Barack Obama — un poste très influent où il a mis à profit son expertise technique dans les négociations internationales sur les armes nucléaires.

L’exemple de Moniz montre à quel point une personne ayant une formation technique peut influencer le secteur politique — mais bien sûr, il n’est pas nécessaire d’être professeur au MIT ou de diriger une agence fédérale pour avoir un fort impact.

Autres formes spécifiques de capital professionnel

Il existe d’autres façons d’acquérir un capital professionnel utile qui pourrait s’appliquer à ce plan de carrière.

• Si vous possédez ou acquérez d’excellentes compétences en communication en tant que journaliste ou militant, par exemple, ces compétences pourraient s’avérer très utiles pour le plaidoyer et le lobbying dans le domaine de la gouvernance de l’IA.
• Le plaidoyer autour des questions d’IA n’en étant qu’à ses débuts, des personnes ayant une expérience dans d’autres domaines d’action importants et pouvant partager leurs connaissances et leurs compétences seront probablement d’autant plus précieuses.
• Des universitaires possédant des compétences utiles sont parfois recrutés par le gouvernement pour des périodes limitées pour faire du conseil dans des agences telles que le Bureau américain des sciences et des technologies. Cette expérience n’est pas nécessairement le point de départ d’une carrière plus longue au sein du gouvernement, mais devrait offrir un aperçu plus approfondi des politiques et de la politique en général.
• Vous pouvez travailler dans une entreprise ou un laboratoire d’IA à des postes non techniques, ce qui vous permettra de vous familiariser avec la technologie, le secteur et cet environnement.
• Vous pouvez travailler sur des campagnes politiques et vous impliquer dans la politique de parti. C’est une façon de s’impliquer dans la législation, d’en apprendre plus sur la politique et d’aider les législateurs importants, et vous pouvez aussi potentiellement aider à façonner le discours autour de la gouvernance de l’IA. Notez cependant qu’il existe le risque de potentiellement polariser l’opinion publique au sujet des politiques de l’IA, comme (discuté plus loin) ; et intégrer la politique de parti peut limiter votre potentiel d’impact chaque fois que le parti que vous avez rejoint ne détient pas le pouvoir.
• Vous pouvez même essayer de devenir un représentant élu vous-même, bien que ce soit compétitif. Si vous empruntez cette voie, assurez-vous de trouver des conseillers dignes de confiance et bien informés pour développer votre expertise en IA, car les politiciens ont de nombreuses autres responsabilités et ne peuvent pas se concentrer autant sur une question particulière.
• Vous pouvez vous concentrer sur le développement d’ensembles de compétences spécifiques qui pourraient être utiles dans la gouvernance de l’IA, comme la sécurité de l’information, le travail de renseignement, la diplomatie avec la Chine, etc.
• Autres compétences : Les compétences organisationnelles, entrepreneuriales, de gestion, diplomatiques et bureaucratiques se révéleront probablement aussi très précieuses dans cette carrière. Il peut y avoir de nouvelles agences d’audit à créer ou des mesures politiques à mettre en œuvre. Une personne ayant travaillé à des niveaux élevés dans d’autres secteurs à fort enjeu, créé une entreprise influente ou coordonné des négociations complexes entre différents groupes, amènerait des compétences importantes.

Vous souhaitez obtenir des conseils personnalisés sur ce parcours ?

Puisqu’il s’agit de l’un de nos parcours prioritaires, si vous pensez qu’il s’agit d’une option intéressante pour vous, nous apprécierions particulièrement de pouvoir vous conseiller individuellement sur les prochaines étapes. Nous pouvons vous aider à examiner vos options, à établir des liens avec d’autres personnes travaillant dans le même domaine, et peut-être même vous aider à trouver un emploi ou des possibilités de financement.

CANDIDATEZ POUR PARLER AVEC NOTRE ÉQUIPE

Où ce genre de travail peut-il être effectué ?

Étant donné qu’une gouvernance de l’IA réussie nécessitera des efforts de la part des gouvernements, de l’industrie et d’autres parties, de nombreux emplois potentiels et lieux de travail s’offrent aux personnes qui s’engagent sur cette voie. Le paysage évoluera probablement au fil du temps, de sorte que si vous débutez dans ce domaine, les sites qui semblent les plus importants pourraient avoir changé au moment où vous commencerez à utiliser votre capital professionnel pour contribuer à faire avancer les choses.

Au sein du gouvernement américain, par exemple, on ne sait pas exactement quels organismes auront le plus fort impact en matière de politique de l’IA dans cinq ans. Cela dépendra probablement des choix qui seront faits d’ici là.

Cela dit, il semble pertinent de présenter notre point de vue sur les organes gouvernementaux les plus influents en matière de gouvernance technologique et les plus impliqués à l’heure actuelle, afin de vous aider à vous orienter. L’acquisition d’expérience en matière d’IA au sein du gouvernement devrait vous être utile si vous souhaitez accéder à un rôle à plus fort impact lorsque les domaines à impact seront mieux identifiés.

Nous partagerons également notre opinion sur les sites importants en dehors du gouvernement où vous pourriez être en mesure de développer votre capital professionnel et d’avoir un fort impact.

Notez que cette liste donne beaucoup plus de détails sur les lieux de travail situés au sein du gouvernement américain. Nous aimerions l’élargir pour y inclure davantage d’options au fil du temps. (Remarque : le fait qu’une option ne figure pas sur cette liste ne signifie pas que nous la déconseillons, ni même qu’elle aurait nécessairement un impact moins fort que les autres.)

Vous trouverez plus de détails sur d’autres options dans des revues de carrière distinctes (et plus anciennes), notamment les suivantes :

• Sûreté de l’IA et gouvernance en relation avec la Chine
• Politique des partis (axée sur le Royaume-Uni)
• Emplois gouvernementaux axés sur la politique (concentrés sur le Royaume-Uni)

Voici quelques-uns des endroits où il est possible d’effectuer un travail prometteur ou d’acquérir un capital professionnel précieux :

Congrès américain

Au Congrès, vous pouvez travailler soit directement pour les législateurs eux-mêmes, soit en tant que membre du personnel des commissions législatives. Les postes d’assistant au sein des commissions ont généralement plus d’influence sur la législation et sont plus prestigieux, mais pour cette raison, ils sont plus compétitifs. Si vous n’avez pas beaucoup d’expérience, vous pouvez débuter par un emploi de premier échelon auprès d’un législateur, puis essayer d’obtenir un poste au sein d’une commission.

Certaines personnes à qui nous avons parlé estiment que les commissions suivantes — et certaines de leurs sous-commissions — de la Chambre des représentants et du Sénat soient celles qui ont le plus d’impact dans le domaine de l’IA. Vous pourriez chercher à travailler au sein de ces commissions ou pour des législateurs qui ont une influence significative sur elles.

Chambre des représentants

• House Committee on Energy and Commerce (Commission de l’énergie et du commerce de la Chambre des représentants)
• House Judiciary Committee (Commission judiciaire de la Chambre des représentants)
• House Committee on Space, Science, and Technology (Commission de l’espace, des sciences et des technologies de la Chambre des représentants)
• House Committee on Appropriations (Commission des crédits de la Chambre des représentants)
• House Armed Services Committee (Commission des services armés de la Chambre des représentants)
• House Committee on Foreign Affairs (Commission des affaires étrangères de la Chambre des représentants)
• House Permanent Select Committee on Intelligence (Comité permanent du renseignement de la Chambre des représentants)

Sénat

• Senate Committee on Commerce, Science, and Transportation (Commission sénatoriale du commerce, des sciences et des transports)
• Senate Judiciary Committee (Commission sénatoriale judiciaire)
• Senate Committee on Foreign Relations (Commission sénatoriale des relations extérieures)
• Senate Committee on Homeland Security and Government Affairs (Commission sénatoriale de la sécurité intérieure et des affaires gouvernementales)
• Senate Committee on Appropriations (Commission sénatoriale des crédits)
• Senate Committee on Armed Services (Commission sénatoriale des services armés)
• Senate Select Committee on Intelligence (Commission sénatoriale du renseignement)
• Senate Committee on Energy & Natural Resources (Commission sénatoriale de l’énergie et des ressources naturelles)
• Senate Committee on Banking, Housing, and Urban Affairs (Commission sénatoriale des banques, du logement et des affaires urbaines)

Le Congressional Research Service, une agence législative non partisane, offre également la possibilité de mener des recherches qui peuvent avoir un fort impact sur l’élaboration des politiques dans tous les domaines.

Pouvoir exécutif américain

En général, il est déconseillé d’accepter des postes subalternes au sein de l’exécutif pour ce parcours, car il est très difficile de faire progresser sa carrière dans la bureaucratie à ce niveau. Il est préférable d’obtenir un diplôme de droit ou un diplôme d’études supérieures adéquat, qui vous permettra de commencer à un poste plus avancé.

L’influence des différentes agences sur la réglementation de l’IA peut évoluer au fil du temps. Par exemple, fin 2023, le gouvernement fédéral a annoncé la création de l’Institut américain de sécurité de l’intelligence artificielle, qui pourrait être un lieu de travail particulièrement prometteur.

Quelle que soit l’agence la plus influente à l’avenir, il sera utile d’accumuler du capital professionnel en travaillant efficacement au sein du gouvernement, en tissant un réseau professionnel, en se familiarisant avec le travail politique quotidien et en approfondissant ses connaissances sur tout ce qui touche à l’IA.

Nous avons beaucoup d’incertitudes sur ce sujet, mais voici quelques-unes des agences qui pourraient avoir une influence significative sur au moins une dimension clé de la politique de l’IA à l’heure où nous écrivons ces lignes :

• Executive Office of the President (EOP) (Bureau exécutif du président)
• Office of Management and Budget (OMB) (Bureau de la gestion et du budget)
• National Security Council (NSC) (Conseil national de sécurité)
• Office of Science and Technology Policy (OSTP) (Bureau de la politique scientifique et technologique)
• Department of State (Département d’État)
• Office of the Special Envoy for Critical and Emerging Technology (S/TECH) (Bureau de l’Envoyé Spécial pour les technologies critiques et émergentes)
• Bureau of Cyberspace and Digital Policy (CDP) (Bureau du cyberespace et de la politique numérique)
• Bureau of Arms Control, Verification and Compliance (AVC) (Bureau du contrôle des armes, de la vérification et de la conformité)
• Office of Emerging Security Challenges (ESC) (Bureau des défis émergents en matière de sécurité)
• Federal Trade Commission (Commission fédérale du commerce)
• Department of Defense (DOD) (Département de la défense)
• Chief Digital and Artificial Intelligence Office (CDAO) (Bureau principal du numérique et de l’intelligence artificielle)
• Emerging Capabilities Policy Office (Bureau de gestion des capacités émergentes)
• Defense Advanced Research Projects Agency (DARPA) (Agence des projets de recherche avancée de la défense)
• Defense Technology Security Administration (DTSA) (Administration de la sécurité des technologies de défense)
• Intelligence Community (IC) (Communauté du renseignement)
• Intelligence Advanced Research Projects Activity (IARPA) (Activité de recherche avancée en matière de renseignement)
• National Security Agency (NSA) (Agence de sécurité nationale)
• Rôles de conseiller scientifique au sein des différentes agences qui composent la communauté du renseignement
• Department of Commerce (DOC) (Département du commerce)
• The Bureau of Industry and Security (BIS) (Bureau de l’industrie et de la sécurité)
• The National Institute of Standards and Technology (NIST) (Institut national des normes et de la technologie)
• The US Artificial Intelligence Safety Institute (L’Institut américain de sûreté de l’intelligence artificielle)
• CHIPS Program Office (Bureau du programme CHIPS)
• Department of Energy (DOE) (Département de l’énergie)
• Artificial Intelligence and Technology Office (AITO) (Bureau de l’intelligence artificielle et de la technologie)
• Advanced Scientific Computing Research (ASCR) Program Office (Bureau du programme Advanced Scientific Computing Research)
• National Science Foundation (NSF) (Fondation nationale des sciences)
• Directorate for Computer and Information Science and Engineering (CISE) (Direction de la science et de l’ingénierie des ordinateurs et de l’information)
• Directorate for Technology, Innovation and Partnerships (TIP) (Direction de la technologie, de l’innovation et des partenariats)
• Cybersecurity and Infrastructure Security Agency (CISA) (Agence pour la cybersécurité et la sécurité des infrastructures)

Vous pouvez consulter les offres d’emploi de ces ministères et agences sur le site du gouvernement fédéral, USAJOBS ; une liste plus détaillée des postes à fort impact et fort capital professionnel se trouve sur le tableau d’offres d’emploi de 80 000 Hours.

Nous ne recommandons pas pour le moment d’essayer de rejoindre le gouvernement américain via l’armée si vous visez une carrière dans la politique de l’IA. Il y a de nombreux niveaux d’ancienneté à gravir, les places sont disputées, et au départ, vous devez passer tout votre temps à faire un travail qui n’a rien à voir avec l’IA.

Toutefois, le fait d’avoir déjà une expérience militaire peut offrir un capital professionnel précieux pour d’autres postes importants au sein du gouvernement, en particulier pour les postes liés à la sécurité nationale. Nous pensons que ce parcours est plus intéressant pour le personnel militaire qui a fréquenté une académie militaire d’élite, telle que West Point, ou pour les officiers brevetés de grade O-3 ou supérieur.

Bourses d’études américaines

Les bourses d’études politiques sont l’une des meilleures voies d’accès au travail politique. Elles offrent de nombreux avantages, tels qu’une expérience directe de la politique, un financement, une formation, une supervision et un réseau. Si nombre d’entre elles requièrent de hauts diplômes, certaines sont ouvertes aux personnes disposant d’un diplôme de premier cycle.

• Liste des bourses d’études politiques américaines
• Presidential Management Fellowship (Bourse de gestion présidentielle)
• Presidential Innovation Fellowship (Bourse pour l’innovation présidentielle)
• Horizon Fellowship (Bourse Horizon)
• TechCongress Fellowship (Bourse TechCongress)
• STPI Science Policy Fellowship (Bourse STPI pour la politique scientifique)
• AAAS Science & Technology Policy Fellowships (STPF) (Bourse AAAS de science et technologie)

Groupes de réflexion américains

• Center for Security and Emerging Technology (CSET) (Centre pour la sécurité et les technologies émergentes)
• Center for a New American Security (Centre pour une nouvelle sécurité américaine)
• RAND Corporation
• The MITRE Corporation
• Brookings Institution
• Carnegie Endowment for International Peace (Fondation Carnegie pour la paix internationale)
• Center for Strategic and International Studies (CSIS) (Centre d’études stratégiques et internationales)
• Federation of American Scientists (FAS) (Fédération des scientifiques américains)

Research nonprofits

• Alignment Research Center
• Open Philanthropy⁠j
• Rethink Priorities
• Epoch AI
• Centre for the Governance of AI (GovAI)
• Center for AI Safety (CAIS)
• Legal Priorities Project
• Apollo Research
• Centre for Long-Term Resilience
• AI Impacts
• Johns Hopkins Applied Physics Lab

Entreprises d’IA

• Anthropic est une entreprise de sûreté de l’IA qui travaille à la construction de systèmes d’IA interprétables et sûrs. Elle s’applique à la recherche empirique en matière de sûreté de l’IA. Daniela et Dario Amodei, cofondateurs d’Anthropic, ont donné une interview à propos du laboratoire sur le podcast du Future of Life Institute. Pour notre podcast, nous nous sommes entretenus avec Chris Olah, qui dirige les recherches d’Anthropic sur l’interprétabilité, et Nova DasSarma, qui travaille sur l’infrastructure des systèmes à Anthropic.
• Google DeepMind est probablement le groupe de recherche le plus important et le plus connu qui développe l’intelligence artificielle générale, et il est célèbre pour avoir créé AlphaGo, AlphaZero, et AlphaFold. Il n’est pas principalement axé sur la sûreté, mais compte deux équipes dédiées à la sûreté de l’IA : l’Équipe d’alignement adaptatif axée sur l’alignement des systèmes de pointe existants, et l’Équipe d’alignement axée sur la recherche pour l’alignement des futurs systèmes.
• OpenAI, fondée en 2015, est une entreprise qui tente de fabriquer une intelligence artificielle générale sûre et bénéfique pour l’ensemble de l’humanité. OpenAI est bien connue pour ses modèles de langage comme GPT-4. Comme DeepMind, elle ne se concentre pas principalement sur la sécurité, mais dispose d’une équipe de sécurité et d’une équipe de gouvernance. Jan Leike (responsable de l’équipe d’alignement) est apparu sur le podcast de 80 000 Hours pour discuter de sa conception de l’alignement de l’IA.

(Lisez notre revue de carrière sur les avantages et les inconvénients de travailler dans une entreprise d’IA de premier plan.)

Organisations internationales

• Organisation de coopération et de développement économiques (OCDE)
• Agence internationale de l’énergie atomique (AIEA)
• Union internationale des télécommunications (UIT)
• Organisation internationale de normalisation (ISO)
• Institutions de l’Union européenne (par exemple, la Commission européenne)
• Simon Institute for Longterm Governance (Institut Simon pour la gouvernance à long terme)

Notre tableau d’offres d’emploi propose des opportunités dans le domaine de la sûreté de l’IA:

Voir toutes les opportunités

Comment les choses peuvent mal tourner

Causer du tort

Comme nous l’expliquons dans notre article sur les dommages involontaires, il existe de multiples manières de nuire à un nouveau domaine dans lequel vous travaillez alors que vous essayez de faire le bien, et cela peut signifier que votre impact est négatif plutôt que positif. (Vous pouvez également lire notre article sur les carrières nocives.)

Il est très possible de causer du tort par inadvertance dans le domaine émergent de la gouvernance de l’IA. Nous avons évoqué certaines possibilités dans la section plaidoyer et lobbying. Voici d’autres possibilités :

• Promouvoir une politique donnée au détriment d’une politique qui serait préférable
• Communiquer sur les risques de l’IA d’une manière qui attise les tensions géopolitiques
• Promulguer une politique qui a l’effet inverse de l’effet escompté
• Créer des précédents politiques qui pourraient être exploités par des acteurs dangereux à l’avenir
• Financer des projets d’IA qui s’avèrent dangereux
• Envoyer le message, implicite ou explicite, que les risques sont maîtrisés alors qu’ils ne le sont pas, ou qu’ils sont moins élevés qu’ils ne le sont en réalité
• Supprimer une technologie qui serait en réalité extrêmement bénéfique pour la société

Nous devons agir avec des informations incomplètes, et il se peut donc que l’on ne sache jamais très bien quand ou si les personnes chargées de la gouvernance de l’IA tombent dans ces pièges. Le fait d’avoir conscience qu’il s’agit de moyens potentiels de causer du tort vous aidera cependant à faire attention à ces possibilités, et vous devriez rester ouvert à un éventuel changement de cap si vous trouvez des preuves que vos actions peuvent être préjudiciables.

Nous recommandons aussi de garder à l’esprit les conseils généraux suivants, tirés de notre article sur les dommages involontaires :

1. Idéalement, éliminez les moyens d’action susceptibles d’avoir un fort impact négatif.
2. Ne soyez pas un « optimisateur naïf ».
3. Faites preuve d’humilité.
4. Développez votre expertise, formez-vous, constituez un réseau et profitez de la sagesse accumulée dans votre domaine.
5. Respectez les normes de coopération.
6. Adaptez vos capacités à votre projet et à votre influence.
7. Évitez les actions difficilement réversibles.

Épuisement

Nous pensons que ce travail est exceptionnellement urgent et précieux, et nous encourageons donc les personnes qui pourraient être intéressées à tester leur adéquation avec le domaine de la gouvernance. Mais il peut être particulièrement difficile d’entrer dans l’administration publique. Certaines personnes que nous avons conseillées se sont lancées dans la politique avec l’espoir d’avoir un fort impact, avant de finir par s’épuiser et de passer à autre chose.

En même temps, de nombreux décideurs politiques trouvent leur travail très utile, intéressant et varié.

Certaines fonctions au sein du gouvernement peuvent être particulièrement exigeantes pour les raisons suivantes :

• Le rythme de travail peut être très soutenu, impliquant un stress relativement élevé et de longues heures de travail. C’est particulièrement vrai au Congrès et dans les postes de direction de l’exécutif, mais beaucoup moins dans les groupes de réflexion ou dans les agences subalternes.
• Il faut parfois beaucoup de temps pour accéder à des postes dotés d’une certaine autonomie ou d’un pouvoir de décision.
• Les progrès sur les questions qui vous tiennent à cœur peuvent être lents et vous devez souvent travailler sur d’autres priorités. Les membres du personnel du Congrès, en particulier, ont généralement des portefeuilles politiques très vastes.
• Le travail au sein des bureaucraties se heurte à de nombreuses limites, ce qui peut être frustrant.
• Il peut être démotivant de travailler avec des personnes qui ne partagent pas vos valeurs. Notez toutefois que la politique peut attirer des personnes altruistes, même si elles ont des convictions différentes sur la manière de faire le bien.
• Le travail n’est généralement pas bien rémunéré par rapport à des postes comparables en dehors du gouvernement.

Nous vous recommandons donc de parler à des personnes qui occupent le type de postes que vous pourriez viser afin de vous faire une idée de la pertinence de cette carrière pour vous. Et si vous décidez de poursuivre dans cette voie, soyez attentif aux signes indiquant que ce travail peut avoir un impact négatif sur vous et cherchez le soutien de personnes qui comprennent ce qui vous tient à cœur.

Si vous finissez par vouloir ou devoir quitter votre travail et vous engager dans une nouvelle voie, ce n’est pas nécessairement une perte ou un motif de regret. Vous établirez probablement des liens importants et obtiendrez beaucoup d’informations et de compétences utiles. Ce capital professionnel peut vous être utile lors de votre transition vers un autre poste, peut-être en poursuivant une approche complémentaire de la gouvernance de l’IA.

Que signifie l’attention accrue portée à l’IA ?

Les risques posés par l’IA nous préoccupent depuis des années. En nous appuyant sur les arguments selon lesquels cette technologie pourrait potentiellement provoquer une catastrophe planétaire, et avoir par ailleurs un impact dramatique sur les générations futures, nous avons conseillé à de nombreuses personnes de s’efforcer d’atténuer ces risques.

Nous pensons que les arguments en faveur du risque ne sont pas totalement concluants. Mais ils méritent d’être pris au sérieux et, compte tenu du fait que peu de personnes dans le monde semblaient consacrer beaucoup de temps à déterminer l’ampleur de la menace ou les moyens de l’atténuer (alors que, dans le même temps, les progrès réalisés pour rendre les systèmes d’IA plus puissants s’accéléraient), nous avons conclu qu’il valait la peine de classer cette question parmi nos priorités principales.

Maintenant que l’IA fait l’objet d’une attention accrue, certains pourraient en conclure qu’elle est moins négligée et qu’il est donc moins urgent de s’y intéresser. Toutefois, l’attention accrue portée à l’IA augmente le potentiel d’amélioration de nombreuses interventions, car les décideurs politiques et d’autres acteurs sont plus ouverts à l’idée d’élaborer des réglementations en matière d’IA.

Et si l’on accorde désormais plus d’attention à l’IA, il n’est pas certain que cette attention se concentre sur les risques les plus importants. Il y a donc probablement encore une large marge de manœuvre pour que des travaux importants et urgents façonnent positivement l’élaboration de la politique en matière d’IA.

Pour continuer la lecture

Si cette carrière vous intéresse, nous vous recommandons de consulter les articles suivants.

• US policy master’s degrees (Les diplômes de master en politique américaine)

  Ces qualifications sont très précieuses pour les personnes qui espèrent occuper des postes importants au sein du gouvernement fédéral américain.

• Working in US AI policy (Travailler dans la politique de l’IA américaine)

  Le gouvernement américain est susceptible d’être un acteur clé dans la façon dont l’IA avancée est développée et utilisée dans la société, que ce soit directement ou indirectement.

• Should you work at a frontier AI company? - Career review (Devriez-vous travailler dans une entreprise d’IA de pointe ?)

  Travailler dans une entreprise d’IA de pointe est une option de carrière importante à envisager, mais l’impact d’un poste donné est complexe à évaluer.

• Prévenir une catastrophe liée à l’intelligence artificielle (Prévenir une catastrophe liée à l’IA)

  L’IA pourrait être source d’énormes bienfaits — à condition d’en éviter les risques.

En savoir plus

Principales recommandations

• Cours sur la gouvernance de l’IA — Principes de base de la sûreté de l’IAG par BlueDot Impact
• Podcast : Tantum Collins on what he’s learned as an AI policy insider at the White House, DeepMind and elsewhere
• Ressources sur la politique américaine en matière d’IA, groupes de réflexion, bourses et autres

Autres recommandations

Ressources de 80 000 Hours

• Article : Working in US AI policy
• Podcast : Tom Kalil on how to do the most good in government
• Podcast : Holden Karnofsky on how AIs might take over even if they’re no smarter than humans, and his four-part playbook for AI risk
• Podcast : Nick Joseph on whether Anthropic’s AI safety policy is up to the task
• Podcast : Carl Shulman on the economy and national security after AGI et Carl Shulman on government and society after AGI (Part 2)
• Podcast : Zvi Mowshowitz on sleeping on sleeper agents, and the biggest AI updates since ChatGPT
• Podcast : Lennart Heim on the compute governance era and what has to come after
• Podcast : Sella Nevo on who’s trying to steal frontier AI models, and what they could do with them
• Podcast : Nathan Labenz on the final push for AGI, understanding OpenAI’s leadership drama, and red-teaming frontier models
• Podcast : Vitalik Buterin on defensive acceleration and how to regulate AI when you fear government
• Étude de carrière : China-related AI safety and governance paths
• Ensemble de podcasts : Le podcast de 80 000 Hours sur l’intelligence artificielle

Autres ressources

• Carrières dans le domaine des politiques technologiques émergentes
• Jobs that can help with the most important century par Holden Karnofsky
• 12 Tentative Ideas for US AI Policy par Luke Muehlhauser de Open Philanthropy
• Why and How Governments Should Monitor AI Development par Jess Whittlestone et Jack Clark
• AGI safety career advice par Richard Ngo de OpenAI
• Le paysage de la gouvernance long-termiste de l’IA : un aperçu de base sur le Effective Altruism forum
• Four Battlegrounds par Paul Scharre
• The New Fire par Ben Buchanan et Andrew Imbrie
• Rapports de groupes de réflexion, tels que CSET, CNAS, CSIS.
• Stratégies gouvernementales, telles que la stratégie de la Maison Blanche National Artificial Intelligence Research and Development Strategic Plan: 2023 Update (2023), la stratégie du NIST Artificial Intelligence Risk Management Famework: Generative Artificial Intelligence Profile (2023), celle du ministère de la défense Responsible Artificial Intelligence Strategy and Implementation Pathway (2022), et le Final report (2021).
• Lessons from the development of the atomic bomb par Toby Ord
• Collection of work on “Should you focus on the EU if you’re interested in AI governance for longtermist/x-risk reasons?” sur le Forum de l’altruisme efficace

À lire ensuite

• The highest-impact career paths our research has identified so far

  Vous envisagez d’autres voies ? Consultez notre liste des carrières à fort impact selon nos recherches.

---

Publication originale : Cody Fenwick (2023) AI governance and policy, 80,000 Hours, juin (dernière mise à jour : 22 août 2024).