Recherche technique sur la sûreté de l’IA
Les progrès de l’IA — bien qu’ils puissent être extrêmement bénéfiques — s’accompagnent de risques importants. Des risques qui, selon nous, pourraient être existentiels.
Mais ces risques peuvent être gérés.
En progressant dans la sûreté de l’IA, nous avons l’opportunité de développer l’IA pour faire le bien : des systèmes qui sont sûrs, éthiques et bénéfiques pour tout le monde.
Cet article explique comment vous pouvez aider.
L’intelligence artificielle aura des effets transformateurs sur la société au cours des prochaines décennies, et pourrait apporter d’énormes avantages — mais nous pensons aussi qu’il existe un risque substantiel. Un moyen prometteur de réduire les risques de catastrophe liée à l’IA consiste à trouver des solutions techniques qui pourraient nous permettre d’empêcher les systèmes d’IA d’adopter des comportements dangereux.
Vous aurez besoin d’une formation quantitative et devriez probablement aimer la programmation. Si vous n’avez jamais essayé la programmation, vous pouvez être un bon candidat si vous êtes capable de décomposer les problèmes en parties logiques, de générer et de tester des hypothèses, d’avoir la volonté d’essayer de nombreuses solutions différentes et d’être très attentif aux détails.
Si vous êtes bien adapté à cette carrière, c’est peut-être le meilleur moyen pour vous d’avoir un impact social.
*Merci à Adam Gleave, Jacob Hilton et Rohin Shah pour la relecture de cet article. Et merci à Charlie Rogers-Smith pour son aide et son article sur le sujet — How to pursue a career in technical AI alignment.
Comme nous l’avons soutenu, au cours des prochaines décennies, nous pourrions assister au développement de systèmes d’apprentissage automatique extrêmement puissants ayant le potentiel de transformer la société. Cette transformation pourrait apporter d’énormes avantages, mais seulement si nous en évitons les risques.
Nous pensons que les risques les plus graves liés aux systèmes IA découlent en grande partie du fait que les systèmes IA pourraient être désalignés — c’est-à-dire qu’ils chercheront à faire des choses que nous ne voulons pas qu’ils fassent. Nous pensons notamment qu’ils pourraient être désalignés de telle sorte qu’ils développent (et exécutent) des plans qui posent des risques pour la capacité de l’humanité à influencer le monde, même lorsque nous ne voulons pas perdre cette capacité.
Nous pensons que cela signifie que ces systèmes futurs représentent une menace existentielle pour la civilisation.
Même si nous trouvons un moyen d’éviter ce comportement de recherche de pouvoir, il existe toujours des risques substantiels — tels qu’une utilisation malveillante par les gouvernements ou d’autres acteurs — qui pourraient constituer des menaces existentielles en soi.
Il existe de nombreuses façons de réduire les risques que ces systèmes peuvent poser. Mais l’une des plus prometteuses pourrait être la recherche de solutions techniques qui empêchent les comportements indésirables — y compris les comportements désalignés — de la part des systèmes IA. (La recherche d’un moyen technique de prévenir le désalignement en particulier est connue sous le nom de « problème de l’alignement ».)
Au cours des dernières années, nous avons vu de plus en plus d’organisations commencer à prendre ces risques plus au sérieux. Bon nombre des principaux laboratoires industriels qui développent l’IA — notamment Google DeepMind et OpenAI — ont des équipes qui se consacrent à la recherche de ces solutions, aux côtés de groupes de recherche universitaires, notamment au MIT, à Oxford, à Cambridge, à l’université Carnegie Mellon et à l’université de Californie à Berkeley.
Cela dit, le domaine est encore très récent. Nous pensons qu’il n’y a qu’environ 300 personnes qui travaillent sur des approches techniques visant à réduire les risques existentiels des systèmes d’IAa, ce qui en fait un domaine très négligé.
Trouver des moyens techniques pour réduire ce risque pourrait s’avérer très difficile. Toute solution pratiquement utile doit conserver l’utilité des systèmes (en restant économiquement compétitive par rapport aux systèmes moins sûrs), et continuer à fonctionner à mesure que les systèmes s’améliorent au fil du temps (c’est-à-dire qu’elle doit être « amplifiable »). Comme nous l’avons expliqué dans notre profil du problème, il semble qu’il soit difficile de trouver des solutions viables, en particulier pour les systèmes modernes d’apprentissage automatique (AA).
(Si vous ne connaissez rien à l’AA, nous avons écrit une très très courte introduction à l’AA, et nous entrerons dans les détails sur la façon d’apprendre l’AA plus loin dans cet article. Par ailleurs, si vous avez de l’expérience dans le domaine de l’AA, adressez-vous à notre équipe — nous pouvons vous donner des conseils personnalisés en matière de carrière, vous présenter à d’autres personnes travaillant sur ces questions et peut-être même vous aider à trouver un emploi ou des possibilités de financement.)
Même si cela semble difficile, il existe de nombreuses pistes de recherche — et le domaine est vraiment très jeune, de sorte que de nouvelles directions de recherche prometteuses apparaissent en permanence. Nous pensons donc que cette cause a un potentiel d’amélioration modéré, même si nous sommes très incertains.
En fait, nous sommes incertains de tout cela et nous avons beaucoup écrit sur les raisons pour lesquelles nous pourrions nous tromper sur le risque lié à l’IA.
Mais, dans l’ensemble, nous pensons que — si vous avez une bonne adéquation avec ce domaine — se lancer dans la recherche technique sur la sûreté de l’IA pourrait bien être la meilleure façon de maximiser votre impact avec votre carrière.
La recherche technique en sûreté de l’IA implique généralement de travailler en tant que scientifique ou ingénieur dans de grands laboratoires d’IA, dans le milieu universitaire ou dans des organisations indépendantes à but non lucratif.
Ces postes peuvent être très difficiles à obtenir. Vous devrez probablement vous constituer un capital professionnel avant de vous retrouver dans un rôle à fort impact (nous y reviendrons plus tard, dans la section comment débuter). Cela dit, vous n’aurez peut-être pas besoin de passer beaucoup de temps à constituer ce capital professionnel — nous avons vu des personnes exceptionnellement talentueuses passer rapidement d’autres domaines quantitatifs à la sûreté de l’IA, parfois en moins d’un an.
La plupart des recherches techniques sur la sûreté de l’IA se situent sur un spectre entre la recherche empirique (expérimentation des systèmes actuels afin d’en apprendre davantage sur ce qui fonctionnera) et la recherche théorique (recherche conceptuelle et mathématique visant à garantir que les futurs systèmes IA seront sûrs).
Quelle que soit la position que vous occupez sur ce spectre, votre carrière peut être légèrement différente selon que vous souhaitez devenir responsable de recherche — proposer des projets, gérer une équipe et définir des orientations — ou collaborateur — vous concentrer sur l’exécution des travaux de recherche.
Enfin, il existe deux rôles légèrement différents que vous pouvez viser :
Nous pensons que les postes de responsable de recherche ont probablement un impact plus fort en général. Mais dans l’ensemble, l’impact que vous pourriez avoir dans l’un de ces rôles est principalement déterminé par votre adéquation personnelle avec le poste — voir la section sur comment anticiper votre adéquation.
Ensuite, nous verrons ce qu’implique le fait de travailler dans chaque voie. Plus tard, nous verrons comment vous pouvez débuter dans chaque voie.
La sûreté empirique de l’IA tend à impliquer des équipes travaillant directement avec des modèles d’AA pour identifier les risques et développer des moyens de les atténuer.
Cela signifie que le travail est axé sur les techniques actuelles d’AA et les techniques qui pourraient être appliquées dans un futur très proche.
En pratique, travailler sur la sûreté empirique de l’IA implique beaucoup de programmation et d’ingénierie de l’AA. Vous pourriez, par exemple, trouver des moyens de tester la sécurité des systèmes existants, puis effectuer ces tests empiriques.
Vous pouvez trouver des postes en sûreté empirique de l’IA dans l’industrie et le milieu universitaire, ainsi que certains dans des organisations à but non lucratif axées sur la sûreté de l’IA.
Dans le monde universitaire en particulier, de nombreux travaux pertinents ne sont pas explicitement étiquetés comme étant axés sur le risque existentiel, mais ils peuvent néanmoins s’avérer très utiles. Par exemple, les travaux sur l’interprétabilité, les exemples antagonistes, les diagnostics et l’apprentissage par des portes dérobées, entre autres, pourraient être très utiles pour réduire la probabilité d’une catastrophe liée à l’IA.
Nous trouvons également prometteurs les travaux expérimentaux visant à élaborer des normes de sûreté auxquelles les entreprises d’IA pourraient adhérer à l’avenir — par exemple, les travaux menés par ARC Evals.
Pour en savoir plus sur les types de recherches menées dans les laboratoires axés sur la sûreté empirique de l’IA, jetez un coup d’œil à :
Bien que la programmation soit au cœur de tous les travaux empiriques, les responsables de recherche se concentrent généralement moins sur la programmation ; ils ont plutôt besoin d’un goût plus prononcé pour la recherche et d’une meilleure compréhension de la théorie. En comparaison, les collaborateurs de recherche doivent être très bons en programmation et en ingéniérie logicielle.
La sûreté théorique de l’IA est beaucoup plus conceptuelle et mathématique. Elle implique souvent un raisonnement minutieux sur le comportement hypothétique des futurs systèmes.
En général, l’objectif est de trouver des propriétés dont nous souhaiterions doter les algorithmes d’AA pour qu’ils soient sûrs. Une fois que vous avez trouvé des propriétés utiles, vous pouvez essayer de développer des algorithmes avec ces propriétés (en gardant à l’esprit que pour être utiles dans la pratique, ces algorithmes devront être adoptés par l’industrie). Vous pouvez également développer des moyens de vérifier si les systèmes possèdent ces propriétés. Ces contrôles pourraient, par exemple, contribuer à faire respecter des normes de sûreté élevées pour les futurs produits d’IA.
De nombreuses personnes travaillant dans le domaine de la sûreté théorique de l’IA passeront une grande partie de leur temps à prouver des théorèmes ou à développer de nouveaux cadres mathématiques. Il existe également des approches plus conceptuelles, bien qu’elles aient encore tendance à faire un usage intensif de cadres formels.
Voici quelques exemples de recherche dans le domaine de la sûreté de l’IA théorique :
Il y a généralement moins de postes disponibles dans le domaine de la sûreté de l’IA théorique, en particulier en tant que collaborateurs de recherche. Des rôles de collaborateurs en recherche théorique existent dans des organisations à but non lucratif (principalement le Alignment Research Center), ainsi que dans certains laboratoires (par exemple, le travail d’Anthropic sur les modèles prédictifs de conditionnement et le Causal Incentives Working Group de Google DeepMind). La plupart des postes de collaborateurs dans la sûreté de l’IA théorique existent probablement dans le milieu universitaire (par exemple, des doctorants dans des équipes travaillant sur des projets pertinents pour la sûreté théorique de l’IA).
Il existe de nombreuses approches techniques de la sûreté de l’IA actuellement étudiées. En voici quelques-unes :
Il convient de noter qu’il existe de nombreuses approches de la sûreté de l’IA et que les spécialistes ne sont pas du tout d’accord sur ce qui fonctionnera ou ne fonctionnera pas.
Cela signifie qu’une fois que vous travaillez dans le domaine, il peut être utile d’être charitable et prudent et de ne pas présupposer que le travail des autres est inutile simplement parce qu’il semble l’être à première vue. Vous devriez probablement aussi être incertain de votre propre programme de recherche.
De plus, comme nous l’avons mentionné précédemment, de nombreux travaux pertinents dans tous ces domaines ne sont pas explicitement qualifiés de travaux sur la « sûreté ».
Il est donc important de réfléchir attentivement à la manière dont une recherche particulière contribue à réduire les risques que les systèmes d’IA pourraient poser.
La recherche technique sur la sûreté de l’IA n’est pas le seul moyen de progresser dans la réduction des risques que les futurs systèmes d’IA pourraient poser. De plus, il existe de nombreux autres problèmes pressants dans le monde qui ne sont pas la possibilité d’une catastrophe liée à l’IA, et de nombreuses carrières qui peuvent aider à les résoudre. Si vous avez une meilleure adéquation avec autre chose, c’est probablement cela que vous devriez faire.
Au-delà de l’adéquation personnelle, cette carrière présente quelques autres inconvénients :
Enfin, nous avons écrit davantage sur les meilleurs arguments contre le fait que l’IA soit pressante dans notre profil de problème sur la prévention d’une catastrophe liée à l’IA. Si ces arguments sont justes, vous pourriez peut-être avoir plus d’impact en travaillant sur un autre problème.
De nombreux chercheurs techniques travaillent dans des entreprises ou de petites start-ups qui offrent des salaires compétitifs par rapport à l’industrie technologique de la Bay Area et de la Silicon Valley, et même les organisations plus petites et les organisations à but non lucratif offrent des salaires compétitifs pour attirer les meilleurs talents. La rémunération médiane d’un ingénieur logiciel dans la Bay Area de San Francisco était de 222 000 $ par an en 2020c (Pour en savoir plus sur les salaires des ingénieurs logiciels).
Cette médiane de 222 000 $ est peut-être sous-estimée car les rôles dans l’IA, notamment dans les meilleurs laboratoires d’IA qui étendent rapidement leur travail dans l’IA, paient souvent mieux que d’autres emplois dans la technologie, et il en va de même pour les chercheurs en sûreté de l’IA — même ceux qui travaillent dans des organisations à but non lucratif.
Cependant, les universités ont des salaires plus bas que l’industrie en général, et nous pensons que les postes de recherche en sûreté de l’IA dans les universités sont moins bien rémunérés que dans les laboratoires commerciaux et les organisations à but non lucratif.
Vous aurez généralement besoin d’une formation quantitative (mais pas nécessairement d’une formation en informatique ou en apprentissage automatique) pour débuter dans cette carrière.
Il existe deux approches principales pour anticiper votre adéquation, et il est utile de faire les deux :
Il faut du temps pour acquérir de l’expertise, et l’épanouissement peut suivre l’expertise — soyez donc prêt à prendre le temps d’apprendre et de pratiquer avant de décider de passer à autre chose.
Si vous n’êtes pas sûr des postes que vous pourriez viser à plus long terme, voici quelques façons approximatives d’envisager ce que vous devriez viser, et de déterminer si vous pourriez correspondre aux différents postes de cette carrière :
Lisez notre article sur l’adéquation personnelle pour en savoir plus sur la manière d’évaluer votre adéquation aux carrières que vous souhaitez suivre.
Il se peut que vous puissiez postuler à des postes immédiatement — notamment si vous remplissez, ou êtes sur le point de remplir, les critères que nous venons d’examiner — mais il se peut aussi qu’il vous faille un certain temps, voire plusieurs années, pour acquérir les compétences nécessaires.
Dans cette section, nous allons donc vous donner un guide pour débuter dans la recherche sur la sûreté technique de l’IA. Nous aborderons quatre questions clés :
Nous espérons qu’à la fin de cette section, vous aurez tout ce qu’il vous faut pour vous lancer.
Pour arriver à quelque chose dans le monde de la recherche technique sur la sûreté de l’IA, vous aurez probablement besoin de connaissances de base en codage, mathématiques et apprentissage profond.
Vous pourriez également vouloir pratiquer suffisamment pour devenir un ingénieur AA convenable (bien que cela soit généralement plus utile pour la recherche empirique), et en apprendre un peu sur les techniques de sûreté en particulier (bien que cela soit généralement plus utile pour les responsables de recherche empirique et les chercheurs théoriques).
Nous allons passer en revue chacun de ces éléments à tour de rôle.
Vous devriez probablement apprendre à coder en Python car c’est le langage le plus utilisé en ingénierie AA.
La première étape consiste probablement à essayer. En tant que débutant complet, vous pouvez écrire un programme Python en moins de 20 minutes qui vous rappelle de faire une pause toutes les deux heures. Ne vous découragez pas si votre code ne fonctionne pas du premier coup — c’est ce qui arrive normalement quand on code !
Une fois que vous avez fait cela, vous avez quelques options :
Vous pouvez en savoir plus sur l’apprentissage de la programmation — et sur comment obtenir votre premier emploi dans l’ingénierie logicielle (si c’est la voie que vous voulez suivre) — dans notre revue de carrière sur l’ingénierie logicielle.
Les mathématiques de l’apprentissage profond reposent fortement sur le calcul et l’algèbre linéaire, et les statistiques peuvent également être utiles — bien qu’en général l’apprentissage des mathématiques soit beaucoup moins important que la programmation et les fondamentaux de l’AA.
Nous vous recommandons généralement de suivre un cursus quantitatif (comme les mathématiques, l’informatique ou l’ingénierie), dont la plupart couvrent assez bien ces trois domaines.
Si vous voulez devenir bon en maths, vous devez résoudre des problèmes. C’est pourquoi, en général, la chose la plus utile que les manuels et les cours en ligne fournissent n’est pas leurs explications, mais une série d’exercices à essayer de résoudre, dans l’ordre, avec de l’aide si vous êtes bloqué.
Si vous souhaitez vous former par vous-même (surtout si vous n’avez pas de formation quantitative), voici quelques ressources possibles :
Vous pourrez peut-être trouver des ressources qui couvrent tous ces domaines, comme Les mathématiques pour l’apprentissage automatique de l’Imperial College.
Vous devrez probablement avoir une bonne compréhension de la manière dont les systèmes d’IA sont actuellement développés. Cela implique d’apprendre l’apprentissage automatique et les réseaux neuronaux, avant de plonger dans des sous-domaines spécifiques de l’apprentissage profond.
Là encore, vous avez la possibilité de suivre cette formation à l’université. Si vous êtes actuellement à l’université, cela vaut la peine de vérifier si vous pouvez suivre un cours d’AA même si vous ne vous spécialisez pas en informatique.
Il y a une mise en garde importante à faire : vous apprendrez énormément de choses sur le tas, et la quantité de connaissances que vous devrez acquérir à l’avance pour n’importe quel poste ou cours variera énormément ! Même les universitaires de haut niveau ne connaissent pas tout de leur domaine. Cela vaut la peine d’essayer de déterminer ce que vous devrez savoir pour le poste que vous souhaitez occuper avant d’investir des centaines d’heures dans l’apprentissage de l’AA.
En gardant cette mise en garde à l’esprit, voici quelques suggestions de pistes si vous voulez apprendre les bases par vous-même :
PyTorch est un package très courant utilisé pour la mise en œuvre des réseaux neuronaux, et cela vaut probablement la peine de l’apprendre ! Lorsque je me suis initié à l’AA, mon premier réseau neuronal était un réseau neuronal convolutif à 3 couches avec régularisation L2 classant les caractères de la base de données MNIST. Il s’agit d’un premier défi assez courant et d’un bon moyen d’apprendre PyTorch.
Si vous souhaitez travailler en tant que chercheur en sûreté de l’IA, il est généralement utile de connaître certaines choses sur la sûreté de l’IA.
Ce n’est pas toujours le cas — certaines fonctions d’ingénierie ne nécessitent pas de connaissances approfondies en matière de sûreté de l’IA. Mais même dans ce cas, le fait de connaître les bases vous aidera probablement à décrocher un poste, et peut également vous aider à prendre des décisions difficiles et à éviter de faire de nuire. Et si vous voulez être en mesure d’identifier et d’effectuer un travail utile, vous devrez finir par vous familiariser avec le domaine.
Ce domaine étant encore très récent, il n’existe probablement pas (encore) de cours universitaires que vous puissiez suivre. Vous devrez donc vous former par vous-même. Voici quelques pistes pour commencer :
Pour d’autres suggestions — notamment pour lire des ressources sur la nature des risques auxquels nous pourrions être confrontés de la part des systèmes IA — jetez un coup d’œil aux meilleures ressources pour en savoir plus de notre profil de problème.
Certains postes de recherche technique requièrent un doctorat, mais ce n’est pas le cas pour beaucoup d’entre eux, et le doctorat n’est pas la meilleure option pour tout le monde.
Le principal avantage d’un doctorat est probablement de vous entraîner à définir et à mettre en œuvre votre propre programme de recherche. Par conséquent, l’obtention d’un doctorat est pratiquement la solution par défaut si vous souhaitez devenir responsable de recherche.
Cela dit, vous pouvez également devenir responsable de recherche sans doctorat, notamment en évoluant à partir d’un rôle de collaborateur de recherche. Dans certains grands laboratoires, la frontière entre le rôle de collaborateur et celui de responsable est de plus en plus floue.
De nombreuses personnes trouvent les doctorats très difficiles. Ils peuvent être source d’isolement et de frustration, et durer très longtemps (4 à 6 ans). De plus, votre qualité de vie et la quantité d’informations que vous apprendrez dépendront de votre directeur de thèse, et il peut être très difficile de savoir à l’avance si vous faites le bon choix.
Par conséquent, si vous envisagez de faire un doctorat, voici quelques points à prendre en considération :
Pour en savoir plus, consultez notre revue plus détaillée (mais moins à jour) des doctorats en apprentissage automatique.
Il convient de rappeler que la plupart des emplois ne nécessitent pas de doctorat. Et pour certains emplois, notamment les postes de collaborateurs en recherche empirique, même si un doctorat serait utile, il existe souvent de meilleures façons d’obtenir le capital professionnel dont vous avez besoin (par exemple, en travaillant en tant qu’ingénieur logiciel ou ingénieur AA). Nous avons interviewé deux ingénieurs AA qui ont eu une carrière extrêmement fructueuse sans obtenir de doctorat.
Nous pensons qu’il est plausible que l’on développe une IA susceptible de transformer radicalement la société d’ici la fin des années 2030.
Toutes choses égales par ailleurs, cette possibilité pourrait plaider pour essayer d’avoir un impact tout de suite, plutôt que de passer cinq ans (ou plus) à faire un doctorat.
En fin de compte, le degré d’adéquation entre vous, en particulier, et un doctorat particulier est probablement un facteur beaucoup plus important que le moment où l’IA sera développée.
En d’autres termes, nous pensons que l’augmentation de l’impact causée par le choix d’une voie qui vous convient est probablement plus importante que la diminution de l’impact causée par le report de vos travaux. Cela s’explique en partie par le fait que l’écart d’impact causé par les rôles spécifiques qui vous sont proposés, ainsi que par votre adéquation personnelle à ces rôles, est généralement très important. Certains postes (en particulier les postes de responsable de recherche) exigent un doctorat, d’autres non (en particulier les postes plus axés sur l’ingénierie) — et l’adéquation entre les personnes et ces voies varie considérablement.
Nous sommes également très incertains quant aux estimations concernant le moment où nous pourrions développer une IA transformatrice. Cette incertitude réduit le coût espéré de tout retard.
Plus important encore, nous pensons que les doctorats ne devraient pas être considérés comme un pur retard à votre impact. Vous pouvez effectuer un travail utile dans le cadre d’un doctorat et, en règle générale, les deux premières années d’une carrière comportent une part importante d’apprentissage des bases et de mise à niveau. Donc, si vous avez un bon mentor, un bon environnement de travail et un bon choix de sujet, votre travail de doctorat peut être aussi bon, voire meilleur, que celui que vous feriez si vous alliez travailler ailleurs au début de votre carrière. Et si vous recevez soudain la preuve que nous disposons de moins de temps que prévu, il est relativement facile d’abandonner votre doctorat.
Il y a beaucoup d’autres aspects à prendre en compte — pour une vue d’ensemble et une discussion, voir ce billet d’Alex Lawsen, conseiller de 80 000 Hours, ainsi que les commentaires.
Dans l’ensemble, nous suggérons qu’au lieu de vous inquiéter d’un retard dans votre impact, vous pensiez plutôt à la voie à long terme que vous voulez suivre et à la manière dont les opportunités spécifiques qui se présentent à vous vous permettront d’y parvenir.
Les doctorats en AA peuvent être très compétitifs. Pour être admis, vous aurez probablement besoin de quelques publications (comme nous l’avons dit plus haut, quelque chose comme un article d’atelier en premier auteur, ainsi qu’un article de conférence en troisième auteur lors d’une conférence majeure sur les AA (comme NeurIPS ou ICML), et des références, probablement d’universitaires spécialisés dans les AA. (Cela dit, les publications sont aussi utiles, quelle que soit la voie dans laquelle vous vous engagez !)
Pour en arriver à ce stade, vous aurez besoin de pas mal de chance, et vous devrez également trouver des moyens d’acquérir une expérience de la recherche.
L’une des options est de faire un master en AA, mais assurez-vous qu’il s’agit d’un master de recherche — la plupart des masters en AA se concentrent principalement sur la préparation à l’industrie.
Mieux encore, essayez d’obtenir un stage dans un groupe de recherche en intelligence artificielle. Parmi les possibilités, citons RISS à l’université Carnegie Mellon, UROP à l’Imperial College London, le programme international de recherche d’été de l’Aalto Science Institute, le Data Science Summer Institute, le programme de stage de l’Institut technologique Toyota et le MILA. Vous pouvez également essayer de faire un stage spécifiquement en sûreté de l’IA, par exemple à CHAI, bien que cette approche présente des inconvénients : il peut être plus difficile de publier, et le mentorat peut être plus limité.
Une autre façon d’acquérir une expérience en matière de recherche consiste à demander si vous pouvez travailler avec des chercheurs. Si vous êtes déjà dans une université de premier plan, il peut être plus facile de contacter des personnes travaillant dans l’université où vous étudiez.
Les étudiants en doctorat ou les postdoctorants peuvent être plus réactifs que les professeurs, mais vous aurez éventuellement besoin de quelques professeurs avec lesquels vous avez travaillé pour fournir des références, et vous devrez donc prendre contact avec eux. Les professeurs ont tendance à recevoir beaucoup de courriels non sollicités, alors essayez d’attirer leur attention ! Vous pouvez essayer :
Idéalement, vous trouverez quelqu’un qui vous supervise bien et qui a le temps de travailler avec vous (cela ne veut pas nécessairement dire le professeur le plus célèbre — bien que cela aide beaucoup s’il publie régulièrement dans des conférences de premier plan). De cette manière, il apprendra à vous connaître, vous pourrez l’impressionner et il constituera une excellente référence lorsque vous postulerez pour un doctorat.
Il est tout à fait possible que, pour obtenir les publications et les références dont vous aurez besoin pour accéder à un doctorat, vous deviez passer un an ou deux à travailler en tant qu’assistant de recherche, bien que ces postes puissent également être très compétitifs.
Ce guide d’Adam Gleave explique également en détail comment obtenir un doctorat, y compris où postuler et des conseils sur le processus de candidature en tant que tel. Nous discutons plus en détail des doctorats en apprentissage automatique dans notre revue de carrière sur les doctorats en apprentissage automatique (bien qu’elle soit plus ancienne que cette revue de carrière).
En fin de compte, la meilleure façon d’apprendre à faire de la recherche empirique — en particulier pour les postes de collaborateurs et d’ingénieurs — est de travailler dans un endroit qui fait à la fois de l’ingénierie de haute qualité et de la recherche de pointe.
Les trois meilleurs laboratoires sont probablement Google DeepMind (qui propose des stages aux étudiants), OpenAI (qui a un programme de résidence de 6 mois) et Anthropic. (Travailler dans un laboratoire d’IA de premier plan comporte un certain risque de nuire, il est donc important de bien réfléchir aux options qui s’offrent à vous. Nous avons rédigé un article distinct qui passe en revue les principales considérations pertinentes.)
Pour finir par travailler dans le domaine de la recherche empirique, vous devrez probablement vous constituer un capital professionnel.
Que vous souhaitiez devenir un responsable de recherche ou un collaborateur, il vous sera utile de devenir un très bon ingénieur logiciel. Les meilleurs moyens d’y parvenir consistent généralement à trouver un emploi d’ingénieur logiciel dans une grande entreprise technologique ou dans une startup prometteuse. (Nous avons écrit un article entier sur comment devenir ingénieur logiciel.)
De nombreux rôles vous demanderont d’être un bon ingénieur AA, ce qui signifie aller plus loin que les bases que nous avons examinées ci-dessus. La meilleure façon de devenir un bon ingénieur en AA est d’ obtenir un emploi en ingénierie AA — et les meilleurs endroits pour cela sont probablement les principaux laboratoires d’IA.
Pour les postes de responsable de recherche, vous aurez besoin d’une expérience relativement plus importante dans le domaine de la recherche. Il vous faudra d’abord devenir un collaborateur de recherche ou passer par le monde universitaire (par exemple en obtenant un doctorat).
Cela dit, il est important de se rappeler qu’il n’est pas nécessaire de tout savoir pour commencer à postuler car vous apprendrez inévitablement beaucoup sur le tas — donc essayez de savoir ce que vous devrez apprendre pour décrocher les postes spécifiques que vous envisagez d’occuper.
De quelle expérience avez-vous besoin pour obtenir un emploi ? Il est utile de réitérer les tests que nous avons évoqués plus haut pour les postes de collaborateur :
En acquérant cette expérience, vous pourriez finir par travailler dans des postes qui font progresser les capacités de l’IA. Les avis sont partagés sur l’impact potentiellement négatif que cela pourrait avoir, c’est pourquoi nous vous conseillons de lire notre article sur le travail dans les principaux laboratoires d’IA et notre article contenant des conseils anonymes d’experts sur le travail dans des fonctions qui font progresser les capacités. Cela vaut également la peine de parler à notre équipe des possibilités spécifiques qui s’offrent à vous.
Si vous avez un autre emploi ou un diplôme, ou si vous pensez avoir besoin d’en apprendre davantage avant d’essayer de changer de carrière, il existe quelques bonnes façons d’acquérir plus d’expérience en ingénierie AA qui vont au-delà des bases que nous avons déjà évoquées :
Il y a moins d’emplois disponibles dans la recherche théorique sur la sûreté de l’IA, il est donc plus difficile de donner des conseils concrets. Il n’est pas toujours nécessaire d’avoir un doctorat en mathématiques ou en informatique théorique, mais ce type de diplôme est assez courant parmi les chercheurs de l’industrie, et il est globalement nécessaire pour être universitaire.
Si vous obtenez un doctorat, l’idéal serait qu’il porte sur un domaine au moins partiellement lié à la recherche théorique sur la sûreté de l’IA. Par exemple, il pourrait s’agir de la théorie des probabilités appliquée à l’IA ou d’informatique théorique (recherchez des chercheurs qui publient dans COLT ou FOCS).
Une autre solution consiste à devenir responsable de recherche empirique avant de passer à la recherche théorique.
Par rapport à la recherche empirique, vous devrez en savoir relativement moins sur l’ingénierie et relativement plus sur le domaine de la sûreté de l’IA.
Une fois que vous aurez appris les bases, vous pourriez essayer de lire des articles d’un chercheur particulier, ou sur un sujet particulier, et de résumer ce que vous avez trouvé.
Vous pouvez également passer un certain temps (peut-être 10 à 100 heures) à lire sur un sujet, puis passer un peu plus de temps (peut-être encore 10 à 100 heures) à essayer de trouver de nouvelles idées sur ce sujet. Par exemple, vous pourriez essayer de formuler des propositions pour résoudre le problème de l’extraction des connaissances latentes. Par ailleurs, si vous souhaitez vous concentrer sur un aspect plus mathématique, vous pouvez essayer de faire le devoir à la fin de cette conférence de Michael Cohen, un étudiant de troisième cycle à l’université d’Oxford.
Si vous voulez entrer dans le monde universitaire, il semble particulièrement important de lire une tonne d’articles. Essayez peut-être de rédiger un article sur un certain sujet pendant votre temps libre. C’est un excellent moyen de maîtriser un sujet, de susciter de nouvelles idées, de repérer les lacunes et de trouver des idées de recherche. Lorsque vous postulez à des études supérieures ou à un emploi, votre article est un excellent moyen de montrer que vous aimez la recherche au point d’en faire pour le plaisir.
Il existe des programmes de recherche destinés aux nouveaux venus dans le domaine, tels que le SERI AA Alignment Theory Scholars Program, auquel vous pourriez postuler.
D’autres moyens d’acquérir une expérience plus concrète consistent à effectuer des stages de recherche, à travailler en tant qu’assistant de recherche ou à obtenir un doctorat, autant de sujets que nous avons abordés plus haut, dans la section si et comment vous pouvez intégrer un programme de doctorat.
Il convient de noter que de nombreuses personnes avec lesquelles nous discutons essaient d’apprendre de manière indépendante. Cela peut être une excellente idée pour certains, mais c’est assez difficile pour beaucoup, parce qu’il y a beaucoup moins de structure et de mentorat.
Les laboratoires de sûreté de l’IA dans l’industrie qui ont des équipes de sûreté technique empiriques, ou qui se concentrent entièrement sur la sûreté :
Laboratoires de sûreté de l’IA théoriques/conceptuels :
La sûreté de l’IA dans le milieu universitaire (liste très peu exhaustive ; bien que le nombre d’universitaires se concentrant explicitement et publiquement sur la sûreté de l’IA soit faible, il est possible d’effectuer un travail pertinent dans un ensemble beaucoup plus large de domaines) :
Voici quelques suggestions pour en savoir plus :
Si vous préférez les podcasts, voici quelques épisodes pertinents du podcast de 80 000 Hours qui pourraient vous être utiles :