Chronologies de l’IA : ce que nous disent les arguments et les « experts »

Cet article commence par un résumé de la date à laquelle nous devrions nous attendre à ce que l’IA transformatrice soit développée, sur la base des multiples angles abordés précédemment dans la série. Je pense que ce résumé est utile, même si vous avez lu tous les articles précédents, mais si vous souhaitez le sauter, cliquez ici.

J’aborde ensuite la question suivante « Pourquoi n’y a-t-il pas de consensus solide entre les experts sur ce sujet, et qu’est-ce que cela signifie pour nous ? »

J’estime qu’il y a plus de 10 % de chances que l’IA transformatrice apparaisse d’ici 15 ans (d’ici 2036), environ 50 % de chances qu’elle apparaisse d’ici 40 ans (d’ici 2060); et environ 2/3 de chances qu’elle apparaisse au cours de ce siècle (d’ici 2100).

(Par « IA transformatrice », j’entends « une IA suffisamment puissante pour nous faire entrer dans un avenir nouveau, qualitativement différent ». Je me concentre plus particulièrement sur ce que j’appelle PASTA : les systèmes d’IA qui peuvent essentiellement automatiser toutes les activités humaines nécessaires pour accélérer les progrès scientifiques et technologiques. J’ai soutenu que PASTA pourrait suffire à faire de ce siècle le plus important, en raison du potentiel d’explosion de la productivité et des risques liés à une IA mal alignée).

Il s’agit de ma conclusion générale, basée sur un certain nombre de rapports techniques abordant les prévisions en matière d’IA sous différents angles — dont beaucoup ont été produits par Open Philanthropy au cours des dernières années, alors que nous essayions de développer une image approfondie des prévisions en matière d’IA transformatrice pour informer notre octroi de subventions long-termistes.

Voici un tableau récapitulatif des différents angles de prévision de l’IA transformatrice que j’ai abordés, avec des liens vers des discussions plus détaillées dans des articles précédents ainsi que vers les rapports techniques sous-jacents :

Angle de prévision	Principaux articles d’approfondissement (titres abrégés)	Ce que j’en retiens
Estimations de la probabilité d’une IA transformatrice
Enquête auprès des experts. Quelles sont les attentes des chercheurs en IA ?	Données fournies par les experts en IA	Les résultats de l’enquête auprès des experts en IA impliquent⁠a une probabilité d’environ 20 % d’ici à 2036, d’environ 50 % d’ici à 2060 et d’environ 70 % d’ici à 2100. Des questions formulées de manière légèrement différente (posées à une minorité de répondants) donnent des estimations beaucoup plus tardives.
Cadre des ancres biologiques. Sur la base des modèles habituels du coût de « l’entraînement de l’IA », combien coûterait l’entraînement d’un modèle d’IA aussi grand qu’un cerveau humain pour effectuer les tâches les plus difficiles que les humains accomplissent ? Et quand cela sera-t-il suffisamment bon marché pour que l’on puisse s’attendre à ce que quelqu’un le fasse ?	Ancres biologiques, s’inspirant du Calcul cérébral	>10 % de probabilité d’ici 2036 ; 50 % de chance d’ici 2055 ; 80 % de chance d’ici 2100.
Angles sur la charge de la preuve
Il est peu probable qu’un siècle donné soit le « plus important ».	Le moment charnière); Réponse à « Le moment charnière »	Nous avons de nombreuses raisons de penser que ce siècle est « spécial » avant d’examiner les détails de l’IA. Nombre de ces raisons ont été abordées dans les articles précédents ; une autre est abordée dans la rangée suivante.
Quelles seraient vos prévisions concernant les délais de l’IA transformatrice, en vous basant uniquement sur des informations de base concernant (a) le nombre d’années pendant lesquelles les gens ont essayé de construire une IA transformatrice ; (b) combien ils ont « investi » dans ce domaine (en termes de nombre de chercheurs en IA et de quantité de calcul utilisée par eux) ; (c) s’ils y sont parvenus (jusqu’à présent, ils n’y sont pas parvenus) ?	Probabilités a priori semi-informatives	Estimations centrales : 8 % d’ici 2036 ; 13 % d’ici 2060 ; 20 % d’ici 2100.⁠b À mon avis, ce rapport souligne que l’histoire de l’IA est courte, que les investissements dans l’IA augmentent rapidement et que nous ne devrions donc pas être trop surpris si une IA transformatrice est développée bientôt.
Sur la base de l’analyse des modèles économiques et de l’histoire économique, quelle est la probabilité d’une « croissance explosive » – définie comme une croissance annuelle de plus de 30 % de l’économie mondiale – d’ici à 2100 ? Cette croissance est-elle suffisamment éloignée de ce qui est « normal » pour que nous doutions de la conclusion ?	Croissance explosive, Trajectoire humaine	La Trajectoire humaine projette le passé vers l’avant, impliquant une croissance explosive d’ici 2043-2065. La Croissance explosive conclut : « Je trouve que les considérations économiques ne constituent pas une bonne raison d’écarter la possibilité que le TAI soit développé au cours de ce siècle. En fait, il existe une perspective économique plausible selon laquelle des systèmes d’IA suffisamment avancés sont susceptibles de provoquer une croissance explosive. »
« Comment les gens ont-ils prédit l’IA … dans le passé, et devrions-nous ajuster nos propres points de vue aujourd’hui pour corriger les tendances que nous pouvons observer dans les prédictions antérieures ? … Nous avons rencontré l’opinion selon laquelle l’IA a été sujette à des emballements répétés dans le passé, et que nous devrions donc nous attendre à ce que les projections d’aujourd’hui soient probablement trop optimistes. »	Prévisions passées en matière d’IA	« Le pic de l’emballement pour l’IA semble avoir été atteint entre 1956 et 1973. Cependant, on exagère souvent l’emballement médiatique qu’impliquent certaines des prédictions d’IA les plus connues de cette période. »

Dans un souci de transparence, il convient de noter que de nombreux rapports techniques sont des analyses d’Open Philanthropy, dont je suis le codirecteur général.

Compte tenu de ce qui précède, je m’attends à ce que certains lecteurs éprouvent encore un sentiment de malaise. Même s’ils pensent que mes arguments sont logiques, ils peuvent se demander : si c’est vrai, pourquoi cela n’est-il pas plus largement discuté et accepté ? Quel est l’état de l’opinion des experts ?

Je résume ainsi l’état de l’opinion des experts à l’heure actuelle :

• Les affirmations que je fais ne contredisent aucun consensus d’experts particulier. (En fait, les probabilités que j’ai données ne sont pas très éloignées de ce que les chercheurs en IA semblent prédire, comme le montre la première rangée.) Mais certains signes indiquent qu’ils ne réfléchissent pas trop à la question.
• Les rapports techniques d’Open Philanthropy sur lesquels je me suis appuyé ont fait l’objet d’une évaluation approfondie par des experts externes. Des chercheurs en apprentissage automatique ont revu les Ancres biologiques ; des neuroscientifiques ont revu le Calcul cérébral ; des économistes ont revu la Croissance explosive ; des universitaires spécialisés dans des sujets pertinents en matière d’incertitude et/ou de probabilité ont revu les Probabilités a priori semi-informatives. (Certaines de ces évaluations comportaient des points de désaccord significatifs, mais aucun de ces points ne semblait être des cas où les rapports contredisaient un consensus clair d’experts ou de la littérature.)
• Mais il n’existe pas non plus de consensus d’experts actif et solide soutenant des affirmations telles que « Il y a au moins 10 % de chances qu’une IA transformatrice voie le jour d’ici 2036 » ou « Il y a de fortes chances que nous vivions le siècle le plus important pour l’humanité », comme c’est le cas, par exemple, pour la nécessité de prendre des mesures contre le changement climatique.

En fin de compte, mes affirmations portent sur des sujets qui n’ont tout simplement pas de « champ » d’experts qui se consacrent à leur étude. En soi, c’est un fait inquiétant qui, je l’espère, finira par changer.

Mais devrions-nous être prêts à agir selon l’hypothèse du « siècle le plus important » dans l’intervalle ?

Ci-dessous, je discuterai de :

• Ce à quoi pourrait ressembler un « champ de prévision de l’IA ».
• Un « point de vue sceptique » qui affirme que les discussions actuelles sur ces sujets sont trop restreintes, homogènes et insulaires (ce que je partage) – et que nous ne devrions donc pas agir sur l’hypothèse du « siècle le plus important » tant qu’il n’existe pas un domaine mature et solide (ce que je ne partage pas).
• Pourquoi je pense que nous devrions prendre l’hypothèse au sérieux dans l’intervalle, jusqu’à ce qu’un tel domaine se développe :
  • Nous n’avons pas le temps d’attendre un solide consensus d’experts.
  • S’il existe de bonnes réfutations – ou de futurs experts potentiels qui pourraient développer de telles réfutations – nous ne les avons pas encore trouvées. Plus on prend l’hypothèse au sérieux, plus de telles réfutations sont susceptibles d’apparaître. (La théorie de la loi de Cunningham : « le meilleur moyen d’obtenir une réponse correcte est de publier une réponse incorrecte »).
  • Je pense que le fait d’insister systématiquement sur l’existence d’un solide consensus d’experts est un mode de raisonnement dangereux. Selon moi, il n’y a pas de mal à prendre un certain risque d’auto-illusion et d’insularité, en contrepartie de faire ce qu’il faut faire quand c’est ça qui est le plus important.

Quel type d’expertise est l’expertise en matière de prévisions de l’IA ?

Les questions analysées dans les rapports techniques susmentionnés sont les suivantes :

• Les capacités de l’IA deviennent-elles plus impressionnantes au fil du temps ? (IA, histoire de l’IA)
• Comment pouvons-nous comparer les modèles d’IA aux cerveaux animaux/humains ? (IA, neurosciences)
• Comment comparer les capacités de l’IA à celles des animaux ? (IA, éthologie)
• Comment pouvons-nous estimer le coût de l’entraînement d’un grand système d’IA à une tâche difficile, sur la base des informations dont nous disposons sur l’entraînement de systèmes d’IA antérieurs ? (IA, ajustement des courbes)
• Comment pouvons-nous faire une estimation à partir d’un minimum d’informations sur l’IA transformatrice, en nous basant uniquement sur le nombre d’années, de chercheurs et de dollars consacrés à ce domaine jusqu’à présent ? (Philosophie, probabilité)
• Quelle est la probabilité d’une croissance économique explosive au cours de ce siècle, sur la base de la théorie et des tendances historiques (économie de la croissance, histoire économique) ?
• À quoi a ressemblé « l’emballement médiatique sur l’IA » dans le passé ? (Histoire)

Lorsque je parle des implications plus larges de l’IA transformatrice pour le « siècle le plus important », j’ai également abordé des sujets tels que « Dans quelle mesure les personnes numériques et l’établissement de colonies spatiales dans toute la galaxie sont-ils réalisables ? » Ces sujets touchent à la physique, aux neurosciences, à l’ingénierie, à la philosophie de l’esprit, etc.

Il n’y a pas d’emploi ou de qualification évidente qui puisse faire de quelqu’un un expert sur la question de savoir quand nous pouvons nous attendre à une IA transformatrice, ou sur la question de savoir si nous sommes dans le siècle le plus important.

(Je suis particulièrement en désaccord avec toute affirmation selon laquelle nous devrions nous fier exclusivement aux chercheurs en IA pour ces prévisions. Outre le fait qu’ils ne semblent pas réfléchir sérieusement au sujet, je pense que se fier à des personnes spécialisées dans la construction de modèles d’IA de plus en plus puissants pour nous dire quand l’IA transformatrice pourrait arriver, revient à se fier aux entreprises de R&D dans le domaine de l’énergie solaire – ou aux entreprises d’extraction pétrolière, selon le point de vue – pour prévoir les émissions de carbone et le changement climatique. Elles ont certainement leur mot à dire. Mais la prévision est une activité distincte de l’innovation ou de la construction de systèmes de pointe.)

Et je ne suis même pas sûr que ces questions aient la forme qui convient à un domaine universitaire. Essayer de prévoir l’IA transformatrice, ou déterminer les chances que nous soyons dans le siècle le plus important, semble… :

• plus proche du modèle électoral FiveThirtyEight (« Qui va gagner l’élection ? ») que de la science politique académique (« Comment les gouvernements et les électeurs interagissent-ils ? ») ;
• Plus proche de la négociation sur les marchés financiers (« Ce prix va-t-il augmenter ou diminuer à l’avenir ? ») que de l’économie académique (« Pourquoi les récessions existent-elles ? ») ;⁠c
• Plus proche de la recherche de GiveWell (« Quelle organisation caritative aidera le plus les gens, par dollar ? ») que de l’économie du développement (« Quelles sont les causes de la pauvreté et qu’est-ce qui peut la réduire ? »).⁠d

En d’autres termes, je ne vois pas très bien à quoi ressemblerait un « siège institutionnel » naturel pour l’expertise en matière de prévisions transformatrices de l’IA et du « siècle le plus important ». Mais il semble juste de dire qu’il n’existe pas aujourd’hui d’institutions importantes et solides dédiées à ce type de questions.

Comment agir en l’absence d’un solide consensus d’experts ?

Le point de vue sceptique

En l’absence d’un solide consensus d’experts, je m’attends à ce que certaines personnes (en fait, la plupart) soient sceptiques, quels que soient les arguments présentés.

Voici une version d’une réaction sceptique très générale pour laquelle j’éprouve une certaine empathie :

1. Tout cela est trop extravagant.
2. Vous affirmez de manière exagérée que nous vivons dans le siècle le plus important. Cela s’apparente à de l’auto-illusion.
3. Vous avez fait valoir que la charge de la preuve ne devrait pas être si élevée, parce que nous vivons à une époque remarquable et instable à bien des égards. Mais … Je ne me sens pas capable d’évaluer ces affirmations, ni vos affirmations sur l’IA, ni vraiment quoi que ce soit sur ces sujets délirants.
4. Je suis préoccupé par le peu de personnes qui semblent prendre part à ces discussions. L’étroitesse, l’homogénéité et l’insularité de la discussion m’inquiètent. Dans l’ensemble, cela ressemble plus à une histoire que les gens intelligents se racontent à eux-mêmes – avec beaucoup de graphiques et de chiffres pour la rationaliser – sur leur place dans l’histoire. Cela ne semble pas « réel ».
5. Rappelez-moi donc lorsqu’il y aura un champ mature de centaines ou de milliers d’experts, qui se critiquent et s’évaluent les uns les autres, et qu’ils seront parvenus au même type de consensus que celui que nous observons pour le changement climatique.

Je comprends que vous puissiez être de cet avis, et je l’ai été moi-même à certains moments, en particulier sur les points #1-#4. Mais je vais donner trois raisons pour lesquelles le point #5 ne me semble pas correct.

Raison 1 : nous n’avons pas le temps d’attendre un solide consensus d’experts

Je crains que l’arrivée de l’IA transformatrice ne se déroule comme une sorte de version au ralenti et aux enjeux plus élevés de la pandémie COVID-19. Si l’on considère les meilleures informations et analyses disponibles aujourd’hui, il y a lieu de s’attendre à ce que quelque chose d’important se produise. Mais la situation est largement inhabituelle ; elle n’entre pas dans les schémas que nos institutions gèrent régulièrement. Et chaque année supplémentaire d’action est précieuse.

On peut également considérer qu’il s’agit d’une version accélérée de la dynamique du changement climatique. Imaginez que les émissions de gaz à effet de serre n’aient commencé à augmenter que récemment⁠e (au lieu du milieu des années 1800) et que la science du climat n’existe pas encore. Ce serait une très mauvaise idée d’attendre des décennies qu’un domaine émerge avant de chercher à réduire les émissions.

Raison 2 : La loi de Cunningham (« le meilleur moyen d’obtenir une réponse correcte est de publier une réponse incorrecte ») est peut-être notre meilleur espoir de trouver la faille dans ces arguments

Je ne plaisante pas.

Il y a plusieurs années, certains collègues et moi-même avons soupçonné que l’hypothèse du « siècle le plus important » pouvait être vraie. Mais avant de commencer à agir, nous voulions voir si nous pouvions trouver des brèches fatales dans cette hypothèse.

L’une des façons d’interpréter nos actions au cours des dernières années est de dire que nous avons fait tout ce qui était en notre pouvoir pour découvrir si l’hypothèse était erronée.

Tout d’abord, nous avons essayé de parler aux gens des arguments clés – des chercheurs en IA, des économistes, etc. Mais… :

• Nous n’avions qu’une vague idée des arguments présentés dans cette série (que nous avions en grande partie ou peut-être entièrement empruntés à d’autres personnes). Nous n’étions pas en mesure de les énoncer de manière claire et précise.
• Il y avait beaucoup de points factuels clés que nous pensions pouvoir vérifier,⁠f mais que nous n’avions pas encore fixés et que nous ne pouvions pas soumettre à la critique.
• Dans l’ensemble, nous ne pouvions même pas articuler suffisamment d’arguments concrets pour donner aux autres une chance équitable de les démolir.

Nous avons donc consacré beaucoup d’efforts à la rédaction de rapports techniques sur un grand nombre d’arguments clés. ( Ceux-ci sont désormais publics et figurent dans le tableau en tête de cet article.) Cela nous a permis de publier les arguments et de potentiellement nous confronter à des contre-arguments fatals.

Ensuite, nous avons fait appel à des experts externes.⁠g

Pour ne parler que de moi, l’hypothèse du « siècle le plus important » semble avoir survécu à tout cela. En effet, après avoir examiné les nombreux angles et approfondi les détails, j’y crois plus fermement qu’auparavant.

Mais disons que c’est simplement parce que les vrais experts – des gens que nous n’avons pas encore trouvés, avec des contre-arguments dévastateurs – trouvent tout cela tellement stupide qu’ils ne prennent pas la peine de prendre part à la discussion. Ou bien, disons qu’il existe aujourd’hui des personnes qui pourraient un jour devenir des experts sur ces sujets et faire tomber ces arguments. Que pourrions-nous faire pour permettre cela ?

La meilleure réponse que j’ai trouvée est la suivante : « Si cette hypothèse était mieux connue, plus largement acceptée et plus influente, elle ferait l’objet d’un examen plus critique. »

Cette série est une tentative dans ce sens – pour que l’hypothèse du « siècle le plus important » gagne en crédibilité. Ce serait une bonne chose si l’hypothèse était vraie ; cela semble également être la meilleure démarche à suivre si mon seul objectif était de remettre en question mes croyances et d’apprendre qu’elles sont fausses.

Bien sûr, je ne dis pas qu’il faut accepter ou promouvoir l’hypothèse du « siècle le plus important » si elle ne vous semble pas correcte. Mais je pense que si votre seule réserve concerne l’absence de consensus solide, continuer à ignorer la situation semble étrange. Si les gens se comportaient généralement de cette manière (en ignorant toute hypothèse qui n’est pas soutenue par un consensus solide), je ne suis pas sûr de voir comment une hypothèse – y compris une hypothèse vraie – passerait du statut de marginale à celui d’acceptée.

Raison 3 : le scepticisme en général semble être une mauvaise idée

À l’époque où je me concentrais sur GiveWell, les gens disaient parfois quelque chose du genre : « Vous savez, vous ne pouvez pas exiger de chaque argument qu’il réponde aux normes que GiveWell impose à ses meilleures organisations caritatives – en recherchant des essais contrôlés randomisés, des données empiriques solides, etc. Certaines des meilleures opportunités de faire le bien seront celles qui sont moins évidentes, donc cette norme risque d’exclure certaines de vos plus grandes opportunités potentielles d’avoir un impact ».

Je pense que c’est exact. Je pense qu’il est important de vérifier son approche générale du raisonnement et des normes de preuve et de se demander : « Quels sont les scénarios dans lesquels mon approche échoue, et dans lesquels je préférerais vraiment qu’elle réussisse ? » À mon avis, c’est acceptable de prendre le risque de se faire des illusions et d’être insulaire, si l’on veut faire ce qu’il faut quand c’est ça qui compte le plus.

Je pense que l’absence d’un solide consensus d’experts – et les préoccupations relatives à l’auto-illusion et à l’insularité – constituent une bonne raison de creuser l’hypothèse du « siècle le plus important », plutôt que de l’accepter d’emblée. Il faut se demander s’il n’y a pas une faille non découverte, s’il n’y a pas un biais qui nous pousse à gonfler notre propre importance, rechercher les parties de l’argument qui semblent les plus discutables, etc.

Mais si vous avez étudié la question autant qu’il est raisonnable/pratique pour vous – et que vous n’avez pas trouvé de faille autre que des considérations telles que « Il n’y a pas de consensus d’experts solide » et « Je m’inquiète de l’auto-illusion et de l’insularité » – alors je pense que rejeter l’hypothèse est le genre de chose qui garantit essentiellement que vous ne ferez pas partie des premières personnes à remarquer une question extrêmement importante et à agir en conséquence, si l’occasion se présente. Je pense que c’est un trop grand sacrifice, en termes de renoncement à des opportunités potentielles de faire beaucoup de bien.

---

Ce travail est placé sous une licence Creative Commons Attribution 4.0 Licence Internationale.

---

Publication originale : Holden Karnofsky (2021) AI timelines: Where the arguments, and the “experts,” stand, Effective Altruism Forum, 7 septembre.

Traduction de : Baptiste Roucau.