Repenser les modèles de menace liés à l’IAG
Bonjour à tous. Cette présentation s’appuie sur une série de recherches que j’ai menées chez OpenAI. Elle se veut également une forme de provocation. Je me disais hier : beaucoup de gens sont en désaccord sur de nombreux sujets, mais quel est le point sur lequel tous les intervenants se sont accordés ? Ils ne s’accordent pas vraiment sur la question de savoir s’il existe trois ou quatre types de risques liés à l’IA, mais ils s’accordent tous sur le fait qu’il y a au moins l’utilisation malveillante et le désalignement. Vous savez : l’utilisation malveillante, ce sont des humains qui utilisent des IA pour faire le mal ; le désalignement, ce sont des IA qui décident de manière autonome de faire le mal. La question que pose cette présentation est la suivante : et si nous devions tout simplement abandonner cette distinction et cesser de l’utiliser ?
Je vais donc développer cet argument en deux temps. Premièrement, ce n’est tout simplement pas une distinction utile sur le plan technique. Deuxièmement, ce n’est pas une distinction très utile sur le plan de la gouvernance.
La version en dix secondes de l’argument donne à peu près ceci : actuellement, les IA sont des outils et les humains les utilisent. Mais à mesure que les IA deviendront des agents, faire une utilisation malveillante d’une IA consistera essentiellement à lui ordonner d’aller agir de manière autonome. Ainsi, le processus par lequel une IA agit de manière désalignée et celui par lequel un humain fait une utilisation malveillante d’une IA sembleront identiques à bien des égards, à l’exception de la toute première étape. Et peut-être que cette toute première étape n’est pas l’élément central sur lequel nous devrions nous concentrer lorsque nous essayons de catégoriser les modèles de menace.
Bon, voilà pour la version en dix secondes de l’argument. Voici la version en quatre minutes.
Vous pourriez dire : « Écoutez, je suis d’accord pour dire qu’en pratique, l’utilisation malveillante et le désalignement peuvent conduire à bon nombre de menaces similaires, mais nous avons vraiment besoin de faire cette distinction sur le plan technique. Nous devons absolument nous assurer que notre travail se concentre sur la prévention du désalignement. » En réalité, je pense que si vous vous efforcez véritablement de prévenir l’utilisation malveillante sur le plan technique, vous finirez par accomplir une grande partie du même travail que vous voudriez également faire pour prévenir le désalignement. On retrouve ainsi ce type d’analogie entre bon nombre des éléments qui figurent de part et d’autre.
Par exemple, du point de vue du désalignement, vous souhaitez surveiller le comportement de l’IA. Mais du point de vue de l’utilisation malveillante, vous souhaitez également surveiller le comportement des utilisateurs et leurs interactions avec l’IA. Ces deux aspects ne sont pas si différents que cela. De fait, les infrastructures que vous devez mettre en place, comme les dispositifs de surveillance, se recoupent largement.
Du point de vue du désalignement, vous souhaitez détecter si les IA prétendent être alignées. Il se peut qu’à un certain moment dans le temps, elles changent de cap et se mettent à avoir un comportement totalement différent. Il s’agit d’un problème technique assez similaire à celui qui consiste à détecter si une IA a été compromise par une porte dérobée. Dans les deux cas, il y aura un ensemble d’entrées qui modifiera radicalement leur comportement et les conduira à agir de manière totalement hors distribution.
Du point de vue du désalignement, vous pourriez vous inquiéter de la stéganographie, n’est-ce pas ? Des IA qui se transmettent des messages. Mais il s’agit là, en quelque sorte, du problème technique suivant : « Une IA peut-elle fournir à une autre IA une entrée qui la poussera à mal agir ? » Et c’est, d’une certaine manière, le même problème que le jailbreaking, à ceci près que dans ce dernier cas, c’est généralement un humain qui fournit l’entrée.
Je ne vais pas passer en revue tous ces points faute de temps, mais je pense que les analogies sont assez fortes pour une grande partie du travail technique que l’on pourrait vouloir mener dans les deux cas.
Du point de vue de la gouvernance, je vais m’attarder sur ce dernier point. Une IA rénégate est analogue à une concentration du pouvoir. Qu’est-ce que j’entends par là ? Au niveau de la gouvernance, le problème est que l’utilisation malveillante et le désalignement sont radicalement différents selon les acteurs en cause.
Si on prends l’exemple des armes biologiques. Beaucoup de gens parlent des armes biologiques comme d’un problème d’utilisation malveillante, n’est-ce pas ? Nous publions une IA en open source, des terroristes fabriquent des armes biologiques, c’est très grave. Le problème, c’est qu’en réalité, la plupart des pires armes biologiques sont probablement fabriquées, ou dans certains cas l’ont été, par des acteurs militaires, c’est-à-dire des acteurs étatiques, n’est-ce pas ? Et quand on commence à réfléchir au problème des armes biologiques du point de vue des acteurs étatiques, bon nombre de nos conclusions peuvent s’inverser complètement. Par exemple, on pourrait souhaiter davantage d’open source parce que l’open source est utile pour la défense, alors que les acteurs étatiques qui fabriquent des armes biologiques disposeront de ces IA, qu’elles soient en open source ou non, et les utiliseront de toute façon à des fins offensives, n’est-ce pas ? Ainsi, même un sujet qui semble aussi simple que les armes biologiques recouvre en réalité des modèles de menace très différents selon les acteurs impliqués.
De même, les modèles de menace liés au désalignement varient considérablement selon que votre IA désalignée se trouve simplement sur un serveur quelque part aux Bahamas, qu’elle est hébergée sur les serveurs d’une entreprise d’IA et déployée auprès d’un million de personnes, ou qu’elle est largement déployée au sein des principales forces armées. Ce sont là autant de modèles de menace très différents en matière de désalignement.
Voici ma proposition. Définissons une coalition désalignée comme un groupe d’humains et d’IA qui tentent de s’emparer du pouvoir par des moyens illégitimes. Il existe toutes sortes de coalitions désalignées : des groupes terroristes, des entreprises qui enfreignent la loi, etc. Et la plupart du temps, tant sur le plan technique que sur celui de la gouvernance, nous n’avons pas besoin de savoir qui est aux commandes au sein de cette coalition. Les IA peuvent être aux commandes, les humains peuvent être aux commandes, personne ne sait peut-être qui est aux commandes. Mais nous pouvons essayer d’aborder le problème de la même manière, quoi qu’il en soit.
Je n’ai pas de classification précise des différents types de coalitions désalignées, mais je soulignerais qu’elles vont des acteurs à petite échelle aux acteurs à grande échelle. Si vous vous inquiétez surtout des acteurs à petite échelle, ce sont en réalité les risques liés à la décentralisation de l’IA qui vous préoccupent ; si vous vous inquiétez plutôt des acteurs à grande échelle, ce sont les risques liés à la centralisation. Je vois bien un scénario dans lequel les Démocrates s’inquiètent davantage du premier cas et les Républicains du second. Je ne voudrais pas que le domaine de la sûreté de l’IA se scinde en deux coalitions opposées sur cette base ; c’est pourquoi je tiens vraiment à ce que nous prenions conscience de ces deux types de clivages, puis que nous cherchions un cadre qui les unifie et les traite tous les deux.