Sihao Huang sur le risque que la concurrence US-Chine en matière d’IA conduise à la guerre

Producteur et éditeur : Keiran Harris Équipe d’ingénieurs du son : Ben Cordell, Simon Monsour, Milo McGuire et Dominic Armstrong. Édition de contenu supplémentaire : Katy Moore et Luisa Rodriguez. Transcriptions : Katy Moore

Points clés

Quel est le degré d’avancement de l’IA chinoise ?

Sihao Huang: L’IA chinoise ne se limite pas aux grands modèles de langage (« large language models » ou LLM en anglais), et je pense qu’il s’agit d’un point important que nous devrions aborder dans un instant. Mais en ce qui concerne les LLM, si vous utilisez un modèle de langage chinois, il ressemble beaucoup à un modèle occidental : vous allez sur un portail qui ressemble à ChatGPT, vous pouvez taper votre saisie, vous pouvez télécharger des images, lui parler, il fait des maths, rend LaTeX, etc. Je pense donc que, d’une manière générale, ils construisent des modèles très similaires à ceux qui sont mis en place aux États-Unis ou en Europe.

Mais en ce qui concerne le modèle de base, ils sont encore un peu en retard. Le marché chinois de l’IA connaît actuellement une dynamique très intéressante, surtout depuis quelques mois. Depuis le milieu de l’année dernière, lorsque Baidu a lancé son Ernie Bot, il a affirmé que ses modèles étaient à la hauteur de GPT-4, du moins sur certains aspects. Mais cela ne s’est pas avéré être le cas lorsque les gens ont commencé à les utiliser. Il faut toujours être un peu sceptique lorsque l’on regarde les chiffres de référence qui font la une, car les entreprises peuvent optimiser leurs performances en fonction de certains critères, et elles peuvent également sélectionner des critères pour rendre leurs modèles plus impressionnants.

Mais au cours des derniers mois, un certain nombre de modèles chinois ont semblé se rapprocher du niveau GPT-4. Il y a donc le Qwen 2.5 d’Alibaba, le GLM de Zhipu, le Kimi de Moonshot et le DeepSeek-V2 — qui est sorti il n’y a pas très longtemps et qui était assez impressionnant en matière d’ingénierie. Et certains de ces modèles sont des modèles open source. La Chine est donc en train de rattraper son retard en ce qui concerne ces LLM d’avant-garde qui, au moins dans le domaine de l’open source, n’ont rien à envier à ceux de l’Occident. Mais pour ce qui est des logiciels fermés, je pense qu’ils n’ont pas encore atteint la parité avec GPT-4o ou Claude 3.5, etc.

Le deuxième aspect intéressant de cette dynamique est qu’il y a beaucoup d’entreprises qui construisent des modèles qui ressemblent à celui-ci. Je dirais donc qu’il y a peut-être quatre ou cinq prétendants aux systèmes de niveau GPT-4 en Chine à l’heure actuelle. C’est tout à fait contre-intuitif, car on pourrait s’attendre à ce que la Chine, en tant qu’État communiste, ait une action centralisée et coordonnée en matière de développement de l’IA. Au lieu de cela, toutes ces ressources informatiques sont réparties entre différentes entreprises, qui utilisent chacune leurs ressources informatiques limitées pour former des modèles à la pointe au lieu de les regrouper en une seule et même opération.

Elles se livrent également à une course aux prix. Récemment, on a beaucoup parlé de la guerre des prix des LLM en Chine. Vous avez donc toutes ces grandes entreprises technologiques et ces entreprises financées par le capital-risque qui regorgent de capitaux, qui se font la course et qui réduisent les prix du LLM de 90 %, 95 %, 99 % pour se concurrencer sur l’accès gratuit au LLM et l’accès à l’API. Ainsi, depuis la mi-2024, de nombreux systèmes chinois rattrapent leur retard en matière d’open source et d’innovations techniques rapides pour rendre l’inférence LLM plus efficace et les prix des LLM moins élevés.

Je pense que cela est dû en grande partie à cette surabondance de puissance de calcul due au fait que la Chine a stocké de nombreuses puces américaines, comme les A800 et H800, au cours des deux dernières années. Elle a ainsi pu rattraper le niveau de capacités du GPT-4. Je pense que la question de savoir s’ils pourront continuer à suivre ce rythme à l’avenir reste ouverte. Mais pour l’instant, si l’on considère que GPT-4 a été formé vers le milieu ou la fin de l’année 2022, on peut dire que la Chine a environ un an et demi ou deux ans de retard.

Maintenant, si nous parlons d’autres types de technologies d’IA, je pense qu’il y a définitivement des parties de l’IA où la Chine est à la pointe, et ce sont des choses comme la vision par ordinateur. Cela fait longtemps que la Chine est très forte dans le domaine de la vision par ordinateur. Des entreprises comme SenseTime, Hikvision et Megvii, par exemple, conçoivent des logiciels de surveillance très avancés. SenseTime propose des produits capables de suivre des individus dans une ville en continu grâce à différentes caméras, même sans regarder votre visage, en construisant un modèle de vos vêtements et de votre garde-robe, ou en observant votre démarche.

Et ce sont des systèmes de surveillance vraiment avancés qui sont vendus aux villes chinoises et aux services de police. Je pense que les décideurs politiques occidentaux s’inquiètent tant de l’utilisation de ces systèmes par la Chine en raison de la surveillance et des violations des droits humains. Mais si vous regardez aussi l’histoire de la recherche chinoise, en fait — je crois que c’est toujours le cas — l’article le plus cité en IA, qui a introduit les réseaux résiduels, a été écrit par quatre auteurs chinois en vision par ordinateur qui ont été formés dans des universités chinoises. Trois d’entre eux sont toujours en Chine. Je crois que l’un d’entre eux a fini par aller à Meta et est maintenant professeur au MIT.

La Chine est-elle en train de rattraper les États-Unis et le Royaume-Uni ?

Sihao Huang: Je dirais qu’elle ne se rapproche pas très vite des États-Unis et du Royaume-Uni. Je ne voudrais pas être dans la position de la Chine si je pensais que l’IA est extrêmement importante pour l’avenir du monde. Et il est, bien sûr, très difficile de prédire comment évolueront les choses à long terme. Je mettrais toujours en garde en disant que le paradigme de l’amplification — sur lequel nous fondons une grande partie de nos politiques en ce moment — selon lequel les systèmes d’IA deviennent de plus en plus performants à mesure que nous leur fournissons plus de puissance de calcul, et donc que nous concevons des contrôles experts sur les puces qui sont utilisées pour construire ces modèles d’IA, pourrait ne pas durer éternellement. Je pense qu’il est probable qu’il y aura d’autres innovations essentielles à la construction de systèmes d’IA plus puissants.

Ainsi, au vu du paradigme technologique actuel, la Chine ne semble pas en très bonne position. Mais je pense qu’il y a toujours la menace imminente que, comme nous l’avons déjà dit, la Chine se trouve dans un arbitrage exploration-exploitation différent du nôtre. Elle peut être plus créative en essayant d’explorer d’autres voies pour construire des systèmes d’IA avancés, et elle peut aussi avoir, par exemple, des avantages comparatifs dans la construction d’une IA qui est plus intégrée dans cette économie.

On a vu la Chine accélérer le déploiement de systèmes d’IA ou de reconnaissance visuelle qui ont franchement facilité la vie quotidienne, en plus d’être déployées pour la surveillance. Lorsque j’étais à Pékin l’année dernière, on pouvait entrer dans un supermarché sans carte de crédit, mais aussi sans téléphone. Il suffit d’aller au comptoir, de scanner les aliments et de regarder une caméra pour que le paiement se fasse automatiquement.

Les entreprises chinoises font donc preuve d’une grande créativité dans le déploiement de ces systèmes d’IA. Si je devais décrire comment les États-Unis pourraient prendre du retard dans le développement de l’IA, je dirais que cela pourrait ressembler à ce qui suit : GPT-5 n’est tout simplement pas si impressionnant ; nous avons heurté un mur avec le paradigme d’amplification et les transformateurs ou les grands modèles de langage, et il y a quelque chose qui ressemble à un hiver de l’IA, ou au moins une diminution significative de l’investissement dans l’IA aux États-Unis.

Mais en Chine, ils sont capables d’intégrer ces systèmes dans l’économie beaucoup plus profondément et de construire des produits rentables autour d’eux. Cela signifie que l’investissement dans l’IA est durable et qu’il se concentre sur des méthodes plus diversifiées pour construire des modèles plus performants qui finissent par porter leurs fruits. Une fois qu’elle aura trouvé cela — et peut-être qu’elle n’aura pas besoin d’autant de puissance de calcul, ou qu’elle aura trouvé d’autres moyens d’accéder à cette puissance de calcul — la Chine pourrait prendre de l’avance. Mais je pense que cette voie est étroite.

La Chine pourrait-elle être une source de risque catastrophique pour l’IA ?

Sihao Huang: Je dirais que la Chine est un acteur très pertinent dans ce domaine, pour deux raisons. La première est que la Chine n’a pas besoin de développer des modèles d’avant-garde pour avoir des capacités d’avant-garde. Il y a deux façons d’accéder aux modèles d’avant-garde. La première est tout simplement que nous les donnons, n’est-ce pas ? Il est probable que Facebook ouvre ses modèles Llama les plus performants qui sont proches du niveau de GPT-4 ou supérieurs au niveau de GPT-4. La Chine pourrait tout simplement les utiliser localement en les intégrant à son matériel. Ils pourraient potentiellement prendre ces modèles, les perfectionner pour supprimer les protections, ils pourraient ajouter des modules supplémentaires ou les utiliser dans des systèmes d’IA plus complexes, et donc obtenir des capacités d’IA de pointe.

La deuxième façon d’obtenir des modèles d’avant-garde est de voler les poids des modèles. Avec la prolifération des différents acteurs qui se trouvent à la pointe, il y a peut-être trois ou quatre entreprises capables de le faire à l’heure actuelle aux États-Unis. Ces entreprises ne sont pas nécessairement résistantes aux cyberattaques d’État, et la Chine est un acteur extrêmement sophistiqué, ce qui dépendra en grande partie de l’équilibre cyber-offensive/défensive — en particulier lorsque des technologies d’IA sont impliquées. Peut-être que la Chine développera simplement des systèmes d’IA cyber très performants pour ensuite essayer d’exfiltrer nos poids et de les exécuter sur leur matériel local.

Cela m’amène au deuxième point, à savoir qu’il n’est pas forcément nécessaire de disposer d’une puissance de calcul de premier plan pour créer des systèmes d’IA à haut risque. Les plus grands outils de conception biologique actuels, comme AlphaFold, ont besoin d’une puissance de calcul inférieure de plusieurs ordres de grandeur à celle des grands modèles de langage les plus avancés. La Chine dispose de la puissance de calcul nécessaire pour entraîner ces systèmes. Et si vous construisez, par exemple, un cyberagent ou quelque chose qui mène des cyberattaques, vous n’avez peut-être pas besoin du raisonnement général ou de la capacité mathématique d’un grand modèle de langage. Vous vous entraînez sur un sous-ensemble de données beaucoup plus petit. Vous le perfectionnez sur un sous-ensemble de données plus petit. Et ces systèmes — d’une part, si la Chine les utilise intentionnellement de manière malveillante, et d’autre part, s’ils prolifèrent parce que la Chine les publie simplement en open source, ou parce que la Chine n’a pas de réglementation aussi complète en matière d’IA — pourraient causer beaucoup de dommages dans le monde.

Luisa Rodriguez: D’accord, l’idée est que l’une des principales façons dont l’IA peut poser un risque catastrophique pour l’humanité est que les modèles de pointe deviennent très, très intelligents, qu’ils soient trompeurs, qu’ils puissent proliférer d’eux-mêmes et ainsi prendre le contrôle de l’humanité. Mais il existe potentiellement de nombreuses autres voies menant à des risques catastrophiques qui n’impliquent pas d’être à la pointe. Par exemple, des modèles beaucoup plus petits pourraient être capables de créer des armes biologiques ; des modèles beaucoup plus petits pourraient être capables de mener des cyberattaques qui permettraient à la Chine de voler les poids des modèles. Et tout cela signifie que la Chine est en fait toujours super importante pour les risques catastrophiques. Est-ce exact ? Et si c’est le cas, y a-t-il d’autres voies qui méritent d’être soulignées ?

Sihao Huang: C’est tout à fait exact. Je pense que j’aimerais également souligner que le risque catastrophique, du moins tel que je le conçois, ne se limite pas aux dommages directs causés par ces systèmes. Il faut également penser aux dommages systémiques, lorsque le déploiement de l’IA entraîne de très mauvaises externalités sociales, ou provoque des inégalités massives. Et je pense que dans ce domaine, la Chine est également un acteur pertinent à inclure dans les conversations sur le partage équitable des avantages de l’IA dans le reste du monde ; dans les conversations sur la façon dont le déploiement de l’IA pourrait potentiellement changer de manière significative nos environnements informationnels et culturels. Ou par exemple, dans le déploiement par la Chine de ces systèmes dont nous avons parlé précédemment, capables d’exercer une surveillance de masse et de renforcer un régime autoritaire ; et aussi dans l’exportation potentielle par la Chine de ces systèmes dont nous avons parlé précédemment, qui pourraient être utilisés pour exercer une surveillance de masse et renforcer un régime autoritaire dans d’autres pays, et ainsi répandre son idéologie — et, je pense, causer une énorme perte de valeur.

Luisa Rodriguez: Oui. D’accord, cela semble mauvais. Y a-t-il d’autres voies menant à des risques importants que vous souhaiteriez mentionner ?

Sihao Huang: Je pense que l’une des principales questions auxquelles je réfléchis de plus en plus est la suivante : à quoi ressemblent les processus délibératifs mondiaux lorsque nous devons finalement décider d’aller de l’avant avec l’explosion d’intelligence ? Permettez-moi de vous brosser un tableau de la situation. Disons que nous sommes en 2040 et que nous avons l’impression que les systèmes d’IA approchent d’un seuil où ils sont généralement semblables aux capacités humaines dans presque tous les domaines. Par conséquent, ils sont en mesure d’accélérer l’innovation scientifique et technologique, de commencer à faire de la recherche sur l’IA et de la déployer à grande échelle en raison de l’excédent de puissance de calcul que nous avons suite à leur entraînement.

Maintenant, comment prendre la décision de le faire ou non ? Parce qu’il est très probable qu’une fois que nous aurons pris cette décision, les choses iront très, très vite. Si la Chine est en mesure de le faire, nous devons nous assurer qu’elle n’appuiera pas sur le bouton sans en parler au reste du monde pour s’assurer que tout se passe bien. Nous voulons également nous assurer que si les États-Unis font cela, la Chine n’est pas en mesure de nous atomiser en premier, parce qu’un décideur chinois pourrait regarder la situation et penser : « Cela va rendre les États-Unis dominants pour toujours dans l’histoire de l’humanité, et nous pourrions vouloir prendre le risque de l’anéantir. » Des situations comme celle-ci sont largement… Je pense que je suis en train de décrire une situation très particulière, mais les grands bouleversements de pouvoir peuvent provoquer une grande instabilité dans la politique internationale.

Au-delà des risques de conflit cinétique, je pense que dans une situation où l’on est confronté à l’explosion d’intelligence, il faut vraiment s’assurer qu’il existe de bons processus délibératifs qui permettent à l’ensemble de l’humanité de s’exprimer et de pressentir les conséquences de ce que l’on va faire ensuite. Il faut s’assurer qu’il existe un moyen de réunir tous les pays autour de la table.

L’IA favorise les violations des droits humains et affaiblit la démocratie

Sihao Huang: Pour situer le contexte, le peuple ouïghour fait l’objet de poursuites judiciaires et subit ce que beaucoup considèrent comme un génocide à l’heure actuelle dans le Xinjiang. Ces systèmes sont donc largement déployés dans ces villes pour « identifier les fauteurs de troubles ou les fauteurs de troubles potentiels ». Il existe donc un lien très étroit entre les progrès de l’IA et la capacité de la Chine à réprimer dans son propre pays.

Cet article de Martin Beraja, qui travaille à l’Institut d’économie du MIT, met bien en évidence cette dynamique. Il s’intitule très justement « AI-tocratie ». Il fait beaucoup de choses dans cet article, mais il identifie surtout un certain nombre de liens. Tout d’abord, il étudie différentes villes et provinces chinoises. Après un événement majeur de protestation ou de troubles sociaux, la police achète davantage de systèmes de surveillance basés sur l’IA. Il montre ensuite qu’avec l’augmentation de l’acquisition de ces systèmes de surveillance basés sur l’IA, il est en fait plus improbable que les citoyens chinois descendent dans la rue.

Il montre ensuite que lorsque ces systèmes sont achetés à ces entreprises, celles-ci, d’une part, obtiennent des fonds supplémentaires pour la recherche et le développement et, d’autre part, obtiennent des gouvernements des contrats de données qui leur permettent de rendre ces systèmes plus efficaces. On obtient ainsi une boucle de rétroaction étroite entre les entreprises d’IA qui construisent des systèmes de surveillance de plus en plus avancés, la police qui libère des budgets et l’augmentation de la surveillance qui a lieu en Chine.

Je pense que cela met en évidence une dynamique assez unique, à savoir que la plupart des États autoritaires ont besoin de satisfaire un certain nombre de personnes pour mener à bien la répression. C’est ce qu’on appelle généralement le sélectorat. Et le sélectorat a besoin d’extraire une certaine rente politique du régime. Mais si vous êtes en mesure d’automatiser la portion de personnes que vous devez contenter pour faire respecter votre régime autoritaire, ce sélectorat peut essentiellement se réduire à zéro.

Luisa Rodriguez: Pouvez-vous expliquer ce mécanisme qui fait que les régimes autoritaires ont besoin de satisfaire un sélectorat, mais que l’IA peut faire en sorte quece sélectorat soit réduit à zéro ? En fait, comment peut-ton expliquer que les régimes autoritaires aient besoin d’un sélectorat, et comment l’IA annule-t-elle cela ?

Sihao Huang: Je pense que l’idée ici est que cela revient à la compréhension traditionnelle en sciences politiques d’un problème principal-agent. Un principal a besoin d’agents pour exécuter ses ordres et exercer son pouvoir. Par exemple, Xi Jinping ne dirige pas la Chine tout seul ; il dirige la Chine par procuration, par l’intermédiaire d’autres personnes — comme les membres du politburo, qui sont au sommet de la hiérarchie du parti communiste — qui dirigent ensuite la Chine par l’intermédiaire des gouvernements provinciaux, qui dirigent ensuite la Chine par l’intermédiaire des gouvernements locaux, qui dirigent ensuite la Chine en utilisant une vaste force de police pour mener la répression, mais qui dirigent également la Chine en faisant réellement de bonnes choses pour le peuple et donc en obtenant son soutien.

Et vous pourriez continuer à gouverner ce pays tout en faisant des choses terribles pour le peuple, tant que vous l’opprimez suffisamment pour qu’il ne renverse pas votre pouvoir. Et ce n’est pas une hypothèse : cela s’est déjà produit dans l’histoire de la Chine elle-même. Par exemple, pendant l’ère maoïste, il y a eu des famines massives et une répression massive. Certaines des pires choses qui soient arrivées à l’humanité se sont produites pendant la période où Mao dirigeait le pays.

Pendant cette période, il devait s’assurer que les gens autour de lui étaient en quelque sorte alignés sur ses objectifs. Cela s’est fait en partie par la terreur pure, et en partie en s’assurant que les cadres et les élites du parti communiste bénéficiaient réellement de ce régime. Et si vous êtes en mesure d’automatiser l’instrument de répression, le nombre de personnes que vous devez satisfaire diminue considérablement.

Je pense que la bonne façon de voir les choses est que les leaders autoritaires se sentent alors beaucoup moins contraints, parce qu’ils n’ont pas besoin d’amadouer cette vaste structure de pouvoir qui se trouve en dessous d’eux. Et cette absence de contraintes pourrait signifier que l’autoritarisme est plus robuste, mais elle pourrait aussi signifier que vous obtenez des résultats beaucoup plus fous — parce que Xi Jinping n’a pas besoin de réfléchir à qui sera content de ses choix et qui ne le sera pas.

Les tentatives de la Chine d’implanter sa chaîne d’approvisionnement en semi-conducteurs sur son territoire

Sihao Huang: À court terme, ils seront probablement en mesure de fabriquer des puces nationales. Ils ont déjà été en mesure de fabriquer des puces à sept nanomètres qui se situent en dessous de la ligne que les États-Unis voulaient contrôler. Mais le fait est qu’ils ne sont pas en mesure de fabriquer ces puces à des rendements et à des volumes très élevés.

Je pense que les perspectives pour les prochaines années sont assez sombres. Ils travaillent essentiellement avec l’équipement qu’ils ont déjà importé du reste du monde — des Pays-Bas, des États-Unis, du Japon — au cours des dernières années. C’est ce stock qui déterminera le nombre de puces qu’ils pourront produire, et ce n’est pas énorme.

La barre de l’incertitude devient en fait beaucoup plus haute lorsque nous pensons à ce qui se passera peut-être dans trois, cinq ans ou plus : La Chine pourrait envisager différentes technologies pour fabriquer ces puces afin de contourner les contrôles des experts américains. Par exemple, elle essaiera peut-être de fabriquer des puces à trois nanomètres sans utiliser de machines EUV, et de trouver des innovations qui lui permettent de le faire avec un rendement décent. Il se peut aussi qu’ils essaient d’étudier des technologies de semi-conducteurs qui ne nécessitent pas d’amplification lithographique.

L’industrie des semi-conducteurs est une industrie qui a une dépendance au sentier extrêmement forte. En effet, si l’on examine l’histoire du développement des semi-conducteurs, il y a eu de nombreux moments où l’industrie a dû prendre une décision collective sur la technologie à adopter et à amplifier pour poursuivre la loi de l’amplification de Moore. À la fin des années 90, un grand nombre d’entreprises se sont réunies pour se demander ce que nous allions construire pour nos systèmes de lithographie de la prochaine génération. Il y avait un certain nombre de candidats. L’EUV n’était que l’un d’entre eux. Il y avait aussi la lithographie par rayons X, la lithographie par faisceau d’ions et la lithographie par faisceau d’électrons. Finalement, l’industrie a convergé vers l’EUV. Il n’était pas évident que cette décision soit la meilleure. C’était la meilleure décision compte tenu des informations disponibles à l’époque et de la structure industrielle des pays qui développaient cette technologie.

Les informations dont nous disposons aujourd’hui sont très différentes. La structure industrielle de la Chine est très différente de celle du reste du monde. Ainsi, si la Chine consacrait des ressources importantes à l’implantation territoriale des puces, elle pourrait potentiellement trouver d’autres voies pour rendre les dispositifs à semi-conducteurs plus efficaces et plus avancés.

Comment les États-Unis et le Royaume-Uni pourraient-ils se coordonner avec la Chine ?

Sihao Huang: La création d’instituts de sûreté de l’IA dans différents pays constitue un progrès très intéressant dans la gouvernance de l’IA. Le Canada en a un, les États-Unis en ont un, le Royaume-Uni en a un, et le Japon aussi. Et je crois que Singapour est en train de discuter de la mise en place d’un tel institut. Ces instituts de sûreté de l’IA sont des organisations qui coordonnent la sûreté et l’évaluation des modèles dans chaque pays, et financent également potentiellement la recherche sur la sûreté de l’IA à long terme. Mais il serait bon que la Chine dispose d’une organisation similaire et puisse être en contact avec d’autres instituts de sûreté de l’IA pour partager leur expérience afin d’harmoniser les réglementations et, lorsqu’il y a une volonté politique, de pousser vers une gouvernance internationale consolidée ou des règles de base dans le monde international sur la façon dont les systèmes d’IA devraient être construits et déployés.

Je pense donc qu’un objectif à court terme qu’il serait bon de promouvoir lorsque nous discutons avec la Chine est qu’elle crée également une sorte d’autorité de coordination de la sûreté de l’IA. Nous avons évoqué le fait que la Chine dispose déjà d’une grande infrastructure pour la réglementation de l’IA, et cela pourrait prendre la forme d’un organisme établi, disons, sous l’égide du ministère de la technologie de l’information et de l’industrie, ou du ministère de la science et de la technologie, qui centraliserait le travail nécessaire pour élaborer et promouvoir une réglementation de la sûreté de l’IA en plus de ce que la Chine possède actuellement en matière de contrôle de l’information — et qui pourrait ensuite devenir le point de contact lorsque la Chine envoie des délégations aux futurs sommets sur la sûreté de l’IA ou aux Nations unies, de sorte que nous puissions avoir un terrain d’entente sur la manière dont la réglementation de l’IA doit être effectuée.

Luisa Rodriguez: D’accord, parfait. Y en a-t-il d’autres objectifs que vous jugez utiles ?

Sihao Huang: Je pense qu’il serait vraiment bon que les États-Unis et la Chine travaillent ensemble pour que la Chine signe un ensemble élargi des engagements volontaires de la Maison Blanche sur l’IA. Il s’agit de politiques ou d’engagements visant à créer des systèmes d’alerte externes et internes pour évaluer ces modèles IA ; à construire un écosystème d’évaluateurs indépendants dans chaque pays afin de pouvoir vérifier la sûreté des modèles de pointe ; à créer des canaux internes de confiance et de partage des risques de sécurité entre les entreprises et le gouvernement, afin que les gouvernements puissent être mieux informés des dangers potentiels que l’IA de pointe peut poser ; et également à investir dans une recherche élargie en matière de sûreté.

On peut également souhaiter que la Chine adhère par exemple à des politiques d’amplification responsable au sein de chaque entreprise — définissant conjointement des éléments tels que les niveaux de sûreté de l’IA, les mesures de protection qui s’appliquent aux modèles, les conditions dans lesquelles il sera trop dangereux de continuer à déployer des systèmes d’IA jusqu’à ce que les mesures s’améliorent.

Je pense qu’il ne s’agit pas seulement de faire signer à la Chine les engagements américains de la Maison Blanche, mais aussi d’identifier les engagements supplémentaires que les entreprises chinoises ont pris ou que la Chine a demandés à ses développeurs d’IA et qui seraient également bénéfiques pour nous. Et nous structurons cela comme une sorte d’échange diplomatique, où « nous faisons plus de sécurité, vous faites plus de sécurité » — et nous apprenons les uns des autres dans le cadre d’un échange mutuel.

Luisa Rodriguez: D’accord. En ce qui concerne les objectifs à long terme, y a-t-il un objectif à long terme qu’il serait bon de viser ?

Sihao Huang: Je pense que l’objectif à long terme le plus important à garder à l’esprit est le suivant : comment poursuivre le dialogue et instaurer la confiance ? Je dis cela pour deux raisons. D’une part, les relations entre les États-Unis et la Chine sont très volatiles, et nous voulons nous assurer qu’il y a des contacts solides — en particulier lorsque des problèmes surviennent — que les deux parties peuvent travailler ensemble, savoir qui appeler et connaître les personnes qui prennent ces décisions.

La deuxième raison est qu’il est très difficile de prédire le développement technologique et les réponses politiques à apporter aux effets néfastes des nouvelles technologies potentielles. Et nous ne pouvons généralement voir qu’un ou deux ans à l’horizon de ce qui est actuellement mûr. Par exemple, je pense que les évaluations de modèles sont devenues beaucoup plus matures au cours des dernières années et ont été beaucoup poussées sur la scène internationale, mais elles ne suffisent certainement pas pour garantir la sûreté de l’IA. Les risques biologiques et cybernétiques ont également commencé à se matérialiser et sont en quelque sorte formalisés dans des repères sur les défenses. Il existe également une communauté grandissante sur les risques systémiques et la surdépendance qui me paraît très intéressant. Et la gouvernance du calcul apparaît également comme un levier essentiel.

Articles, livres et autres médias abordés dans l’émission

Travaux de Sihao:

• China goes on the offensive in the chip war (avec Bill Drexel)
• Complexity and the global governance of AI (avec les coauteurs)
• Voir tous les travaux de Sihao sur son site web

Réglementation de l’IA en Chine :

• Comment la Chine réglemente l’IA — Matt Sheehan sur le podcast *ChinaTalk
• Decoding China’s ambitious generative AI regulations par Justin Curl
• Tracing the roots of China’s AI regulations par Matt Sheehan
• Forum: analyzing an expert proposal for china’s artificial intelligence law par Graham Webster et al.
• ChinAI #261: First results from CAICT’s AI Safety Benchmark par Jeff Ding
• ChinAI #253: Tencent Research Institute releases Large Model Security & Ethics Report par Jeff Ding
• Dialogues internationaux sur la sûreté de l’IA](https://idais.ai/)
• How China Escaped the Poverty Trap par Yuen Yuen Ang — sur la pensée de la complexité et les contextes locaux pour la réglementation

Gouvernance mondiale de l’IA:

• International community must urgently confront new reality of generative, artificial intelligence, speakers stress as security council debates risks, rewards — Couverture de la réunion du Conseil de sécurité des Nations Unies (juillet 2023)
• Beijing’s vision of global AI governance par Jordan Schneider
• Laying the groundwork for US-China AI dialogue par Ryan Hass et Colin Kahl
• Subventions rapides pour la sûreté d’IA systémique du gouvernement britannique.

Contrôle de l’information, surveillance et droits humains :

• Surveillance tech series: hikvision’s links to human rights abuses in east turkistan
• UNESCO member states adopt the first ever global agreement on the Ethics of Artificial Intelligence
• AI-tocracy par Martin Beraja, Andrew Kao, David Yang, et Noam Yuchtman
• The Man Who Nailed Jello to the Wall par Bethany Allen-Ebrahimian

Contrôle des exportations de puces électroniques:

• Balancing the ledger: export controls on U.S. chip technology to China par Sujai Shivakumar, Charles Wessner, et Thomas Howell
• Updated October 7: Semiconductor export controls par Emily Benson (octobre 2023)
• Billion dollar heist: how scammers rode China’s chip boom to riches par Jordan Schneider

Autres épisodes du podcast de 80 000 Hours:

• China, its AI dream, and what we get wrong about both
• Lennart Heim on the compute governance era and what has to come after
• Audrey Tang on what we can learn from Taiwan’s experiments with how to do democracy
• Ben Garfinkel on scrutinising classic AI risk arguments
• Nathan Labenz on the final push for AGI, understanding OpenAI’s leadership drama, and red-teaming frontier models
• Mustafa Suleyman on getting Washington and Silicon Valley to tame AI
• Kevin Esvelt on cults that want to kill everyone, stealth vs wildfire pandemics, and how he felt inventing gene drives

Transcription

Ouverture à froid [00:00:00]

Sihao Huang: Permettez-moi de vous brosser un tableau de la situation. Disons que nous sommes en 2040 et que nous avons l’impression que les systèmes d’IA approchent d’un seuil où ils sont généralement semblables aux capacités humaines dans presque tous les domaines. Par conséquent, ils sont en mesure d’accélérer l’innovation scientifique et technologique, de commencer à faire de la recherche sur l’IA et de la déployer à grande échelle en raison de l’excédent de puissance de calcul que nous avons suite à leur entraînement.

Maintenant, comment prendre la décision de le faire ou non ? Parce qu’il est très probable qu’une fois que nous aurons pris cette décision, les choses iront très, très vite. Si la Chine est en mesure de le faire, nous devons nous assurer qu’elle n’appuiera pas sur le bouton sans en parler au reste du monde pour s’assurer que tout se passe bien. Nous voulons également nous assurer que si les États-Unis font cela, la Chine n’est pas en mesure de nous atomiser en premier, parce qu’un décideur chinois pourrait regarder la situation et penser : « Cela va rendre les États-Unis dominants pour toujours dans l’histoire de l’humanité, et nous pourrions vouloir prendre le risque de l’anéantir. »

Introduction de Luisa [00:01:02]

Luisa Rodriguez: Bonjour chers auditeurs, ici Luisa Rodriguez, l’une des animatrices de The 80 000 Hours Podcast.

L’épisode d’aujourd’hui se plonge dans l’état de l’IA en Chine : à quel point l’IA est avancée, à quoi ressemble la gouvernance de l’IA en Chine et à quel point le développement et le déploiement de l’IA en Chine constituent un risque existentiel.

Nous abordons les sujets suivants

• Les capacités actuelles des systèmes d’IA en Chine.
• Comment l’IA est déjà utilisée en Chine pour la surveillance et le contrôle autoritaire.
• L’état actuel de la réglementation de l’IA en Chine — et si elle signale un réel engagement en faveur de la sûreté ou simplement plus de contrôle de l’information.
• L’impact des contrôles américains à l’exportation sur le développement de l’IA en Chine, et si la Chine est en passe de les contourner en construisant sa propre chaîne d’approvisionnement en semi-conducteurs.
• Et bien d’autres choses encore.

Très bien, sans plus attendre, je vous présente Sihao Huang.

L’interview commence [00:02:06]

Luisa Rodriguez: Aujourd’hui, je m’entretiens avec Sihao Huang. Sihao est un boursier Marshall 2023 et un chercheur en politique technologique et de sécurité à RAND où il travaille sur la politique des semi-conducteurs. Il est également doctorant à Oxford et a passé l’année universitaire 2022-2023 en tant que Schwarzman Scholar, étudiant la politique industrielle et les questions sino-américaines à Pékin. Merci de participer au podcast, Sihao.

Sihao Huang: Merci de m’accueillir. Je suis un grand fan de l’émission.

Luisa Rodriguez: Oh, cela fait vraiment plaisir à entendre. J’espère pouvoir parler de l’état des capacités chinoises en matière d’IA, des contrôles américains sur les exportations de puces et de la gouvernance de l’IA en Chine. Mais d’abord, juste pour donner un peu de contexte, quelle est votre relation personnelle avec la Chine, si vous voulez bien la partager ?

Sihao Huang: Je suis né à Guangzhou, en Chine. Pour les non-initiés, il s’agit d’une petite ville d’environ 20 millions d’habitants située dans le sud du pays. J’ai grandi à Singapour, j’ai beaucoup de famille à Taïwan, mais j’ai fini par m’installer à New York. Je travaille actuellement dans le domaine de la politique américaine. J’ai également eu la chance de passer l’année dernière en Chine, à Pékin, pour faire des recherches, alors que ChatGPT sortait et que de nombreux décideurs politiques sur le terrain s’empressaient de réagir à la nouvelle, de mettre en place de nombreuses réglementations sur l’IA et de modifier leurs politiques en matière de semi-conducteurs.

Luisa Rodriguez: Cela devait être un moment incroyable pour réfléchir à la politique de l’IA.

La Chine est-elle engagée dans une course à l’IA avec l’Occident ? [00:03:20]

Luisa Rodriguez: Entrons tout de suite dans le vif du sujet : certaines personnes craignent que l’Occident soit dans une course à l’IA avec la Chine pour développer une IA surhumaine en particulier, parce que celui qui la construit en premier pourrait avoir d’énormes avantages économiques et militaires. Pensez-vous qu’il existe une course entre les États-Unis, le Royaume-Uni et la Chine ?

Sihao Huang: Je crains vraiment qu’il y ait une dynamique de course, mais je pense que la situation est assez complexe sur le terrain. Si vous regardez les États-Unis, par exemple, je pense que beaucoup de responsables de la sécurité nationale sont motivés par la course à l’IA — et je pense que c’est à juste titre, dans le sens où ils veulent s’assurer que les puissants systèmes d’IA seront développés par un pays démocratique et responsable, capable de récolter et de distribuer les bénéfices de l’IA en toute sécurité et de manière éthique à l’échelle internationale. Par ailleurs, si vous parlez à des gens dans des endroits comme Shenzhen en Chine, les ingénieurs chinois sont très inquiets et essaient très fort de rattraper les États-Unis. Le gouvernement chinois est très motivé par l’idée de « gagner » la course à la technologie.

Cela dit, je pense que si vous parlez aux personnes qui construisent l’IA, par exemple à un ingénieur moyen de DeepMind, je parierais qu’ils ne se réveillent pas en pensant aux critères d’IA de Baidu ou d’Alibaba tous les jours, et en se disant « Je vais faire ça pour battre les Chinois ». N’est-ce pas ? La plus grande concurrence est probablement celle avec les gens de la rue d’à-côté chez Anthropic et OpenAI.

Luisa Rodriguez: C’est vrai. Il y a donc cette dynamique de course, et au moins pour les ingénieurs occidentaux, ce n’est pas entre l’Occident et la Chine ; c’est entre les entreprises de l’Occident lui-même. Mais les ingénieurs chinois se considèrent eux-mêmes comme voulant être dans la course, essayant de participer à la course, essayant de rattraper leur retard. Quel est le coût de cette course ? Dans la mesure où nous sommes en quelque sorte dans une course ?

Sihao Huang: Le coût le plus important est celui d’un développement imprudent. Nous voulons nous assurer que les deux parties ne font pas de compromis sur la sûreté, qu’elles ne se précipitent pas dans la construction de systèmes d’IA transformateurs alors qu’elles ne sont pas sûres que la société puisse les absorber et prévenir les pires externalités négatives. Pour ceux qui ont regardé Oppenheimer, il y a cette partie très célèbre où Oppenheimer mentionnait que nous pourrions déclencher une réaction en chaîne qui pourrait détruire le monde — mais nous n’avons pas le temps de refaire les calculs encore et encore pour nous assurer que cela ne se produise pas réellement, parce que nous devons faire la course contre les nazis, qui ont potentiellement aussi un programme nucléaire puissant. C’est une situation terrifiante dont nous voulons nous assurer qu’elle ne se produira pas, et nous voulons nous assurer qu’il y a une communication.

Je pense que cela peut paraître un peu abstrait, mais il y a beaucoup de façons très concrètes dont cela peut se produire. Je pense que nous pouvons voir à court terme, par exemple, le développement de l’IA dans les systèmes militaires. Nous voulons nous assurer que les deux parties ne sont pas contraintes de commencer à automatiser des portions de plus en plus grandes de la chaîne de commandement militaire, ou de déployer des systèmes d’armes autonomes qui pourraient être nettement moins fiables que les systèmes humains actuels — mais qui, parce qu’ils sont plus rapides, leur donnent un avantage significatif sur le champ de bataille.

Supposons qu’il existe un système très peu fiable, qui tue parfois ses utilisateurs ou les personnes qu’il cible involontairement, mais dont le temps de réponse n’est que d’une seconde, ou d’environ 100 millisecondes, par rapport au temps de réponse d’un être humain de quelques minutes. Si la Chine déploie un tel système, les États-Unis pourraient être contraints de faire de même, pour s’assurer de conserver l’avantage sur le champ de bataille. Mais les deux parties ne veulent vraiment pas déployer ces systèmes d’IA très peu sûrs qui pourraient provoquer un conflit cinétique par inadvertance.

On peut donc considérer cela comme un dilemme du prisonnier. Nous sommes en présence d’un problème de coopération : les deux parties veulent vraiment coopérer et collaborer, mais elles entrent dans la case trahison/trahison — parce que, dans leur processus décisionnel local, il est plus avantageux pour elles d’essayer de se précipiter dans la construction de ces systèmes d’IA avancés, parce qu’elles ne peuvent pas être sûres que l’autre partie ne fera pas de même.

L’idée générale est de s’assurer que nous n’allons pas nous retrouver dans des situations évolutives qu’aucun individu n’aurait pu souhaiter, mais que la structure de la matrice des gains leur a imposé. Nous devrions donc réfléchir à ces problèmes de coordination dans la course à l’IA — à la fois en matière de dommages actuels et de déploiement potentiel dans les systèmes d’IA, de construction d’une IA plus puissante, et finalement, comment coordonner une pause dans l’explosion d’intelligence, et s’assurer que tous les différents pays sont représentés dans ce processus ?

Luisa Rodriguez: D’accord. Ce sont là quelques-uns des coûts, et ils semblent potentiellement très importants. Au mieux, ils sont liés au déploiement de l’IA dans un contexte militaire avant que nous ne soyons prêts à le faire en toute sécurité. Dans le pire des cas, cela pourrait signifier que l’une des parties ne réfléchit pas suffisamment aux impacts sociétaux du déploiement de l’IA superintelligente.

Existe-t-il des moyens d’éviter de se retrouver dans une course ?

Sihao Huang: Je pense qu’il y a trois façons principales de procéder. La première consiste à s’assurer que l’on domine strictement l’antagoniste, de sorte que la course soit inexistante. Je pense que les États-Unis devraient avancer dans ce sens, par le biais, par exemple, de leurs politiques actuelles de contrôle des exportations. Je pense qu’elles ont permis, de manière mesurable, d’améliorer la compétitivité de l’économie américaine. Je pense qu’elles nous ont permis de manière mesurable de ralentir le développement de l’IA, de réguler nos systèmes d’IA, sans craindre que la Chine soit juste derrière nous. La raison pour laquelle nous ne nous percevons pas directement comme étant dans une dynamique de course est que nous avons été en mesure de creuser cet écart.

La deuxième façon d’éviter d’être dans une course est la coordination. Je pense que nous devrions parler à la Chine en même temps — tout en nous assurant que nous n’avons pas à surveiller nos arrières — pour nous assurer que les deux parties perçoivent réellement les risques de la même manière, pour nous assurer que nous internalisons ces risques dans notre prise de décision, et aussi pour créer un ensemble de mécanismes d’engagement pour s’assurer que les deux parties ne vont pas s’élever l’une contre l’autre si jamais l’écart se referme.

Ces mécanismes d’engagement peuvent donc ressembler à des liens entre différents domaines. Et si nous revenons à l’analogie du dilemme du prisonnier, si on a d’autres jeux qu’on peut relier àla matrice des gains, alors peut-être qu’on ne finira pas dans la case des trahisons. Et c’est là l’essence même du fonctionnement de la diplomatie : Je donne un peu, vous donnez un peu dans différents domaines, et j’espère qu’ensemble nous pourrons parvenir à un résultat plus efficace au sens de Pareto.

L’autre série de mécanismes d’engagement qui me semble prometteuse est la suivante : comment trouver des façons de procéder à des vérifications et de mettre en place des mécanismes de gouvernance technique qui renforcent la confiance de la société ? Je pense que Lennart [Heim] en a beaucoup parlé dans son podcast sur 80k sur les mécanismes de gouvernance du calcul. Nous pourrions vouloir, par exemple, avoir des moyens de vérifier si l’autre partie développe des systèmes d’IA de pointe qui dépassent les seuils sur lesquels nous nous sommes précédemment mis d’accord, ou être en mesure de vérifier si ces systèmes d’IA ont des capacités ou des caractéristiques particulières.

Et puis je pense que la troisième façon d’éviter d’être dans une course — qui est très souvent sous-estimée — est que vous voulez prouver à votre concurrent que si vous gagnez la « course », ou si vous arrivez à l’IA transformatrice en premier, ce n’est en fait pas si mal pour eux. Ainsi, nous devrions réfléchir à des mécanismes d’engagement en faveur d’une clause de surabondance crédible ou à des mécanismes de marché institutionnels afin que les pays considèrent le développement d’une IA sûre non pas comme un jeu à somme nulle, mais bien plus comme un effort collectif pour l’humanité.

Par exemple, vous pourriez dire à la Chine : vous n’avez pas à changer tout votre système économique et à sacrifier des priorités pour votre peuple afin de faire la course contre les États-Unis pour construire des systèmes d’IA transformateurs. Parce que si les États-Unis les construisent en premier, nous allons partager les avantages de l’IA avec la communauté internationale, et nous allons être des développeurs responsables de ces systèmes d’IA. Et je pense que le résultat de tout cela est qu’en termes de politique étrangère et de notre position sur la gouvernance de l’IA, nous voulons être sûrs qu’il y a de bons signaux crédibles sur cette forme de partage des bénéfices de l’IA.

Luisa Rodriguez: Pour être vraiment concret, et peut-être juste très brièvement, quel exemple de signal pourrions-nous utiliser pour rassurer le gouvernement chinois sur le fait que ces bénéfices seront partagés, ou que leurs valeurs seront protégées ?

Sihao Huang: Je pense qu’à court terme, cela dépend en grande partie de notre politique d’engagement vis-à-vis de la majorité mondiale. Par exemple, nous devons nous assurer de dire que nous sommes très préoccupés par la prolifération de systèmes d’IA dangereux, mais que nous sommes tout aussi déterminés à faire en sorte que l’accès à l’IA soit équitable et qu’il y ait un renforcement des capacités pour l’utilisation de l’IA et son intégration dans les économies des pays qui ne sont pas des développeurs de pointe en matière d’IA.

Je pense qu’il s’agit d’une décision particulièrement importante en matière de politique étrangère, car la Chine s’appuie vraiment sur le récit selon lequel elle porte l’étendard des pays du Sud pour critiquer la politique américaine en matière d’IA. Et je pense qu’une grande partie de cela n’est pas nécessairement vrai, et pas nécessairement dans le meilleur intérêt du Sud, étant donné que la Chine a historiquement exporté beaucoup de technologies chinoises, et qu’elle a exporté des idéologies autoritaires, par exemple — ou qu’elle a exporté d’une manière qui n’a pas été bénéfique pour le développement mondial.

Je pense donc que quand nous parlons à nos partenaires internationaux du développement de l’IA, il est très important de souligner, en plus des messages sur la sûreté de l’IA, que nous devons nous assurer que nous nous attaquons aux méfaits de l’IA et que nous nous attaquons aux inégalités de l’IA d’une manière très proactive.

**Luisa Rodriguez:**Quel est votre degré d’optimisme quant aux perspectives de coordination entre la Chine et l’Occident sur l’IA superintelligente, mais aussi sur la gouvernance de l’IA en général ?

Sihao Huang: Je veux dire que je suis personnellement assez terrifié par toutes ces perspectives. Je pense que si on regarde les choses historiquement, ce n’est pas très optimiste. Si notre référence, par exemple, est la première révolution industrielle, les choses se sont passées de manière assez terrible. Au cours de la première révolution industrielle, les changements technologiques et la vague d’automatisation induite par ces technologies — qui se sont produits sur une période de 100 ou 150 ans — ont également engendré certaines des pires atrocités de l’histoire de l’humanité, comme le colonialisme d’extraction des ressources, les morts massives, les génocides et l’exploitation de la main-d’œuvre. Et même dans les pays qui ont développé ces technologies, comme l’Angleterre ou le reste de l’Europe, il y a eu d’énormes inégalités sociales qui ont conduit à la montée du communisme en Europe, par exemple. Ce n’est donc pas une bonne base de référence. Et 100 ans ou plus, c’est beaucoup de temps pour se coordonner. Je pense qu’il est fort probable que l’IA aille plus vite. Même si on a des chronologies lentes où on voit arriver des systèmes d’IA transformateurs dans disons 50 ou 80 ans, on doit vraiment accélérer le rythme.

Mais je pense qu’il y a toujours un peu d’optimisme qui me pousse à travailler sur ce problème. Si on regarde beaucoup de cas dans l’histoire de l’humanité, nous nous en sommes sortis parce qu’il y avait des gens qui s’attaquaient vraiment au problème et qui essayaient de trouver des solutions parce que les enjeux étaient si élevés.

Si on regarde 1945, par exemple, et qu’on s’arrête sur ce moment-là, il aurait pu sembler extrêmement improbable que nous parvenions à un monde sans prolifération nucléaire ou avec une prolifération nucléaire limitée, et à un monde où l’utilisation d’armes nucléaires dans la guerre n’était pas une norme. Les choses auraient pu très facilement se dérouler autrement. Je pense que c’est le fruit de la sagesse d’un grand nombre de personnes — société civile, scientifiques, universitaires, décideurs politiques — qui ont essayé de créer le monde dans lequel nous vivons aujourd’hui.

Si on regarde la coopération entre les États-Unis et l’Union soviétique pendant la guerre froide, il y a eu des choses comme la Joint Verification Experiment, où les deux pays se sont réunis pour s’assurer que nous pouvions vérifier les stocks nucléaires l’un de l’autre et s’assurer qu’il n’y avait pas d’essais nucléaires. Les États-Unis ont offert leur aide pour Tchernobyl et ont également tenté de partager des choses comme des dispositifs de sécurité et d’armement pour s’assurer que les armes nucléaires soient conservées en toute sécurité.

Il s’agit d’exemples historiques imparfaits, mais cela me fait dire qu’il y a beaucoup d’enjeux dont nous parlons ici qui sont en jeu — pas seulement pour des pays individuels et leurs dirigeants politiques, mais pour l’avenir de l’humanité tout entière. Et s’il s’agit d’enjeux pour l’avenir de l’humanité tout entière, ce sont aussi des enjeux qui se répercutent sur les biens communs mondiaux dont nous nous soucions tous ensemble. Si nos systèmes politiques et nos dirigeants font preuve de suffisamment de clairvoyance et de volonté pour trouver ces solutions, j’espère que l’humanité pourra s’en sortir une fois de plus — je croise les doigts.

Quel est le degré d’avancement de l’IA chinoise ? [00:15:21]

Luisa Rodriguez: Bon, je voudrais revenir sur ces risques et sur le potentiel de coopération entre les États-Unis, le Royaume-Uni et la Chine pour les réduire. Mais d’abord, j’aimerais avoir une meilleure idée de ce qu’est le paysage chinois de l’IA en général. J’ai entendu des récits contradictoires sur le degré d’avancement de l’IA chinoise. Quels sont les meilleurs modèles d’IA disponibles en Chine, et comment se comparent-ils aux meilleurs modèles disponibles aux États-Unis ?

Sihao Huang: L’IA chinoise ne se limite pas aux grands modèles de langage (« large language models » ou LLM en anglais), et je pense qu’il s’agit d’un point important que nous devrions aborder dans un instant. Mais en ce qui concerne les LLM, si vous utilisez un modèle de langage chinois, il ressemble beaucoup à un modèle occidental : vous allez sur un portail qui ressemble à ChatGPT, vous pouvez taper votre saisie, vous pouvez télécharger des images, lui parler, il fait des maths, rend LaTeX, etc. Je pense donc que, d’une manière générale, ils construisent des modèles très similaires à ceux qui sont mis en place aux États-Unis ou en Europe.

Mais en ce qui concerne le modèle de base, ils sont encore un peu en retard. Le marché chinois de l’IA connaît actuellement une dynamique très intéressante, surtout depuis quelques mois. Depuis le milieu de l’année dernière, lorsque Baidu a lancé son Ernie Bot, il a affirmé que ses modèles étaient à la hauteur de GPT-4, du moins sur certains aspects. Mais cela ne s’est pas avéré être le cas lorsque les gens ont commencé à les utiliser. Il faut toujours être un peu sceptique lorsque l’on regarde les chiffres de référence qui font la une, car les entreprises peuvent optimiser leurs performances en fonction de certains critères, et elles peuvent également sélectionner des critères pour rendre leurs modèles plus impressionnants.

Mais au cours des derniers mois, un certain nombre de modèles chinois ont semblé se rapprocher du niveau GPT-4. Il y a donc le Qwen 2.5 d’Alibaba, le GLM de Zhipu, le Kimi de Moonshot et le DeepSeek-V2 — qui est sorti il n’y a pas très longtemps et qui était assez impressionnant en matière d’ingénierie. Et certains de ces modèles sont des modèles open source. La Chine est donc en train de rattraper son retard en ce qui concerne ces LLM d’avant-garde qui, au moins dans le domaine de l’open source, n’ont rien à envier à ceux de l’Occident. Mais pour ce qui est des logiciels fermés, je pense qu’ils n’ont pas encore atteint la parité avec GPT-4o ou Claude 3.5, etc.

Le deuxième aspect intéressant de cette dynamique est qu’il y a beaucoup d’entreprises qui construisent des modèles qui ressemblent à celui-ci. Je dirais donc qu’il y a peut-être quatre ou cinq prétendants aux systèmes de niveau GPT-4 en Chine à l’heure actuelle. C’est tout à fait contre-intuitif, car on pourrait s’attendre à ce que la Chine, en tant qu’État communiste, ait une action centralisée et coordonnée en matière de développement de l’IA. Au lieu de cela, toutes ces ressources informatiques sont réparties entre différentes entreprises, qui utilisent chacune leurs ressources informatiques limitées pour former des modèles à la pointe au lieu de les regrouper en une seule et même opération.

Elles se livrent également à une course aux prix. Récemment, on a beaucoup parlé de la guerre des prix des LLM en Chine. Vous avez donc toutes ces grandes entreprises technologiques et ces entreprises financées par le capital-risque qui regorgent de capitaux, qui se font la course et qui réduisent les prix du LLM de 90 %, 95 %, 99 % pour se concurrencer sur l’accès gratuit au LLM et l’accès à l’API. Ainsi, depuis la mi-2024, de nombreux systèmes chinois rattrapent leur retard en matière d’open source et d’innovations techniques rapides pour rendre l’inférence LLM plus efficace et les prix des LLM moins élevés.

Je pense que cela est dû en grande partie à cette surabondance de puissance de calcul due au fait que la Chine a stocké de nombreuses puces américaines, comme les A800 et H800, au cours des deux dernières années. Elle a ainsi pu rattraper le niveau de capacités du GPT-4. Je pense que la question de savoir s’ils pourront continuer à suivre ce rythme à l’avenir reste ouverte. Mais pour l’instant, si l’on considère que GPT-4 a été formé vers le milieu ou la fin de l’année 2022, on peut dire que la Chine a environ un an et demi ou deux ans de retard.

Maintenant, si nous parlons d’autres types de technologies d’IA, je pense qu’il y a définitivement des parties de l’IA où la Chine est à la pointe, et ce sont des choses comme la vision par ordinateur. Cela fait longtemps que la Chine est très forte dans le domaine de la vision par ordinateur. Des entreprises comme SenseTime, Hikvision et Megvii, par exemple, conçoivent des logiciels de surveillance très avancés. SenseTime propose des produits capables de suivre des individus dans une ville en continu grâce à différentes caméras, même sans regarder votre visage, en construisant un modèle de vos vêtements et de votre garde-robe, ou en observant votre démarche.

Luisa Rodriguez: Whoa.

Sihao Huang: Et ce sont des systèmes de surveillance vraiment avancés qui sont vendus aux villes chinoises et aux services de police. Je pense que les décideurs politiques occidentaux s’inquiètent tant de l’utilisation de ces systèmes par la Chine en raison de la surveillance et des violations des droits humains. Mais si vous regardez aussi l’histoire de la recherche chinoise, en fait — je crois que c’est toujours le cas — l’article le plus cité en IA, qui a introduit les réseaux résiduels, a été écrit par quatre auteurs chinois en vision par ordinateur qui ont été formés dans des universités chinoises. Trois d’entre eux sont toujours en Chine. Je crois que l’un d’entre eux a fini par aller à Meta et est maintenant professeur au MIT.

Luisa Rodriguez: D’accord. Dans l’ensemble, nous avons donc quelques années de retard sur les modèles d’avant-garde, mais nous sommes en fait en tête dans quelques domaines, avec des chercheurs extrêmement compétents et d’avant-garde. Est-ce que ce tableau d’ensemble est correct ?

Sihao Huang: Cela me semble exact. Je dirais que la Chine dispose d’un grand nombre de chercheurs très compétents, capables d’innover, et qu’elle a suivi rapidement un grand nombre d’innovations, voire qu’elle en a été le chef de file.

Il y a une étude de cas que j’ai trouvée très intéressante et que Jeff Ding a décrite dans sa lettre d’information : lorsque Sora, le modèle de génération vidéo d’OpenAI, est sorti, il y a eu beaucoup de discussions en Chine sur les raisons pour lesquelles la Chine n’était pas la première à le construire, et pourquoi la Chine était à la traîne en matière de génération vidéo et quelle était l’ampleur du retard. Une startup issue de Tsinghua a tenté de construire des modèles similaires à Sora. Apparemment, ils ont publié un article sur les transformateurs de vision qui est très similaire à l’innovation clé qui sous-tend Sora, à savoir les transformateurs de diffusion, et il a été accepté par CVPR, une revue de premier plan, deux mois seulement avant la sortie de Sora. Lorsqu’on leur a demandé pourquoi ils n’avaient pas construit Sora eux-mêmes, ils ont répondu qu’ils avaient donné la priorité à la génération d’images plutôt qu’à la génération de vidéos parce qu’elle utilisait moins de puissance de calcul. Ils ne disposaient pas non plus des ressources, de l’infrastructure et des ensembles de données dont disposait OpenAI — par exemple, en développant plusieurs générations de DALL-E — pour être en mesure de faire le pas suivant et de construire un système impressionnant, à la pointe du progrès, à l’échelle mondiale.

Je pense que c’est assez emblématique d’une grande partie du développement de l’IA chinoise, qui semble capable de proposer ces innovations d’avant-garde — l’une de ces nombreuses recettes qui sont cuisinées ensemble pour faire un modèle d’IA d’avant-garde — mais ils n’ont pas le soutien, les institutions ou la puissance de calcul pour rassembler des quantités massives de connaissances en ingénierie, de données accumulées lors de l’entraînement, et toutes ces personnes intelligentes avec une grande grappe de GPU.

Goulots d’étranglement dans le développement de l’IA en Chine [00:22:30]

Luisa Rodriguez: Pouvez-vous nous parler des principaux goulots d’étranglement qui expliquent les quelques années de retard qu’a l’IA générative et générale chinoise ?

**Sihao Huang:**Je pense que la puissance de calcul, ou la capacité de la Chine à amplifier ces modèles en utilisant plus de puces et de grappes plus grandes pour atteindre des performances de pointe, est un élément très important. La Chine dispose de très bons chercheurs en AA et de très bons ingénieurs en AA qui travaillent sur les systèmes d’AA et qui sont capables de trouver des astuces pour améliorer l’efficacité, etc.

Mais je pense que ce qui se passe au niveau de la puissance de calcul sur le terrain a beaucoup changé au cours des deux dernières années. Lorsque je me suis entretenu pour la première fois avec des personnes sur le terrain à Pékin — c’était vers le milieu de l’année dernière — j’ai entendu beaucoup d’ingénieurs dire qu’ils avaient du mal à obtenir des puces. Beaucoup de laboratoires essayaient de rassembler un mélange de processeurs Nvidia d’ancienne et de nouvelle génération, en les mélangeant avec des puces Huawei, et en ajoutant même des cartes graphiques pour les joueurs. Cela signifie qu’ils doivent réécrire les pilotes et mettre en place une infrastructure très sommaire pour tenter de bricoler ces entraînements d’IA. Je pense que ce n’est vraiment pas ce qu’il faut faire. Les systèmes tombent en panne tous les quelques jours et tous les progrès sont perdus. Mais je pense que les contrôles ont vraiment mis des bâtons dans les roues de nombreux laboratoires d’IA à l’époque.

La situation a probablement un peu évolué aujourd’hui. On voit un certain nombre de laboratoires de pointe capables de mettre en place une infrastructure pour des entraînements proches du niveau de GPT-4. Cette infrastructure est constituée, je pense, en grande partie de matériel Nvidia importé. Il y a donc beaucoup de puces qui ont été stockées avant les contrôles à l’exportation. La Chine a acheté un grand nombre d’A100, par exemple. Il y a aussi beaucoup de puces achetées récemment, comme la H20, qui peuvent encore être importées en Chine, ainsi que du matériel national.

Cela signifie que la Chine dispose actuellement de la puissance de calcul nécessaire pour atteindre le niveau de GPT-4. Mais la question de savoir si elle peut atteindre le niveau de GPT-5 ou de GPT-6 reste ouverte.

En Occident, on entend parler de grappes à 10 ou 100 milliards de dollars équipés de puces Nvidia de nouvelle génération ou d’autres formes d’accélérateurs d’intelligence artificielle. La Chine ne peut pas acheter ces puces pour l’instant, et elle ne peut pas non plus fabriquer des semi-conducteurs à trois nanomètres sur son territoire ; elle est bloquée sur des nœuds d’ancienne génération. Je pense donc que la question de savoir si la Chine est capable d’être compétitive dans la prochaine génération de modèles reste ouverte, même si elle a pu rattraper l’Occident sur la génération précédente. Je pense que le statu quo actuel en Chine est dû aux contrôles des exportations de semi-conducteurs qui ont été mis en place en octobre 2022 et mis à jour l’année dernière.

Luisa Rodriguez: D’accord, nous reviendrons plus tard sur les contrôles à l’exportation. Mais pour l’instant, compte tenu de tout ce dont nous avons parlé jusqu’à présent, en ce qui concerne la construction d’une IA de plus en plus performante, la Chine est-elle en train de rattraper son retard, de maintenir sa position ou de prendre du retard, d’une manière générale ?

Sihao Huang: Je dirais qu’elle ne se rapproche pas très vite des États-Unis et du Royaume-Uni. Je ne voudrais pas être dans la position de la Chine si je pensais que l’IA est extrêmement importante pour l’avenir du monde. Et il est, bien sûr, très difficile de prédire comment évolueront les choses à long terme. Je mettrais toujours en garde en disant que le paradigme de l’amplification — sur lequel nous fondons une grande partie de nos politiques en ce moment — selon lequel les systèmes d’IA deviennent de plus en plus performants à mesure que nous leur fournissons plus de puissance de calcul, et donc que nous concevons des contrôles experts sur les puces qui sont utilisées pour construire ces modèles d’IA, pourrait ne pas durer éternellement. Je pense qu’il est probable qu’il y aura d’autres innovations essentielles à la construction de systèmes d’IA plus puissants.

Ainsi, au vu du paradigme technologique actuel, la Chine ne semble pas en très bonne position. Mais je pense qu’il y a toujours la menace imminente que, comme nous l’avons déjà dit, la Chine se trouve dans un arbitrage exploration-exploitation différent du nôtre. Elle peut être plus créative en essayant d’explorer d’autres voies pour construire des systèmes d’IA avancés, et elle peut aussi avoir, par exemple, des avantages comparatifs dans la construction d’une IA qui est plus intégrée dans cette économie.

On a vu la Chine accélérer le déploiement de systèmes d’IA ou de reconnaissance visuelle qui ont franchement facilité la vie quotidienne, en plus d’être déployées pour la surveillance. Lorsque j’étais à Pékin l’année dernière, on pouvait entrer dans un supermarché sans carte de crédit, mais aussi sans téléphone. Il suffit d’aller au comptoir, de scanner les aliments et de regarder une caméra pour que le paiement se fasse automatiquement.

Les entreprises chinoises font donc preuve d’une grande créativité dans le déploiement de ces systèmes d’IA. Si je devais décrire comment les États-Unis pourraient prendre du retard dans le développement de l’IA, je dirais que cela pourrait ressembler à ce qui suit : GPT-5 n’est tout simplement pas si impressionnant ; nous avons heurté un mur avec le paradigme d’amplification et les transformateurs ou les grands modèles de langage, et il y a quelque chose qui ressemble à un hiver de l’IA, ou au moins une diminution significative de l’investissement dans l’IA aux États-Unis.

En revanche, la Chine est en mesure d’intégrer ces systèmes dans l’économie de manière beaucoup plus approfondie et de construire des produits rentables autour d’eux. Cela signifie que l’investissement dans l’IA est durable et qu’il se concentre sur des méthodes plus diversifiées pour construire des modèles plus performants qui finissent par porter leurs fruits. Une fois qu’elle aura trouvé cela — et peut-être qu’elle n’aura pas besoin d’autant de puissance de calcul, ou qu’elle aura trouvé d’autres moyens d’accéder à cette puissance de calcul — la Chine pourrait prendre de l’avance. Mais je pense que cette voie est étroite.

Luisa Rodriguez: OK, c’est fascinant.

La Chine et les risques de l’IA [00:27:41]

Luisa Rodriguez: Les hauts responsables du Parti communiste chinois semblent considérer l’IA comme stratégiquement importante pour l’avenir. Quels risques, s’il y en a, semblent les inquiéter à cet égard ?

Sihao Huang: Le Parti communiste se préoccupe avant tout du contrôle de l’information. C’est un sujet qui l’a beaucoup effrayé avec l’essor d’Internet, et il s’est doté d’une grande capacité bureaucratique pour le réglementer. Et ils ont mis cette capacité bureaucratique en action lorsque les systèmes d’IA ont été déployés pour la première fois en Chine en 2022, 2023, avec cette nouvelle vague de LLM et de systèmes génératifs.

Mais je pense que la Chine a aussi parlé de manière intéressante des systèmes superintelligents et des risques de désalignement. Elle a prononcé un discours devant le Conseil de sécurité de l’ONU en juillet de l’année dernière, dans lequel elle a expliqué que « nous n’avons pas encore donné à la superintelligence de raisons de protéger les êtres humains ». Et il y a eu des discussions assez approfondies à un niveau politique élevé sur les risques de l’IA. On a l’impression que la fenêtre d’Overton est plus proche des récits d’IA plus extrêmes qu’elle ne l’est aux États-Unis, en particulier sur le plan politique.

Autre exemple, le directeur du BIGAI, l’Institut d’intelligence artificielle générale de Pékin — dont le nom comprend le terme « intelligence artificielle générale » — a prononcé un discours sur l’IAG lors de la Conférence consultative politique du peuple chinois, qui réunit des responsables du Parti communiste et des représentants de la société civile.

Ces risques extrêmes liés à l’IA sont donc bel et bien évoqués en Chine, même si je pense que la question qui se pose ici est la suivante : sont-ils prêts à mettre en œuvre des politiques qui pourraient potentiellement ralentir le développement de l’IA en Chine pour faire face à ces risques ? Je pense que c’est un thème qui est vraiment important quand on réfléchit à la façon dont les gens perçoivent les risques extrêmes. Si on regarde les enquêtes sur ce que les Américains pensent du risque catastrophique de l’IA ou de la superintelligence, je pense que quelque chose comme 60 %, 70 %, ou même plus vont vous dire qu’ils sont inquiets. Mais que signifie être « inquiet » ? Sont-ils prêts à faire des compromis sur la croissance économique ou à limiter les types d’outils auxquels ils ont accès pour empêcher ces catastrophes de se produire ? Il faut commencer à percevoir des signaux coûteux de ce genre avant de pouvoir porter un véritable jugement.

Luisa Rodriguez: Oui. Les autorités chinoises ont-elles déjà envoyé ce genre de signaux ?

Sihao Huang: Je ne pense pas. Mais je ne pense pas non plus qu’il y ait eu tant de signaux coûteux dans le monde, même dans les meilleurs laboratoires d’IA. Je pense qu’il y a beaucoup de discussions, et je pense que les plus grands signaux coûteux sont peut-être l’investissement dans la sûreté de l’IA et la recherche sur l’alignement de l’IA. Mais cela est également lié aux capacités d’une certaine manière, et à la capacité de ces entreprises à déployer ces produits. Je pense donc que nous n’avons pas encore vu ces engagements devenir extrêmement fermes.

Et je ne sais pas si la priorité actuelle est de demander ces signaux coûteux aux décideurs politiques chinois, aux laboratoires d’IA américains ou à la communauté de l’IA dans son ensemble. Je pense qu’il y a encore du travail à faire pour comprendre plus clairement ces risques, et ce que nous devrions faire maintenant, c’est construire la volonté politique, l’infrastructure politique et l’infrastructure technique pour faire face aux risques catastrophiques de l’IA, s’ils venaient à se matérialiser.

Je pense — et j’aimerais aborder ce point également — que la Chine s’est montrée très disposée à réglementer l’IA, et qu’elle a été l’un des premiers pays à mettre en place des réglementations complètes sur les systèmes d’IA génératifs et les grands modèles de langage. La CAC (Cyberspace Administration of China) a publié son premier projet de réglementation sur les systèmes d’IA quelques mois seulement après la sortie de ChatGPT, ce qui est beaucoup plus rapide que les progrès réalisés aux États-Unis et au Royaume-Uni, où il n’existe toujours pas de lois exhaustives sur l’IA. Si la Chine est si motivée, c’est en raison du contrôle de l’information et de la censure.

Contrôle de l’information et censure [00:31:32]

Luisa Rodriguez: Pouvez-vous nous donner un peu plus de contexte sur cette inquiétude concernant le contrôle de l’information et la censure ?

Sihao Huang: Je pense qu’il faut remonter jusqu’à, disons, l’essor d’Internet. Il y a cette citation très célèbre de Bill Clinton qui disait que la Chine ne serait jamais en mesure de contrôler la diffusion de l’information et la marche inévitable vers la libéralisation grâce à l’accès à Internet. Et la phrase célèbre est : « Bonne chance pour clouer la gelée au mur ». Mais le fait est que la Chine a précisément été capable de clouer la gelée au mur. Lorsque Internet a vu le jour, la Chine craignait qu’il ne soit un moyen pour les citoyens d’accéder à la liberté d’expression dans les espaces en ligne et à des informations extérieures sur la démocratie et la libéralisation que le PCC ne voulait pas que ses sujets voient. Mais il s’avère qu’au cours des dernières décennies, la Chine n’a pas seulement écarté les menaces liées à Internet, elle a fait de son internet et de l’IA un outil lui permettant d’imposer un régime autoritaire.

Le grand exemple de cela est cette application appelée Toutiao, qui est un agrégateur de nouvelles chinoises qui était vraiment populaire, je pense, il y a quelques années. Cet agrégateur prend en compte les préférences de l’utilisateur et lui montre des articles qui l’intéressent le plus. D’ailleurs, la société mère est ByteDance, et c’était leur produit phare avant qu’ils n’inventent TikTok. Le PDG de la société a déclaré : « Nous ne sommes pas des éditeurs, nous n’avons pas de capacités éditoriales, et l’algorithme fait simplement ce qu’il fait ».

Cette déclaration a suscité de vives réactions de la part du Parti communiste, qui a l’habitude de contrôler très étroitement l’environnement de l’information ; il a l’habitude de rédiger les titres du Quotidien du peuple tous les jours et d’imposer exactement ce que les gens voient. Ils ont l’habitude de contrôler ce qui se passe sur Xinwen Lianbo — qui est le journal télévisé du soir sur CCTV, la chaîne de télévision d’État — et d’élaborer avec précision le message de propagande. Tout d’un coup, des algorithmes contrôlent ce que les gens voient, et c’est différent pour chaque individu.

Et maintenant, vous allez avoir de grands modèles de langage qui sont potentiellement formés sur des données occidentales et qui pourraient soudainement parler de la place Tiananmen — lorsque les restrictions de sécurité que ces entreprises en Chine ont mises en place se brisent, ou que les gens les jailbreakent. Et ils ont agi très rapidement pour essayer de contrôler les grands modèles de langage. Si vous regardez ces règlements qui ont été mis en place par le CAC, par exemple, l’une des premières choses dont il est question est que les modèles de langage doivent se conformer aux valeurs socialistes, qu’ils ne peuvent pas générer de contenu sensible et qu’ils doivent être spécifiquement réglementés pour correspondre aux « caractéristiques de l’opinion publique. »

Je pense que cela en dit long sur l’insécurité du Parti communiste quant à ce que l’accès à l’information pourrait faire, et leur principale préoccupation en matière de réglementation des modèles de langage a été de s’assurer qu’ils ne créent pas de contenu allant à l’encontre de la priorité de l’État.

Luisa Rodriguez: Oui. C’est logique. L’industrie chinoise de l’IA se considère-t-elle elle-même comme ayant une importance historique, de la même manière que les principales entreprises d’IA aux États-Unis se conceptualisent comme transformant peut-être complètement le monde ? Même si les priorités actuelles du Parti communiste chinois sont davantage axées sur le contrôle de l’information et la censure ?

Sihao Huang: Il y a certainement des gens pour qui c’est le cas. Si vous parlez aux étudiants de Tsinghua et de Beida, ils sont extrêmement enthousiastes à l’idée de cette révolution de l’IA. Ils veulent être ceux qui construisent l’outil qui va transformer l’avenir de l’humanité. Si vous parlez, par exemple, au directeur de BAAI ou de BIGAI, les deux grands laboratoires d’IA affiliés au gouvernement à Pékin, ils considèrent sans aucun doute que leur travail est historiquement important. En fait, je crois que le directeur du BAAI a déclaré publiquement qu’il avait des chronologies de l’IA très courtes et qu’il pensait qu’il était tout à fait plausible que nous ayons des systèmes d’IA dotés d’intelligence générale d’ici une dizaine d’années.

Mais je pense que, de manière plus générale, l’excitation est nettement moindre que dans la Silicon Valley. Dans de nombreux laboratoires de pointe, il y a cette idée qu’ils construisent des produits de consommation ; qu’ils doivent se résigner à faire avancer des systèmes avec moins de puissance de calcul et à ne pas être à la pointe. Et je pense que cela change définitivement les perceptions culturelles et idéologiques de l’IA sur le terrain.

Peut-être qu’un bon modèle mental pour y réfléchir est que même au sein des laboratoires d’IA américains, il y a d’énormes variations dans l’idéologie qui anime les gens qui y travaillent, n’est-ce pas ? Il y a des gens qui travaillent à OpenAI et qui sont profondément motivés par l’idée de construire l’IA et la superintelligence. Il y a des gens à Anthropic qui, je pense, sont peut-être globalement plus préoccupés par la sécurité. Et puis il y a des laboratoires comme Inflection, qui disent explicitement que nous ne sommes pas là pour remplacer les êtres humains, mais pour les augmenter. Je dirais qu’en Chine, beaucoup de laboratoires se considèrent plutôt comme l’Inflection de la Chine et essaient de construire des produits plutôt que de construire Dieu.

La recherche sur la sûreté de l’IA en Chine [00:36:31]

Luisa Rodriguez: Les développeurs chinois font-ils beaucoup de recherche sur la sûreté de l’IA ou pas du tout ?

Sihao Huang: Ils en font certainement, mais la nature de la recherche sur la sûreté de l’IA est un peu différente de ce que nous voyons aux États-Unis et au Royaume-Uni. Je dirais que la Chine a généralement suivi assez rapidement les tendances générales de l’IA, et cela inclut la tendance à réfléchir à la sûreté et à l’alignement. Ainsi, de nombreux laboratoires d’IA en Chine parlent d’alignement.

Si vous regardez, par exemple, le rapport de Tencent sur la sécurité et l’éthique des grands modèles qui vient d’être publié récemment — rédigé conjointement avec deux grandes universités chinoises, Tsinghua et Zhejiang — il parle du décret de la Maison Blanche, du UK AI Safety Institute, du EU AI Act et de l’équipe de préparation et du projet de Superalignment d’OpenAI. Ils sont donc conscients qu’il s’agit d’une question extrêmement importante, je pense qu’ils voient l’alignement à la fois comme un palliatif aux préjudices actuels et comme un moyen de contrôler les systèmes superintelligents à long terme. C’est ce dont on parle en Chine.

Mais je pense que la communauté qui réfléchit à ces préjudices à long terme ou à ces préjudices potentiellement catastrophiques est moins mûre. Par exemple, si on regarde les récents repères de sûreté de l’IA qui ont été publiés par le groupe de réflexion chinois CAICT, qui est hébergé par le ministère de l’Industrie et des Technologies de l’information, l’un des principaux organismes de réglementation de l’IA en Chine. Pour les auditeurs américains, nous pourrions établir un parallèle avec, par exemple, un ensemble de normes du National Institute of Standards and Technology, qui dépend du ministère du commerce. Il y est question d’un ensemble d’évaluations de la conscience de l’IA. Ces deux évaluations comprennent, d’une part, l’appel aux droits et, d’autre part, les penchants anti-humanité.

La Chine parle donc de sûreté de l’IA de cette façon. Je dirais que ces évaluations ne seront pas vraiment utiles pour élucider les capacités de tromperie ou d’autoreproduction, par exemple, mais elles prennent le cadre de cette question et l’appliquent au modèle.

Si on regarde à quoi ressemble la recherche sur le terrain, je dirais que la plupart des investissements ont été consacrés au travail d’alignement traditionnel, pour empêcher ces systèmes de dire des choses qui ne plaisent pas au PCC. Ces derniers temps, de nombreux financements ont été consacrés à cette tâche. La Fondation nationale des sciences en Chine a lancé des appels d’offres pour l’alignement de l’IA dans ce domaine ; de nombreuses entreprises mettent sur pied des équipes de recherche pour l’alignement de l’IA : apprentissage par renforcement à partir de rétroaction humaine, simulation d’adversité. En fait, il ne s’agit pas d’une simulation d’adversité rouge [red-teaming en anglais] : en chinois, il s’agit d’une simulation d’adversité bleue [blue-teaming en anglais].

**Luisa Rodriguez:**Vraiment !

Sihao Huang: Parce que la Chine est rouge, les États-Unis sont bleus. Ils parlent explicitement de « blue-teaming ».

Luisa Rodriguez: Bien sûr. C’est hilarant.

Sihao Huang: Si les laboratoires ont travaillé sur ce sujet, c’est parce qu’ils doivent se conformer aux réglementations du CAC dont nous avons parlé précédemment sur les contrôles de l’information — et s’ils ne le font pas, ils peuvent être interdits. Nous avons vu des exemples d’entreprises entières mourir parce que l’un des produits disait quelque chose qui allait à l’encontre du Parti communiste ou faisait une blague sur Xi Jinping. Ils sont donc terrifiés par cette idée, et il y a une très forte incitation à s’assurer que ces questions de sécurité sont bien prises en compte, ou qu’ils augmentent vraiment la pression sur le filtrage du contenu.

On peutconsulter de nombreux laboratoires et les articles qu’ils publient, et ils sont très avancés. Il y a des articles sur l’alignement sur les valeurs humaines, des articles sur les repères pour les LLM et la sécurité des agents, les données antagonistes, les tentatives basées sur le code. Quelques laboratoires que je voudrais mettre en avant sont, par exemple, Tsinghua qui a un très grand modèle de langage qui construit des LLM depuis quelques années maintenant et qui est en train de se lancer dans des efforts d’alignement. Le laboratoire d’IA de Shanghai mène des recherches très novatrices : au cours des derniers mois, il a publié des articles sur la combinaison antagoniste de modèles en open source pour créer un contenu nuisible ; il a réfléchi à la manière dont les modèles alignés peuvent être inversés pour créer un modèle nuisible ; il a réfléchi à l’apprentissage en contexte sur l’utilisation malveillante des LLM et aux problèmes de manipulation de la récompense.

Ils sont donc également à la frontière de la réflexion sur ces problèmes d’alignement, mais dans le cadre des questions actuelles.

Luisa Rodriguez: OK, OK.

Sihao Huang: Il y a un autre article que je voudrais souligner et qui, à mon avis, est très intéressant et révélateur de la façon dont les acteurs chinois perçoivent les préoccupations en matière d’alignement : Je pense qu’il y a quelques semaines, l’Université nationale des technologies de défense, l’une des meilleures universités de l’Armée populaire de libération, a publié un document sur les schémas de déguisement des attaquants multi-agents. La Chine réfléchit donc également à la sûreté de l’IA sous l’angle des applications de défense.

Luisa Rodriguez: Oui, c’est très intéressant. D’une certaine manière, les développeurs chinois sont beaucoup plus incités à travailler sur un sujet comme l’alignement. Il ne s’agit pas d’un alignement au sens où l’entendent les personnes qui se préoccupent des risques de l’IA aux États-Unis, mais il semble qu’une grande partie de ces mesures s’appliquent quand même, même si elles sont probablement axées sur le contrôle de l’information et la censure en Chine.

Sihao Huang: Nous avons de la chance que ces deux choses s’alignent en ce moment : que le contrôle de l’information par la Chine signifie également qu’ils veulent contrôler leurs systèmes d’IA. Nous devrions être attentifs aux divergences qui pourraient survenir à l’avenir.

Et je pense que nous devrions également réfléchir à la manière d’utiliser cette fenêtre d’opportunité actuelle pour dire à la Chine : « Écoutez, vous faites tout ce travail sur le contrôle de l’information. Et si vous y ajoutiez des recherches supplémentaires sur la sûreté de l’IA en utilisant la même infrastructure, réglementaire ou technique, que celle que vous avez mise en place ? Ce qui serait bénéfique pour vous, car vous ne voulez pas que ces systèmes deviennent incontrôlables et causent des ravages dans votre pays, mais aussi pour les biens communs mondiaux. »

Luisa Rodriguez: Cool. J’aime beaucoup cette idée.

La Chine pourrait-elle être une source de risque catastrophique en matière d’IA ? [00:41:58]

Luisa Rodriguez: Étant donné que je me préoccupe beaucoup de savoir si l’IA en train d’être développée va causer des dommages catastrophiques — soit parce qu’elle est mal utilisée, soit parce que l’IA est désalignée et prend le dessus — et étant donné que le développement de l’IA en Chine a au moins quelques années de retard, du moins si nous parlons de modèles de pointe ; et étant donné que leur rythme de progrès est régulier, mais qu’ils ne sont pas nécessairement sur les talons des Américains… Dans quelle mesure devrions-nous nous inquiéter du fait que la Chine en particulier soit une source de risque catastrophique ? La Chine pourrait-elle créer une IA susceptible d’être utilisée de manière malveillante pour causer des dommages catastrophiques, ou qui serait à la fois superintelligente et désalignée, ce qui entraînerait un risque que l’IA prenne le contrôle ?

Sihao Huang: C’est une question vraiment importante. Et je pense que notre réponse à cette question va également déterminer dans quelle mesure on pense qu’il est important de nouer un dialogue avec la Chine sur ces questions d’IA.

Je dirais que la Chine est un acteur très pertinent dans ce domaine, pour deux raisons. La première est que la Chine n’a pas besoin de développer des modèles d’avant-garde pour avoir des capacités d’avant-garde. Il y a deux façons d’accéder aux modèles d’avant-garde. La première est tout simplement que nous les donnons, n’est-ce pas ? Il est probable que Facebook ouvre ses modèles Llama les plus performants qui sont proches du niveau de GPT-4 ou supérieurs au niveau de GPT-4. La Chine pourrait tout simplement les utiliser localement en les intégrant à son matériel. Ils pourraient potentiellement prendre ces modèles, les perfectionner pour supprimer les protections, ils pourraient ajouter des modules supplémentaires ou les utiliser dans des systèmes d’IA plus complexes, et donc obtenir des capacités d’IA de pointe.

La deuxième façon d’obtenir des modèles d’avant-garde est de voler les poids des modèles. Avec la prolifération des différents acteurs qui se trouvent à la pointe, il y a peut-être trois ou quatre entreprises capables de le faire à l’heure actuelle aux États-Unis. Ces entreprises ne sont pas nécessairement résistantes aux cyberattaques d’État, et la Chine est un acteur extrêmement sophistiqué, ce qui dépendra en grande partie de l’équilibre cyber-offensive/défensive — en particulier lorsque des technologies d’IA sont impliquées. Peut-être que la Chine développera simplement des systèmes d’IA cyber très performants pour ensuite essayer d’exfiltrer nos poids et de les exécuter sur leur matériel local.

Cela m’amène au deuxième point, à savoir qu’il n’est pas forcément nécessaire de disposer d’une puissance de calcul de premier plan pour créer des systèmes d’IA à haut risque. Les plus grands outils de conception biologique actuels, comme AlphaFold, ont besoin d’une puissance de calcul inférieure de plusieurs ordres de grandeur à celle des grands modèles de langage les plus avancés. La Chine dispose de la puissance de calcul nécessaire pour entraîner ces systèmes. Et si vous construisez, par exemple, un cyberagent ou quelque chose qui mène des cyberattaques, vous n’avez peut-être pas besoin du raisonnement général ou de la capacité mathématique d’un grand modèle de langage. Vous vous entraînez sur un sous-ensemble de données beaucoup plus petit. Vous le perfectionnez sur un sous-ensemble de données plus petit. Et ces systèmes — d’une part, si la Chine les utilise intentionnellement de manière malveillante, et d’autre part, s’ils prolifèrent parce que la Chine les publie simplement en open source, ou parce que la Chine n’a pas de réglementation aussi complète en matière d’IA — pourraient causer beaucoup de dommages dans le monde.

Luisa Rodriguez: D’accord, l’idée est que l’une des principales façons dont l’IA peut poser un risque catastrophique pour l’humanité est que les modèles de pointe deviennent très, très intelligents, qu’ils soient trompeurs, qu’ils puissent proliférer d’eux-mêmes et ainsi prendre le contrôle de l’humanité. Mais il existe potentiellement de nombreuses autres voies menant à des risques catastrophiques qui n’impliquent pas d’être à la pointe. Par exemple, des modèles beaucoup plus petits pourraient être capables de créer des armes biologiques ; des modèles beaucoup plus petits pourraient être capables de mener des cyberattaques qui permettraient à la Chine de voler les poids des modèles. Et tout cela signifie que la Chine est en fait toujours super importante pour les risques catastrophiques. Est-ce exact ? Et si c’est le cas, y a-t-il d’autres voies qui méritent d’être soulignées ?

Sihao Huang: C’est tout à fait exact. Je pense que j’aimerais également souligner que le risque catastrophique, du moins tel que je le conçois, ne se limite pas aux dommages directs causés par ces systèmes. Il faut également penser aux dommages systémiques, lorsque le déploiement de l’IA entraîne de très mauvaises externalités sociales, ou provoque des inégalités massives. Et je pense que dans ce domaine, la Chine est également un acteur pertinent à inclure dans les conversations sur le partage équitable des avantages de l’IA dans le reste du monde ; dans les conversations sur la façon dont le déploiement de l’IA pourrait potentiellement changer de manière significative nos environnements informationnels et culturels. Ou par exemple, dans le déploiement par la Chine de ces systèmes dont nous avons parlé précédemment, capables d’exercer une surveillance de masse et de renforcer un régime autoritaire ; et aussi dans l’exportation potentielle par la Chine de ces systèmes dont nous avons parlé précédemment, qui pourraient être utilisés pour exercer une surveillance de masse et renforcer un régime autoritaire dans d’autres pays, et ainsi répandre son idéologie — et, je pense, causer une énorme perte de valeur.

Luisa Rodriguez: Oui. D’accord, cela semble mauvais. Y a-t-il d’autres voies menant à des risques importants que vous souhaiteriez mentionner ?

Sihao Huang: Je pense que l’une des principales questions auxquelles je réfléchis de plus en plus est la suivante : à quoi ressemblent les processus délibératifs mondiaux lorsque nous devons finalement décider d’aller de l’avant avec l’explosion d’intelligence ? Permettez-moi de vous brosser un tableau de la situation. Disons que nous sommes en 2040 et que nous avons l’impression que les systèmes d’IA approchent d’un seuil où ils sont généralement semblables aux capacités humaines dans presque tous les domaines. Par conséquent, ils sont en mesure d’accélérer l’innovation scientifique et technologique, de commencer à faire de la recherche sur l’IA et de la déployer à grande échelle en raison de l’excédent de puissance de calcul que nous avons suite à leur entraînement.

Maintenant, comment prendre la décision de le faire ou non ? Parce qu’il est très probable qu’une fois que nous aurons pris cette décision, les choses iront très, très vite. Si la Chine est en mesure de le faire, nous devons nous assurer qu’elle n’appuiera pas sur le bouton sans en parler au reste du monde pour s’assurer que tout se passe bien. Nous voulons également nous assurer que si les États-Unis font cela, la Chine n’est pas en mesure de nous atomiser en premier, parce qu’un décideur chinois pourrait regarder la situation et penser : « Cela va rendre les États-Unis dominants pour toujours dans l’histoire de l’humanité, et nous pourrions vouloir prendre le risque de l’anéantir. » Des situations comme celle-ci sont largement… Je pense que je suis en train de décrire une situation très particulière, mais les grands bouleversements de pouvoir peuvent provoquer une grande instabilité dans la politique internationale.

Au-delà des risques de conflit cinétique, je pense que dans une situation où l’on est confronté à l’explosion d’intelligence, il faut vraiment s’assurer qu’il existe de bons processus délibératifs qui permettent à l’ensemble de l’humanité de s’exprimer et de pressentir les conséquences de ce que l’on va faire ensuite. Il faut s’assurer qu’il existe un moyen de réunir tous les pays autour de la table.

Si j’étais les États-Unis, je voudrais que la Chine, l’Inde et le Mozambique soient autour de la table. Et je voudrais m’assurer qu’ils sont en mesure de prendre des décisions significatives sur l’avenir de l’humanité, c’est-à-dire qu’il y a l’infrastructure délibérative, l’éducation nécessaire pour qu’ils comprennent réellement ce qui est sur le point de se produire.

Et nous devrions le faire collectivement, en comprenant où en est l’IA et quelles sont toutes les implications potentielles du point de vue des gens — qu’il s’agisse d’un agriculteur, d’un développeur d’IA ou d’un éducateur, issus de contextes culturels très divers — et nous voulons également nous assurer que les différents pays de ce monde aient réellement le pouvoir de faire changer les choses, que nous appuyions sur ce bouton ou non. Ainsi, nous pourrions éventuellement envisager d’inclure les États-Unis et la Chine ou d’autres pays dans un accord où, par exemple, ils peuvent collectivement mettre la main sur ce bouton, et ce n’est que lorsqu’il y a un accord sur la manière dont les choses devraient se dérouler, que l’on appuie sur le bouton. Et je pense que ces mondes sont pertinents, même si la Chine n’est pas celle qui construit l’IA de pointe.

Luisa Rodriguez: Bien sûr. Cela me semble tout à fait logique.

L’IA favorise les violations des droits humains et affaiblit la démocratie

Luisa Rodriguez: Outre les risques catastrophiques, il y a aussi des résultats moins graves, mais néanmoins très graves, qui sont des possibilités qu’il vaut la peine d’étudier, selon moi. Pour les auditeurs qui ne le savent pas, pouvez-vous donner un bref aperçu de la manière dont le Parti communiste chinois utilise l’IA pour faire progresser les violations des droits humains ?

Sihao Huang: Je pense que la Chine utilise l’IA pour deux raisons : la surveillance et le contrôle de l’information. La surveillance, par exemple, consiste à suivre les gens dans leurs déplacements dans le pays, à utiliser les images de vidéosurveillance pour comprendre où se trouvent les dissidents et pour contrôler les mouvements sociaux et les manifestations, par exemple. Le contrôle de l’information, quant à lui, consiste à suivre les actions individuelles en ligne, à comprendre ce qu’elles pensent et à être en mesure de mener des actions de police très ciblées, tout en veillant à ce qu’il soit pratiquement impossible d’organiser des mouvements sociaux contre l’État ou de diffuser des contenus subversifs à grande échelle.

Pour vous donner un exemple de surveillance, des brochures de Hikvision, l’un des plus grands fabricants chinois de caméras de sécurité, circulent sur Internet. Ces brochures annoncent explicitement qu’elles disposent d’une fonction de détection des Ouïghours.

Luisa Rodriguez: Oh, mon Dieu.

Sihao Huang: Pour situer le contexte, le peuple ouïghour fait l’objet de poursuites judiciaires et subit ce que beaucoup considèrent comme un génocide à l’heure actuelle dans le Xinjiang. Ces systèmes sont donc largement déployés dans ces villes pour « identifier les fauteurs de troubles ou les fauteurs de troubles potentiels ». Il existe donc un lien très étroit entre les progrès de l’IA et la capacité de la Chine à réprimer dans son propre pays.

Cet article de Martin Beraja, qui travaille à l’Institut d’économie du MIT, met bien en évidence cette dynamique. Il s’intitule très justement « AI-tocratie ». Il fait beaucoup de choses dans cet article, mais il identifie surtout un certain nombre de liens. Tout d’abord, il étudie différentes villes et provinces chinoises. Après un événement majeur de protestation ou de troubles sociaux, la police achète davantage de systèmes de surveillance basés sur l’IA. Il montre ensuite qu’avec l’augmentation de l’acquisition de ces systèmes de surveillance basés sur l’IA, il est en fait plus improbable que les citoyens chinois descendent dans la rue.

Il montre ensuite que lorsque ces systèmes sont achetés à ces entreprises, celles-ci, d’une part, obtiennent des fonds supplémentaires pour la recherche et le développement et, d’autre part, obtiennent des gouvernements des contrats de données qui leur permettent de rendre ces systèmes plus efficaces. On obtient ainsi une boucle de rétroaction étroite entre les entreprises d’IA qui construisent des systèmes de surveillance de plus en plus avancés, la police qui libère des budgets et l’augmentation de la surveillance qui a lieu en Chine.

Je pense que cela met en évidence une dynamique assez unique, à savoir que la plupart des États autoritaires ont besoin de satisfaire un certain nombre de personnes pour mener à bien la répression. C’est ce qu’on appelle généralement le sélectorat. Et le sélectorat a besoin d’extraire une certaine rente politique du régime. Mais si vous êtes en mesure d’automatiser la portion de personnes que vous devez contenter pour faire respecter votre régime autoritaire, ce sélectorat peut essentiellement se réduire à zéro.

Luisa Rodriguez: Pouvez-vous expliquer ce mécanisme qui fait que les régimes autoritaires ont besoin de satisfaire un sélectorat, mais que l’IA peut faire en sorte quece sélectorat soit réduit à zéro ? En fait, comment peut-ton expliquer que les régimes autoritaires aient besoin d’un sélectorat, et comment l’IA annule-t-elle cela ?

Sihao Huang: Je pense que l’idée ici est que cela revient à la compréhension traditionnelle en sciences politiques d’un problème principal-agent. Un principal a besoin d’agents pour exécuter ses ordres et exercer son pouvoir. Par exemple, Xi Jinping ne dirige pas la Chine tout seul ; il dirige la Chine par procuration, par l’intermédiaire d’autres personnes — comme les membres du politburo, qui sont au sommet de la hiérarchie du parti communiste — qui dirigent ensuite la Chine par l’intermédiaire des gouvernements provinciaux, qui dirigent ensuite la Chine par l’intermédiaire des gouvernements locaux, qui dirigent ensuite la Chine en utilisant une vaste force de police pour mener la répression, mais qui dirigent également la Chine en faisant réellement de bonnes choses pour le peuple et donc en obtenant son soutien.

Et vous pourriez continuer à gouverner ce pays tout en faisant des choses terribles pour le peuple, tant que vous l’opprimez suffisamment pour qu’il ne renverse pas votre pouvoir. Et ce n’est pas une hypothèse : cela s’est déjà produit dans l’histoire de la Chine elle-même. Par exemple, pendant l’ère maoïste, il y a eu des famines massives et une répression massive. Certaines des pires choses qui soient arrivées à l’humanité se sont produites pendant la période où Mao dirigeait le pays.

Pendant cette période, il devait s’assurer que les gens autour de lui étaient en quelque sorte alignés sur ses objectifs. Cela s’est fait en partie par la terreur pure, et en partie en s’assurant que les cadres et les élites du parti communiste bénéficiaient réellement de ce régime. Et si vous êtes en mesure d’automatiser l’instrument de répression, le nombre de personnes que vous devez satisfaire diminue considérablement.

Je pense que la bonne façon de voir les choses est que les leaders autoritaires se sentent alors beaucoup moins contraints, parce qu’ils n’ont pas besoin d’amadouer cette vaste structure de pouvoir qui se trouve en dessous d’eux. Et cette absence de contraintes pourrait signifier que l’autoritarisme est plus robuste, mais elle pourrait aussi signifier qu’on obtient des résultats beaucoup plus fous — parce que Xi Jinping n’a pas besoin de se préoccuper de qui approuvera ses choix ou les désapprouvera.

Luisa Rodriguez: Exact. C’est vrai. Si vous n’avez pas besoin de dépenser autant d’argent pour savoir si la police qui surveille et réprime est satisfaite — si vous avez à la place des systèmes IA qui surveillent et répriment — cela signifie que vous pouvez faire des choses encore plus nuisibles, et encore moins au bénéfice de certains groupes, une fois que ces systèmes sont en place et amplifiés à grande échelle.

Sihao Huang: Exactement. J’ajouterais un point, cependant : mon message aux personnes qui pensent à cela et qui font avancer ces technologies en Chine est le suivant : soyez prudents, parce qu’à un moment donné, vous risquez d’être automatisé vous aussi.

Luisa Rodriguez: Oui. C’est vrai. Si vous bénéficiez actuellement d’un système qui peut nuire à d’autres, mais que vous vous sentez bien parce que vous vous en sortez plutôt bien, l’IA pourrait finir par vous remplacer et il n’y aura plus d’incitation à vous offrir ces avantages.

Sihao Huang: Exactement.

Luisa Rodriguez: Sombre. Très sombre.

Sihao Huang: Et je pense que c’est en partie ce qui est particulièrement terrifiant dans cette intersection de l’IA et de l’autoritarisme. J’ajouterai que les technologies comme l’IA pourraient être intrinsèquement mauvaises pour ce qui est de l’équilibre entre l’attaque et la défense de l’autoritarisme et de la démocratie, mais nous devrions aussi réfléchir sérieusement à la manière dont nous pouvons tirer parti des progrès de l’IA pour créer des mécanismes de défense qui améliorent la délibération démocratique.

Beaucoup de choses dont nous avons parlé précédemment — en matière d’inclusion des pays du Sud dans la prise de décision sur l’IA, comment s’assurer qu’il y a une large participation et une responsabilité ? — Je pense qu’il y a vraiment beaucoup d’exemples très intéressants d’outils d’IA qui permettent cela. Une question très importante est donc : La Chine utilise l’IA pour promouvoir des tendances autoritaires ; elle accélère déjà de manière différenciée une partie de ces applications. Comment pouvons-nous également envisager d’accélérer de manière différenciée l’IA pour la démocratie ?

Luisa Rodriguez: C’est vrai, cela semble incroyablement important ! Avant de poursuivre, et en revenant légèrement en arrière, vous avez donné un excellent exemple de la façon dont le Parti communiste chinois peut utiliser l’IA pour renforcer son régime autoritaire, mais y a-t-il d’autres exemples importants ?

Sihao Huang: Je pense que l’une des façons d’utiliser l’IA est de renforcer la sécurité nationale et donc de réduire les menaces extérieures. L’exemple naturel est le suivant : comment la Chine envisage-t-elle d’utiliser l’IA pour améliorer sa puissance militaire ? Mais il existe également une zone grise où se trouvent d’autres tactiques qui ne consistent pas directement à fabriquer des drones ou des missiles plus efficaces, par exemple. Je pense que de nombreux décideurs politiques aux États-Unis s’inquiètent à juste titre de la possibilité que la Chine commence à utiliser des systèmes d’IA avancés pour diffuser de la désinformation, ou utilise des plateformes de réseaux sociaux créées par des développeurs chinois pour tenter de saper les fondements de notre société et du discours politique civilisé.

Elle pourrait également utiliser l’IA à des fins de cybercapacités offensives. Et ce sont des capacités qui ne nécessitent pas de conflit cinétique direct entre les États-Unis et la Chine, ou entre la Chine et d’autres pays alliés des États-Unis, pour qu’il y ait des dommages directs.

Je pense qu’en dehors de la Chine — parce que la Chine n’est pas le seul acteur pertinent en matière de menaces — il existe également des problèmes involontaires par lesquels l’IA pourrait saper la démocratie de manière significative. Je pense que c’est Ben Garfinkel qui a été le premier à défendre cette idée, et je pense que c’est un argument très fort qui m’empêche parfois de dormir. Et cette idée est que dans un monde où l’IA automatise des portions de plus en plus grandes du travail humain, la classe dirigeante a peut-être moins besoin d’avoir une démocratie.

L’argument est le suivant : la démocratie existe en partie parce que les gens ont commencé à s’émanciper en raison du besoin d’éducation et de la nécessité d’effectuer un travail intellectuel. En outre, la classe dirigeante a tout intérêt à disposer d’un grand nombre de travailleurs bien éduqués et capables de participer aux processus politiques. Et cela peut changer si la structure de production évolue de manière significative. Dans ce monde, nous devons vraiment réfléchir à ce que signifie un gouvernement qui travaille encore pour le peuple, et à ce que signifie s’assurer que la distribution du pouvoir dans le monde tel qu’il est façonné par l’IA soit équitable, et d’une manière que nous pensons conduire à un bon résultat moral.

L’industrie chinoise des semi-conducteurs [00:59:47]

Luisa Rodriguez: Laissons cela de côté et parlons un peu de l’industrie chinoise des semi-conducteurs, qui explique au moins en partie pourquoi les développeurs chinois d’IA ont pris du retard par rapport aux développeurs occidentaux. Certains soulignent que le gouvernement chinois investit d’énormes sommes d’argent dans son industrie nationale des semi-conducteurs, et qu’il pourrait donc réussir. D’autres soulignent le peu de résultats obtenus par ces investissements dans le passé et la complexité de la fabrication des puces modernes.

Que pensez-vous des chances de la Chine de rattraper son retard et de fabriquer les puces les plus modernes dans un avenir proche ?

Sihao Huang: La Chine a vraiment commencé à promouvoir une politique nationale en matière de semi-conducteurs à grande échelle depuis 2015 avec son initiative Made in China. Et depuis, il y a eu trois cycles du fonds national des semi-conducteurs — généralement connu sous le nom de « Big Fund » — qui a injecté un total de plus de 100 milliards de dollars dans son industrie des semi-conducteurs.

Tout cet argent a conduit à une forte implantation de la chaîne d’approvisionnement chinoise en semi-conducteurs sur son territoire, en particulier pour ce que l’on appelle les « semi-conducteurs hérités ». Si vous examinez l’industrie des semi-conducteurs, vous constaterez qu’il existe des puces de pointe et des puces héritées. Les puces de pointe sont les dispositifs de semi-conducteurs les plus avancés qui vont généralement dans vos smartphones, dans les processeurs d’ordinateurs, dans les dispositifs d’IA. Et puis il y a les puces héritées, qui sont des puces qui sont extrêmement importantes — pour des choses comme les capteurs, les circuits analogiques, les appareils de puissance, et même les circuits numériques d’ancienne génération qui vont dans les missiles et le matériel militaire, par exemple. Ces puces n’ont pas les plus petits transistors, elles n’ont pas la densité la plus élevée, mais elles sont toujours très importantes du point de vue économique et sécuritaire.

Avec tous les investissements que la Chine a injectés dans son industrie, elle a pu mettre en place une très grande chaîne d’approvisionnement nationale autour des semi-conducteurs hérités. Et je pense que c’est également intéressant parce que la Chine a potentiellement un avantage comparatif significatif dans la fabrication de puces héritées. Beaucoup de ces choses nécessitent une coopération très étroite avec les utilisateurs finaux de ces produits.

Par exemple, si je développe un véhicule électrique, j’utilise beaucoup de puces héritées — dans les capteurs, les dispositifs de contrôle, les unités de microcontrôle, les MOSFET ou les commutateurs de puissance — et je travaillerais avec de nombreux fournisseurs nationaux pour les acquérir. Et comme les coûts de la main-d’œuvre et des intrants sont moins élevés en Chine, il est en fait avantageux de produire ces semi-conducteurs à l’intérieur des frontières chinoises. La politique industrielle chinoise a donc relativement bien fonctionné dans ce domaine pour créer un écosystème national rentable.

Toutefois, si on examine les semi-conducteurs de pointe, qui sont les plus importants pour l’IA à l’heure actuelle, la situation est un peu différente. La chaîne d’approvisionnement de ces plaquettes de pointe (wafers) est extrêmement complexe. Vous avez des éléments tels que les machines de lithographie, qui ne sont actuellement fabriquées qu’au niveau le plus avancé par une seule entreprise, ASML, aux Pays-Bas. En fait, pour imprimer des puces de moins de cinq nanomètres, il faut des systèmes à ultraviolets extrêmes que la Chine ne possède pas et qu’elle ne peut pas se procurer actuellement.

Il y a aussi des éléments comme la résine photosensible — qui est le produit chimique qui est filé sur ces plaquettes et ensuite exposé par les machines de lithographie — qui sont des produits chimiques ultra-purs très complexes codéveloppés entre l’usine, le producteur de produits chimiques et le fabricant de machines de lithographie, et qui sont très souvent fabriqués par des entreprises très spécifiques, par exemple au Japon ou à Taïwan. Les contrôles américains à l’exportation ont empêché la Chine d’acheter les produits chimiques et les équipements nécessaires à la fabrication des semi-conducteurs les plus avancés.

**Luisa Rodriguez: **Pouvez-vous nous parler de ces contrôles à l’exportation ?

Sihao Huang: C’est une histoire un peu longue, mais je pense que nous pouvons remonter jusqu’en 2017 ou 2018. C’est à ce moment-là que les États-Unis ont commencé à imposer des contrôles à l’exportation de semi-conducteurs vers la Chine, d’abord à des entreprises comme Huawei, en raison de préoccupations liées à la sécurité nationale et aux droits humains.

L’étape suivante a été franchie lorsque les États-Unis et les Pays-Bas ont empêché les exportations des machines de lithographie les plus avancées vers la Chine. Les systèmes de lithographie sont des machines utilisées pour imprimer des puces informatiques, et les plus avancées de ces machines sont appelées « systèmes à ultraviolets extrêmes. » Ce sont des machines incroyables qui coûtent environ 150 millions de dollars chacune. Je pense que la dernière génération coûte plus de 300 millions de dollars. Elles sont expédiées vers une usine de fabrication de semi-conducteurs, par exemple à Taïwan, à bord d’énormes avions de transport 747. Les États-Unis et leurs alliés, y compris les Pays-Bas, ont déployé des efforts considérables et dépensé des dizaines de milliards de dollars sur une période de 20 ans pour mettre au point ce système.

Pour vous donner une idée du fonctionnement de ces systèmes, il s’agit en fait de miracles d’expériences physiques qui sont exécutées des dizaines de milliers de fois par seconde pour générer une lumière ultraviolette extrême, avec des lasers tirant sur des gouttelettes d’étain pour les transformer en plasma, pour créer des rayons X essentiellement mous qui se concentrent sur des miroirs atomiquement plats, avec des étapes qui s’enchaînent à la vitesse d’un avion de chasse afin d’imprimer des objets avec une précision de l’ordre du nanomètre.

Il est très difficile pour la Chine de fabriquer ces machines, et il ne s’agit pas seulement de fabriquer la machine elle-même ; c’est toute la chaîne d’approvisionnement qui est concernée. Sans ces machines, la Chine ne peut pas fabriquer des puces aussi avancées que celles qui existent ou qui sont fabriquées dans le reste du monde — par exemple à Taïwan, par Intel aux États-Unis.

Le grand cycle de contrôle à l’exportation suivant, celui qui a commencé à mettre l’accent sur l’IA, est vraiment intervenu en 2022. Sur le terrain, nous les appelons « contrôles du 7 octobre », en raison de la date à laquelle ils ont été annoncés. Et ces contrôles, d’une part, renforcent les contrôles des exportations d’équipements et de matériaux de fabrication de semi-conducteurs, en les étendant des seuls systèmes de lithographie à ultraviolets extrêmes à des systèmes de lithographie plus larges qui pourraient également fabriquer des puces d’ancienne génération, essentiellement jusqu’aux nœuds de sept et cinq nanomètres — qui étaient à la pointe dans le reste du monde en 2018 et 2019, par exemple — afin d’empêcher la Chine d’amplifier la production de ces puces. Ces mesures ont également entravé la capacité de la Chine à se procurer les équipements et les matériaux nécessaires à la production de semi-conducteurs, tels que les implanteurs d’ions, les systèmes de gravure ionique réactive profonde, les résines photosensibles, etc.

La deuxième partie de ces contrôles à l’exportation vise directement les puces d’intelligence artificielle et empêche la Chine d’acheter les dispositifs d’intelligence artificielle les plus avancés, comme les puces Nvidia A100 et H100.

Luisa Rodriguez: Qui sont les puces les plus avancées ?

Sihao Huang: Exactement. Et je pense que ces puces, les dispositifs Nvidia en particulier, ont plus de 90 % de parts de marché dans l’entraînement et l’inférence de l’IA, et presque tous les systèmes de pointe aux États-Unis, comme GPT-4, Claude d’Anthropic, ou même des systèmes open source comme Llama sont entraînés sur du matériel Nvidia.

Après le 7 octobre 2022, la Chine a donc été obligée d’acheter des versions réduites de ce matériel, appelées Nvidia A800 et H800, avec une largeur de bande d’interconnexion moindre. L’idée était alors que la bande passante d’interconnexion dictait essentiellement l’ampleur avec laquelle on pouvait amplifier de grandes grappes d’entraînement de l’IA. Idéalement, on veut structurer les contrôles à l’exportation de manière à ce que la Chine puisse continuer à utiliser des systèmes d’IA chez elle pour des choses qui ne nuisent pas à la sécurité nationale, ou des choses qui ne créent pas de systèmes IA risqués ou qui ne conduisent pas à des violations des droits humains — mais ils peuvent toujours utiliser TikTok, ils peuvent toujours utiliser des algorithmes de recommandation pour leurs applications d’achat. Je pense donc que la théorie du changement était en partie que nous voulons qu’ils puissent avoir toujours accès à une certaine forme d’IA, mais pas à une IA de pointe qui pourrait constituer un risque pour la sécurité.

Il s’avère qu’ils ont pu amplifier des grappes d’entraînement très efficaces en utilisant ces systèmes. Lorsque nous avons parlé précédemment de la Chine ayant des modèles d’IA de niveau GPT-4 comme DeepSeek AI ou Qwen, ceux-ci sont entraînés sur des H800.

En 2023, vers la fin de l’année, les États-Unis ont proposé une nouvelle série de contrôles à l’exportation qui ont mis à jour ces règles, empêchant Nvidia, AMD et d’autres entreprises d’exporter même des versions réduites de leurs puces d’avant-garde. Le H800 utilise donc exactement la même puce et le même matériel que le H100, mais certains cœurs sont désactivés. Et maintenant, il y a une nouvelle règle mise à jour qui n’est pas seulement basée sur la bande passante d’interconnexion, mais sur la densité de calcul et la performance totale de ces appareils.

Luisa Rodriguez: Très rapidement, pouvez-vous nous dire brièvement ce qu’est la densité de calcul ?

Sihao Huang: Oui. L’année dernière, les contrôles ont introduit deux mesures. Le premier est la performance totale de traitement, et le second est la densité de calcul, qui est la performance totale de traitement de cette puce, normalisée par la surface de la matrice logique sur la puce. Par exemple, le Nvidia H100 a une puce logique d’environ 800 millimètres carrés, et c’est la puce de silicium sur laquelle le traitement a lieu. La densité de calcul est la densité de la puissance de calcul sur cette puce.

Après l’annonce des contrôles en 2023, Nvidia a donc produit une autre puce qui a été réduite : la Nvidia H20. Et il s’avère que cette puce a une densité de performance bien plus faible. Ses performances totales sont également beaucoup plus faibles, mais elle dispose d’une bande passante mémoire très élevée — en fait, une bande passante mémoire encore plus élevée que celle de la Nvidia H100. La Chine a acheté un bon nombre de ces puces, qui sont très utiles pour l’inférence de l’IA.

Donc, si on réfléchit à la façon dont ces contrôles à l’exportation ont été mis à jour, il s’agit d’abord de contrôles sur la fabrication de semi-conducteurs, puis de contrôles sur l’amplification de ces grappes, et enfin d’une pensée en vue de réduire les performances totales de ces puces pour l’entraînement de l’IA. Et maintenant, il semble que nous vendions encore à la Chine des puces très performantes pour l’inférence de l’IA.

Le jeu qui se joue avec les contrôles à l’exportation, et qui est très délicat, est qu’on veut que la Chine puisse acheter ces puces pour des applications inoffensives — qui, par exemple, aident son économie à se développer, ou qui l’aident à faire fonctionner TikTok, etc. En effet, l’objectif du contrôle des exportations n’est pas de ralentir l’économie chinoise, mais d’empêcher la Chine d’acquérir des capacités nuisibles qui pourraient menacer les droits humains ou notre sécurité nationale. Il s’agit donc de tracer une ligne qui place les capacités inoffensives à gauche et les capacités nuisibles à droite. Et cette ligne est parfois très difficile à tracer.

La deuxième chose est que la ligne se déplace également au fur et à mesure que les capacités de l’IA évoluent, et que la façon dont les systèmes d’IA sont entraînés et inférés change. Je pense que ce qu’on voit maintenant, c’est que la Chine peut par exemple être en mesure de déployer des systèmes IA très efficacement dans de grandes grappes en raison de toutes ces astuces de calcul qui ont été développées — comme les modèles épars, le mélange d’experts, l’attention latente multi-têtes — sans autant de puissance de calcul, ce qui est limité par la densité de la bande passante de la mémoire. Je pense donc qu’il s’agira en permanence d’un processus itératif.

Ce que cela signifie pour la Chine, et je pense que c’est le cas dans le monde entier, c’est que la Chine, d’une part, a acheté beaucoup de puces Nvidia qui ont été réduites — les H800, A800 qui ont été utilisées pour les grandes grappes d’entraînement. Elle achète maintenant des H20 qu’elle peut utiliser pour l’inférence avec un bon rapport coût-efficacité. Deuxièmement, elle a en quelque sorte introduit ces dispositifs en contrebande par des moyens illégaux. Je pense qu’une part importante des puces A100 et H100, dont l’exportation est restreinte, a franchi les frontières chinoises. Je dirais probablement des dizaines de milliers. Donc, en termes de valeur monétaire, je pense qu’il y a même près d’un milliard de dollars d’appareils.

Luisa Rodriguez : Wow.

Sihao Huang: Cependant, je pense que les barres d’erreur pour ces chiffres sont assez grandes. Nous avons vu des rapports faisant état de puces envoyées en Chine par centaines.

La troisième chose qu’ils essaient de faire, c’est de construire des processeurs d’intelligence artificielle nationaux en utilisant des plaquettes ou des semi-conducteurs fabriqués en Chine. Mais il convient de noter que ceux-ci sont basés sur la technologie à sept nanomètres, du moins à l’heure actuelle — qui, encore une fois, ont été développés en premier en 2018 dans le reste du monde, et c’est nettement moins avancé en termes de densité de calcul possible sur ces puces et d’efficacité énergétique que ce qui est disponible dans le reste du monde. Actuellement, ces puces sont donc moins performantes. Les meilleures que la Chine est capable de produire à l’heure actuelle ressemblent davantage à un A100 qu’à un H100 ou à un B100 de Nvidia, qui est la dernière génération.

Cela va probablement changer. Je pense qu’il est tout à fait plausible que la Chine puisse passer à cinq nanomètres, voire moins, à un moment donné. La question est de savoir à quel rendement. Mais le point essentiel est que la Chine n’est pas en mesure de produire elle-même ces puces en très grande quantité. À titre de référence, le nombre total de plaquettes produites à l’intérieur des frontières chinoises à l’heure actuelle au niveau du nœud le plus avancé — sept nanomètres ou moins — est probablement inférieur d’un ordre de grandeur ou deux à ce qui est produit à l’extérieur de la Chine, notamment par TSMC à Taïwan. Ainsi, même s’ils parviennent à mettre au point ces processus très avancés, le rendement sera inférieur et ils ne seront pas en mesure de produire les grandes quantités qui pourraient être nécessaires pour entraîner les plus grands modèles de pointe à l’avenir — disons nos grappes de 10 ou 100 milliards de dollars.

Luisa Rodriguez: Il semble donc qu’ils aient encore beaucoup de mal à implanter leur chaîne d’approvisionnement en semi-conducteurs sur leur territoire. Mais quelles sont, selon vous, leurs perspectives pour les prochaines années ? Pensez-vous qu’ils finiront par rendre leur chaîne d’approvisionnement compétitive par rapport à celle des États-Unis et des Pays-Bas ? Ou pensez-vous que cela restera un goulot d’étranglement pendant longtemps ?

Sihao Huang: À court terme, ils seront probablement en mesure de fabriquer des puces nationales. Ils ont déjà été en mesure de fabriquer des puces à sept nanomètres qui se situent en dessous de la ligne que les États-Unis voulaient contrôler. Mais le fait est qu’ils ne sont pas en mesure de fabriquer ces puces à des rendements et à des volumes très élevés.

Je pense que leurs perspectives pour les prochaines années sont assez sombres. Ils travaillent essentiellement avec l’équipement qu’ils ont déjà importé du reste du monde — des Pays-Bas, des États-Unis, du Japon — au cours des dernières années. C’est ce stock qui déterminera le nombre de puces qu’ils pourront produire, et ce n’est pas énorme.

La barre de l’incertitude devient en fait beaucoup plus haute lorsque nous pensons à ce qui se passera peut-être dans trois, cinq ans ou plus : La Chine pourrait envisager différentes technologies pour fabriquer ces puces afin de contourner les contrôles des experts américains. Par exemple, elle essaiera peut-être de fabriquer des puces à trois nanomètres sans utiliser de machines EUV, et de trouver des innovations qui lui permettent de le faire avec un rendement décent. Il se peut aussi qu’ils essaient d’étudier des technologies de semi-conducteurs qui ne nécessitent pas d’amplification lithographique.

L’industrie des semi-conducteurs est une industrie qui a une dépendance au sentier extrêmement forte. En effet, si l’on examine l’histoire du développement des semi-conducteurs, il y a eu de nombreux moments où l’industrie a dû prendre une décision collective sur la technologie à adopter et à amplifier pour poursuivre la loi de l’amplification de Moore. À la fin des années 90, un grand nombre d’entreprises se sont réunies pour se demander ce que nous allions construire pour nos systèmes de lithographie de la prochaine génération. Il y avait un certain nombre de candidats. L’EUV n’était que l’un d’entre eux. Il y avait aussi la lithographie par rayons X, la lithographie par faisceau d’ions et la lithographie par faisceau d’électrons. Finalement, l’industrie a convergé vers l’EUV. Il n’était pas évident que cette décision soit la meilleure. C’était la meilleure décision compte tenu des informations disponibles à l’époque et de la structure industrielle des pays qui développaient cette technologie.

Luisa Rodriguez: Bien sûr. Bien sûr.

Sihao Huang: Les informations dont nous disposons aujourd’hui sont très différentes. La structure industrielle de la Chine est très différente de celle du reste du monde. Ainsi, si la Chine consacrait des ressources importantes à l’implantation territoriale des puces, elle pourrait potentiellement trouver d’autres voies pour rendre les dispositifs à semi-conducteurs plus efficaces et plus avancés.

Luisa Rodriguez: Avez-vous une idée de la manière dont les acteurs concernés en Chine envisagent l’implantation de leur approvisionnement en semi-conducteurs sur leur territoire ? Cela va-t-il devenir une priorité absolue ou n’est-on pas sûr que c’est l’arbitrage qu’ils vont faire ?

Sihao Huang: L’implantation territoriale des semi-conducteurs a été une grande priorité pour la Chine ces dernières années, et je pense que vous l’avez constaté dans les politiques mises en place par le pays. Nous avons déjà parlé brièvement du Big Fund.

Ce fonds a investi plus de 100 milliards de dollars dans l’industrie des semi-conducteurs. Et ce n’est pas seulement au niveau national, c’est aussi au niveau infranational, ce qui est un aspect que les gens oublient souvent selon moi lorsqu’ils réfléchissent à la politique chinoise. Le gouvernement provincial de Guangdong, le gouvernement municipal de Shanghai ont tous créé leurs propres fonds pour les semi-conducteurs afin d’investir dans les entreprises locales. Il existe une dynamique de concurrence entre les différentes localités pour être la première, pour être la province qui accueillera la TSMC chinoise.

Ces dernières années, la Chine a redoublé d’efforts dans le domaine des semi-conducteurs. Le Big Fund se fait en plusieurs phases. La première phase représentait, je crois, un investissement de 30 ou 40 milliards de dollars. Puis il y a eu la deuxième phase, au cours de laquelle la Chine a réitéré son engagement en matière d’investissement, tout en modifiant légèrement sa stratégie, car il y avait beaucoup d’inefficacité et une sorte de course au moins-disant entre les différentes provinces pour que chacune ait sa propre version de TSMC.

Le gouvernement de Wuhan s’est fait arnaquer de manière très célèbre (https://www.chinatalk.media/p/billion-dollar-heist-how-scammers). Une société appelée HSMC a été fondée par deux personnes — dont l’une, je pense, était un trafiquant d’alcool et l’autre n’avait qu’un niveau d’éducation élémentaire — qui prétendaient avoir à leur bord un vice-président de la R&D de TSMC. Ils ont acheté une machine de lithographie ASML, ont organisé toute une cérémonie d’inauguration, puis ont rendu la machine de lithographie en échange d’un prêt bancaire. L’usine a été construite dans une structure qui prétendait produire des puces à cinq et sept nanomètres, et tout a fait faillite. Je pense que le gouvernement de Wuhan a perdu entre 2 et 8 milliards de dollars, nous ne sommes pas exactement sûrs, dans ce processus.

Luisa Rodriguez: Oh mon Dieu.

Sihao Huang: Il en est résulté un énorme scandale de corruption dans le Big Fund des semi-conducteurs. Il y a eu de nombreuses mesures de répression. L’un des acteurs les plus importants du Big Fund des semi-conducteurs est Tsinghua Unigroup, une sorte de fonds de couverture ou de fonds d’investissement de l’université de Tsinghua, dont le dirigeant a été arrêté et emprisonné. De nombreuses autres personnes appartenant au même écosystème ont été soumises à une inspection par la [Commission centrale d’inspection disciplinaire].

Mais je pense qu’un signal très important à tirer de cette affaire est qu’après cela, la Chine a encore doublé la mise avec le troisième Big Fund, où elle a augmenté les investissements de manière significative, et qu’elle modifie maintenant sa stratégie en ne se contentant pas de mettre de l’argent dans la conception de puces, mais en se concentrant explicitement sur l’implantation territoriale des semi-conducteurs.

Je pense donc qu’il y a beaucoup de volonté et de ténacité de la part des Chinois pour implanter les semi-conducteurs sur leur territoire. Et on commence à voir beaucoup d’investissements de la part de toute une série d’acteurs, comme Huawei et d’autres entreprises d’État chinoises, qui essaient de construire des machines EUV sur le territoire, de construire toute la chaîne d’approvisionnement chez eux et de contourner les contrôles américains à l’exportation.

Je pense donc qu’il est très important de noter que les contrôles à l’exportation dont nous disposons ne constituent pas une solution complète. Il s’agit d’une cible mouvante, et les États-Unis ont besoin de beaucoup de ressources pour les mettre à jour et s’assurer que, lorsque la Chine modifie sa stratégie, nous modifions également la nôtre en conséquence.

Luisa Rodriguez: D’accord, d’accord. Bon, je vais tenter de résumer la situation : en ce qui concerne les semi-conducteurs, au cours des prochaines années, il semble assez difficile pour la chaîne d’approvisionnement chinoise de se maintenir ou de rattraper la chaîne d’approvisionnement américaine. Mais au cours des cinq prochaines années, les investissements chinois seront si importants et les opportunités technologiques si créatives qu’il est tout à fait plausible qu’ils développent différents types de technologies pour atteindre des objectifs similaires. Par conséquent, si l’on veut que ces contrôles à l’exportation continuent à remplir leur fonction, il faut les mettre à jour pour combler les lacunes qui pourraient se présenter à nouveau. Est-ce un bon résumé ?

Sihao Huang: C’est à peu près ça. Je pense que les contrôles à l’exportation les frappent assez durement, et que cela a un impact mesurable sur leur capacité à développer des systèmes d’IA avancés. Mais il est très difficile de faire des prévisions technologiques, surtout si elles concernent l’avenir. Nous devons donc nous assurer que toutes ces politiques sont mises à jour et que nous surveillons de près ce qu’ils font.

Luisa Rodriguez: D’accord, compte tenu de tout cela, quelle est, selon vous, la probabilité de voir la Chine implanter sa chaîne d’approvisionnement en semi-conducteurs sur son territoire dans un futur proche ?

**Pour que la Chine soit en mesure de fabriquer ces produits sur son territoire, elle doit essentiellement déplacer l’ensemble de la chaîne d’approvisionnement en semi-conducteurs — qui comprend des entreprises au Japon, en Allemagne, en Corée, à Taïwan, aux Pays-Bas et aux États-Unis — à l’intérieur des frontières d’une seule nation, dont le PIB par habitant représente environ un sixième de celui des États-Unis.

Dans ce cas, la politique industrielle ne se conforme pas aux avantages comparatifs, mais lutte contre les avantages comparatifs, parce que la structure industrielle de la Chine n’est pas encore aussi avancée que celle de l’Occident. Si la Chine veut construire une machine de lithographie dans l’ultraviolet, il ne s’agit pas seulement de construire la machine elle-même, de développer les sources de lumière EUV, de fabriquer les miroirs ; elle doit aussi développer les machines qui polissent les miroirs — ce qui implique beaucoup de précision, des composants mécaniques, des composants de mouvement linéaire, des roulements — et elle n’a pas ces entreprises qui fabriquent ces composants de précision au même niveau que l’Allemagne ou le Japon, par exemple.

Il s’agit donc d’implanter non pas une seule machine, mais toute une économie de pointe à l’intérieur de ses frontières. Et c’est un véritable défi. La Chine peut potentiellement y parvenir. Je ne dis pas qu’il est impossible pour la Chine de fabriquer une machine EUV. Je pense que si on regarde l’ordre approximatif des investissements nécessaires à la fabrication de ces systèmes, selon la plupart des comptes, les machines EUV ont nécessité entre 10 et 20 milliards de dollars pour être développées dans les pays occidentaux. Le programme Apollo, quant à lui, a coûté environ 500 milliards de dollars.

Donc, si la Chine veut vraiment faire cela, elle peut le faire. Si la Chine veut vraiment produire elle-même des semi-conducteurs avancés, elle peut le faire, mais cela coûtera très cher et prendra beaucoup de temps. La question qui se pose est donc la suivante : premièrement, la Chine va-t-elle y parvenir à temps pour pouvoir construire des systèmes d’IA très avancés et amplifier le développement de l’IA ? Et deuxièmement, le coût de cette démarche en vaut-il la peine ?

Luisa Rodriguez : Oui, je suis curieuse de connaître votre point de vue sur ces deux questions. Les autorités chinoises vont-elles penser que cela en vaut la peine ? Et si c’est le cas, quel serait leur calendrier ?

Sihao Huang: À court terme, je pense que nous savons très bien comment l’industrie chinoise des semi-conducteurs va évoluer, ou comment l’amplification de la puissance de calcul en Chine va évoluer — c’est-à-dire qu’ils sont assez limités par la simple quantité de capacité de production dont ils disposent à l’intérieur de leurs frontières.

Avant que les contrôles américains à l’exportation ne resserrent l’importation de ces équipements avancés de fabrication de semi-conducteurs en 2022 et 2023, la Chine avait commencé à importer et à stocker un grand nombre de ces machines de lithographie avancées qu’elle utilisait pour imprimer les puces. Et il y a un nombre très limité de ces machines à l’intérieur des frontières chinoises, et ils ne peuvent pas les fabriquer pendant au moins les prochaines années — ce qui signifie que dans les prochaines années, nous savons que la capacité de la Chine à fabriquer des plaquettes de semi-conducteurs est inférieure d’à peu près un ou deux ordres de grandeur au reste du monde.

Il s’agit en outre de plaquettes dont les nœuds de traitement sont moins avancés que ceux fabriqués à Taïwan par TSMC ou par Intel aux États-Unis. Il y a donc une limite assez stricte à la capacité de la Chine à amplifier ses plus grandes grappes de calcul en utilisant uniquement des puces nationales.

Mais si nous regardons à plus long terme, disons vers 2030 ou au-delà, la Chine peut-elle potentiellement maîtriser la lithographie à ultraviolets extrêmes sur son territoire ? La Chine peut-elle éventuellement ne pas utiliser la lithographie EUV, mais utiliser d’autres processus pour essayer de produire des semi-conducteurs avancés, parce qu’il y a tellement de dépendance au sentier dans le développement technologique ? Je pense que la réponse est probablement oui. Et ils essaieraient probablement de le faire dans un monde où ils considèrent vraiment l’IA comme la principale priorité nationale, comme le prédicteur le plus important de la puissance nationale.

Peut-être qu’un point de référence ici est l’importance qu’ils accordent à l’IA par rapport à l’expansion actuelle de l’Armée populaire de libération, à la construction de missiles, à la dissuasion nucléaire et aux porte-avions. Il s’agit en effet d’une somme d’argent considérable qui pourrait être affectée à différents domaines. Mais je pense qu’en fin de compte, si la Chine voulait abriter tout l’écosystème des semi-conducteurs à l’intérieur de ses frontières, cela aurait un coût économique très élevé.

Luisa Rodriguez : Oui. Avons-nous une idée de la manière dont les dirigeants chinois pourraient envisager ces arbitrages ?

Sihao Huang: Je pense qu’il est très difficile de le savoir. Et si c’est bien à ces arbitrages qu’ils réfléchissent, ils ne révéleront probablement pas leurs préférences très facilement.

Luisa Rodriguez: Je vois.

Sihao Huang: Je pense qu’à court terme la Chine est confrontée à certaines contraintes dans sa capacité à investir davantage dans l’industrie des semi-conducteurs et de l’IA. L’environnement macroéconomique de la Chine ne se porte pas très bien depuis un an ou deux. Et puisqu’une grande partie de ce financement provient en fait de sources locales comme les gouvernements provinciaux et les gouvernements locaux, leurs finances ont été dans des états très précaires et ils ont été réticents à se développer de manière significative en investissant dans le développement de l’IA, en investissant davantage dans l’industrie des semi-conducteurs.

Cette situation est donc révélatrice des contraintes économiques auxquelles les décideurs chinois sont actuellement confrontés. Mais il est tout à fait possible que la Chine essaie d’adopter un paradigme différent. La Chine avait l’habitude de construire des infrastructures nationales — des ponts, des voies ferrées et des stations de métro — pour stimuler l’économie. Pourrait-elle passer à la vitesse supérieure en construisant des grappes de calcul et des machines de lithographie ? Je pense que oui. Et cela pourrait se faire au prix d’une grande inefficacité économique. Et il y a toujours la question de savoir pour chaque dollar injecté dans l’économie par le biais de ces méthodes de relance, combien on va en retirer en termes de production de PIB ?

Mais si les dirigeants chinois considèrent que ces arbitrages en valent la peine, parce que l’indépendance de ces chaînes d’approvisionnement sera cruciale pour leur sécurité nationale, je pense qu’un changement de politique est tout à fait possible.

Luisa Rodriguez: D’accord. Est-il possible qu’ils fassent des percées, par exemple, dans le domaine des algorithmes, ce qui leur permettrait de développer des systèmes d’IA plus avancés sans combler leur déficit en matière de puissance de calcul ?

Sihao Huang: La Chine peut certainement construire des systèmes d’IA plus avancés, et il y a certainement la possibilité d’une percée algorithmique. L’un dans l’autre, je pense que je parierais sur les développeurs américains et britanniques bien plus que sur les développeurs chinois. Mais nous devons également être très conscients du fait que, premièrement, il existe de multiples façons d’amplifier la puissance de calcul, et deuxièmement, il existe de multiples façons de construire des systèmes d’IA avancés.

D’une manière générale, le développement technologique est extrêmement dépendant au sentier. C’est un phénomène que nous avons observé dans diverses technologies et industries. Un exemple prototypique est celui de la batterie lithium-ion. La batterie lithium-ion a été alimentée par une industrie massive qui a injecté des dizaines de milliards de dollars par an dans l’amélioration de cette seule plateforme. Bien qu’il existe de nombreuses autres solutions de stockage de l’énergie, la batterie lithium-ion l’a toujours emporté.

Il en va de même pour le transistor au silicium. Des propositions ont été faites pour l’ordinateur photonique, l’ordinateur à ADN, les substrats biologiques, mais il est très difficile de battre des centaines de milliards de dollars investis chaque année pour maintenir la loi de Moore. Et cela a étouffé beaucoup d’autres innovations.

L’exemple qui me semble pertinent pour l’IA est qu’aux États-Unis, beaucoup d’argent est investi dans le paradigme de l’amplification, qui consiste à construire des LLM de plus en plus grands — et c’est simplement parce qu’on a accès à la puissance de calcul que cela vaut la peine d’essayer cette approche, qui est extrêmement prometteuse. Mais il peut y avoir des sous-investissements dans d’autres approches pour construire des systèmes d’IA avancés.

La Chine a historiquement été très forte pour faire de la recherche dans l’informatique neuromorphique, les interfaces cerveau-ordinateur, l’informatique inspirée du cerveau et l’émulation. L’un des plus grands laboratoires d’intelligence artificielle en Chine, l’Académie d’intelligence artificielle de Pékin, qui réalise actuellement de nombreux travaux dans le cadre du LLM, était auparavant un grand laboratoire d’émulation cérébrale et d’inspiration cérébrale. Il se peut donc que la Chine soit confrontée à un arbitrage exploration-exploitation très différent de celui des laboratoires occidentaux, où, parce qu’ils ne disposent pas de toutes ces ressources de calcul, parce qu’ils savent qu’ils n’arriveront pas à la pointe en faisant la course à la puissance de calcul avec les États-Unis, ils essaieront d’explorer d’autres moyens d’accéder à des systèmes plus puissants.

Et je pense qu’à long terme, si je devais dépeindre comment la Chine serait finalement la première à atteindre l’IAG, cela pourrait se traduire par quelque chose comme ce qui suit. Peut-être que les États-Unis entreraient dans une sorte d’hiver de l’IA — parce que GPT-5 est décevant ou à cause de problèmes macroéconomiques — tandis que la Chine ferait beaucoup de recherches sur des méthodes d’IA alternatives, et serait également en mesure d’intégrer beaucoup de ces services d’IA dans son économie, de telle sorte qu’il y aurait réellement des incitatifs pour continuer. Et ce financement, combiné à d’autres voies pour construire des systèmes d’IA agentiques plus puissants, peut-être en combinaison avec des percées dans la fabrication de semi-conducteurs nationaux ou de plateformes de calcul, pourrait éventuellement lui permettre de devenir le premier pays à construire des systèmes d’IA transformateurs.

Mais encore une fois, je ne parierais pas là-dessus dans le scénario de base.

Luisa Rodriguez: Exact. La voie est étroite, comme vous l’avez dit.

Le paysage de la gouvernance de l’IA en Chine [01:29:22]

Luisa Rodriguez: D’accord, passons à la gouvernance de l’IA en Chine. Lorsque certains s’inquiètent de voir la Chine battre les États-Unis dans la course à l’IA, d’autres répondent que la Chine réglemente en fait l’IA beaucoup plus que les États-Unis, et que le désir de contrôle du gouvernement va en fait faire en sorte que les choses aillent plus lentement dans l’ensemble. Je pense que vous y avez déjà fait allusion, mais dans l’ensemble, diriez-vous que le gouvernement chinois réglemente les applications d’IA plus ou moins que les États-Unis ?

Sihao Huang: Pour l’instant, je pense qu’ils ont définitivement réglementé l’IA davantage que les États-Unis. Et surtout au début, juste après la sortie de ChatGPT, ils se sont montrés très sévères avec le projet de réglementation de la CAC sur l’IA générative. Comme nous l’avons déjà dit, beaucoup de ces réglementations étaient axées sur le contrôle de l’information. La Chine est donc l’un des premiers pays, et le seul à l’heure actuelle, à disposer d’une réglementation sur l’IA qui soit juridiquement applicable.

Il faut cependant faire attention à ne pas aller trop loin, car je pense qu’il y a des signes qui montrent qu’ils sont en train de se modérer, en faisant preuve de plus de doigté. Lorsque les règlements de la CAC ont été publiés pour la première fois en tant que projet de règlement, ils contenaient des règlements très stricts sur les préjugés sociétaux, par exemple : parler des groupes protégés, s’assurer que ces systèmes d’IA ne soient pas biaisés en fonction du sexe, de la nationalité ou de l’origine ethnique. Et ils ont également parlé de règles telles que s’assurer que les systèmes d’IA ne soient pas simplement filtrés après coup en utilisant un filtre de contenu de sécurité, mais qu’ils soient en fait affinés dans les 30 jours pour s’assurer qu’ils se débarrassent de ce contenu préjudiciable. Après plusieurs cycles de consultation avec l’industrie, nous avons constaté que certaines de ces réglementations les plus onéreuses ont été retirées des décisions provisoires de la CAC.

Je pense qu’il s’agit d’une tendance plus large qui se produit également en Chine, à savoir qu’au cours des dernières années — en particulier en 2018, 2019 et par la suite — la Chine s’est montrée très sévère à l’égard de ses entreprises technologiques. Il y a eu des démantèlements d’entreprises technologiques éducatives, des démantèlements de l’industrie des jeux en Chine, et une réglementation très stricte sur les algorithmes de recommandation.

Mais depuis 2022, 2023, alors que les conditions macroéconomiques de la Chine ne semblaient pas très bonnes après la COVID, et que la Chine voit que les États-Unis et le Royaume-Uni sont vraiment en avance sur l’IA, je pense qu’ils modèrent légèrement leur approche. On observe cette tendance plus large selon laquelle les réglementations chinoises sur l’IA sont toujours très axées sur la garantie d’un bon contrôle de l’information et sur la capacité du PCC à réglementer très étroitement son environnement d’information. Mais pour d’autres réglementations comme l’impact sociétal et la sûreté de l’IA directement, nous voyons moins de choses sortir de Chine. Je pense qu’il reste à voir ce que la Chine va faire par la suite.

Je pense qu’il convient également de noter que le gouvernement chinois est aussi un investisseur dans ces systèmes d’IA. Il est également un client de ces systèmes d’IA. Il fournit également la puissance de calcul pour ces systèmes d’IA. Il envisage donc la question sous l’angle du système d’innovation : comment s’assurer que nous avons le bon équilibre entre ce dont ils ont besoin pour maintenir le Parti communiste au pouvoir, mais aussi s’assurer qu’ils fassent progresser ces systèmes suffisamment pour être compétitifs par rapport aux États-Unis ?

Luisa Rodriguez : Oui. OK, il y a donc une tension intéressante : d’un côté, la Chine dispose d’un avantage comparatif grâce à l’intégration étroite entre le gouvernement et les différentes entreprises qui développent l’IA. Cela leur permet de déployer ces technologies de manière très efficace et rapide, car tout fonctionne comme un système interconnecté. D’un autre côté, cette même interconnexion affaiblit les incitations à établir des régulations solides. Au départ, les décideurs politiques avaient peut-être une vision idéale des régulations à mettre en place. Mais lorsque vient le moment de passer de la théorie à la pratique, une question cruciale se pose : jusqu’à quel point souhaitent-ils réellement se restreindre eux-mêmes dans la manière de déployer ces systèmes ?

Sihao Huang: C’est tout à fait exact. Et je pense qu’on observe également ce phénomène d’ambiguïté dans un grand nombre de décisions chinoises, c’est-à-dire que certaines règles sont en fait rédigées avec beaucoup de latitude. Par exemple, comment vérifie-t-on que les données sont « vraies et impartiales », comme le stipule le règlement du CAC ? Et la réponse est que ce n’est pas possible. Ces entreprises ont souvent des problèmes après un incident public ou si une agence particulière annonce une enquête sur leurs produits. Il y a donc de la place pour la corruption au sein du système chinois. Il y a aussi une grande marge d’interprétation et l’humeur politique ou économique du moment peut déterminer le degré de sévérité de ces réglementations pour les entreprises.

Luisa Rodriguez: D’accord. Pouvons-nous prendre un peu de recul et avoir une vision plus large du paysage de la gouvernance en Chine ? J’aimerais que vous nous décriviez les principales évolutions de la réglementation chinoise en matière d’IA au cours des cinq dernières années, par exemple.

Sihao Huang: Beaucoup de ministères et d’agences chinoises ont publié des décisions sur l’éthique de l’IA, sur les normes de l’IA, etc. Mais les règles les plus contraignantes sont un ensemble de trois règles publiées par la CAC, qui est l’autorité de régulation d’Internet — en fait le censeur — en Chine. Et elles couvrent les algorithmes de recommandation ; les systèmes de synthèse profonde (soit les systèmes de « deepfakes ») ; et enfin, celles qui sont sorties en 2023 portent sur l’IA générative.

**Luisa Rodriguez : Oui, pouvons-nous parler de chacun de ces éléments ? Je connais un peu ces réglementations, mais je n’ai pas l’impression d’avoir tout le contexte. Quel était donc le règlement pour les algorithmes ?

Sihao Huang: Les recommandations relatives aux algorithmes visaient à répondre à deux objectifs. Il s’agissait de contrôler l’environnement de l’information en Chine et de s’assurer que la CAC exerçait une supervision gouvernementale sur la nature de ces algorithmes et leur donnait la possibilité de déterminer les types de contenus susceptibles de recevoir une énergie sociale positive ou négative.

Elle s’est également concentrée sur un ensemble de préoccupations légèrement distinctes concernant les travailleurs itinérants et les livreurs. Il y a eu beaucoup de discrimination par les prix. Je pense qu’il s’agit d’un sujet très intéressant, qui mérite d’être approfondi si on s’intéresse à l’économie chinoise : les droits du travail des travailleurs itinérants en Chine suscitent, ou ont suscité, de nombreuses inquiétudes. Si vous vivez en Chine pendant un certain temps, vous verrez qu’il existe des services de livraison extrêmement pratiques. C’était très dangereux lorsque j’étais étudiant à Pékin et que je faisais de la recherche. Je pouvais obtenir de la très bonne nourriture pour un prix très bas.

Mais le revers de la médaille, c’est que les livreurs sont très mal payés et très peu protégés. Par exemple, s’il y a un problème avec la livraison, c’est le livreur qui paie l’amende — et ceux qui livrent dans ces villes ne reçoivent absolument pas un salaire décent, et très souvent, ce sont des travailleurs immigrés des villages ou des villes de moindre importance qui se rendent dans des villes comme Pékin et Shanghai.

Luisa Rodriguez: D’accord. Et quel était le mécanisme ? Les algorithmes de recommandation fixaient des prix très bas parce qu’il y avait un tel excédent de main-d’œuvre et qu’il n’y avait pas de protection pour s’assurer que tout le monde reçoive un salaire décent pour ces emplois ?

Sihao Huang: Exactement. Et je pense que ce phénomène a également eu pour effet de limiter la capacité de ces travailleurs précaires à résister ou à exprimer leur opinion à l’encontre de ces entreprises technologiques. En effet, même si la Chine prétend être un pays communiste, elle réprime les dissidents en ligne, ou ces soi-disant « énergies négatives » que ces réglementations tentent justement d’endiguer. Cela signifie que pendant une longue période, ces problèmes n’ont pas été traités jusqu’à ce qu’ils remontent à la surface et que le PCC se rende compte qu’il était dans son intérêt de commencer à sévir contre les entreprises technologiques afin d’empêcher leur pouvoir de s’étendre et de menacer l’État.

Luisa Rodriguez: Oh, wow.

Sihao Huang: Oui. Je dirais qu’il s’agit là du premier grand ensemble de réglementations sur l’IA émanant de la CAC. Elle a également créé cet outil appelé « rapport de sécurité algorithmique », qui à ce stade était volontaire, mais demandait aux entreprises de soumettre des rapports sur la nature des algorithmes, leurs entrées et leurs sorties.

La série de réglementations suivante a été publiée en 2022. Si vous vous souvenez bien, c’est à cette époque que sont apparus de nombreux outils de génération d’images et de « deepfakes », comme Stable Diffusion ou DALL-E. Ces réglementations ont commencé à acquérir des éléments tels que la vérification de l’identité réelle de l’utilisateur. Ainsi, si j’étais un utilisateur chinois souhaitant générer des images sur un outil en ligne, je devrais entrer mon numéro d’identification national. Ensuite, si j’entrais quelque chose comme « Générer une image de Xi Jinping sur un monocycle devant la place Tiananmen », cela serait enregistré dans une base de données et lié à mon numéro d’identification.

Cet ensemble de réglementations a également créé cet ensemble de caractéristiques pour reconnaître les entrées illégales, et a également mandaté les fournisseurs de services pour évaluer leur capacité à générer des « contenus liés à la sécurité nationale » ou des scènes spécifiques qui sont de nature sensible, ou qui génèrent des contenus liés à la biométrie ou à l’identité — je pense que cette dernière partie est peut-être une bonne réglementation en matière d’intelligence artificielle. La première partie est, encore une fois, la poursuite de cette ligne de contrôle de l’information.

**Luisa Rodriguez : La **dernière partie concerne les « deepfakes ». C’est comme si on créait un contenu qui contient des biomarqueurs d’un être humain qui existe, et à qui on pourrait faire subir un préjudice, l’IA le remarquera et vous interdira de le faire parce que vous ne devriez pas créer un contenu à l’image de quelqu’un d’autre. Est-ce que c’est ça l’idée ?

Sihao Huang: Oui. Je pense qu’il s’agit d’une combinaison de trois éléments. Premièrement, ces systèmes seront dotés d’un filigrane. Deuxièmement, vous ne serez pas autorisé à fabriquer certains systèmes et ils seront rejetés par le filtre de contenu. Et troisièmement, le règlement stipule au moins que si vous entrez du contenu illégal dans les systèmes génératifs, il peut le lier à votre identité et l’enregistrer dans une base de données.

**Luisa Rodriguez:**Certaines de ces dispositions me semblent bonnes.

Sihao Huang: Et les autres semblent plutôt terrifiantes.

Luisa Rodriguez: Oui, vous avez raison. Oui, cela semble terrifiant. Je déteste l’idée que… Je génère constamment des images sur DALL-E et je ne serais pas très enthousiaste à l’idée que mon numéro de sécurité sociale soit lié à toutes les images que je génère.

Sihao Huang: Absolument.

Luisa Rodriguez : OK. Voilà pour la deuxième vague de réglementations. Quelle a été la troisième ?

Sihao Huang: La troisième est arrivée quelques mois après la sortie de ChatGPT. Je pense que beaucoup de décideurs politiques sur le terrain étaient en train de paniquer sur ce qu’il fallait faire avec le système, parce que les modèles de langage, au moins avec ce niveau de capacité et un large accès, sont une chose très nouvelle. Si les agrégateurs de nouvelles étaient terrifiants parce qu’on ne pouvait pas contrôler ce que les gens voyaient, les modèles de langage qui sont potentiellement entraînés sur d’énormes quantités de pages Internet occidentales sont encore plus effrayants pour les responsables du PCC.

Donc ces règlements sont sortis, au moins sous forme de projet de loi, au début de 2023 et ils stipulaient que les modèles devaient adhérer aux visions du monde socialistes ; les données d’entraînement devaient être « exactes, objectives et diverses » ; et ils stipulaient également que les systèmes avec des caractéristiques d’opinion publique devaient passer par un examen de sécurité.

Luisa Rodriguez: Wow. Et pour être sûr de bien comprendre, ces réglementations concernent les modèles génératifs chinois. Les citoyens chinois ont-ils accès aux modèles occidentaux comme ChatGPT ou Claude ?

Sihao Huang: Ils ne sont pas censés y avoir accès, mais ils y ont accès. Si vous tapez « ChatGPT » sur Baidu, vous ne trouverez pas ChatGPT, mais « ChtPT » — et c’est comme si c’était un moyen d’y accéder. Il s’agit simplement d’une version mal orthographiée de ChatGPT, mais qui utilise l’API de GPT-4. Ces systèmes sont constamment interdits, mais vous pouvez en trouver de nouvelles versions. Et bien sûr, les citoyens chinois utilisent un VPN pour accéder à l’internet extérieur. En réalité, si vous parlez à de nombreux développeurs, ils utilisent GPT-4 ; ils n’utilisent pas le service de Baidu.

Luisa Rodriguez: D’accord, donc cela ne s’applique pas aux modèles occidentaux, parce que ces modèles ne sont pas accessibles en théorie. En pratique, ils sont accessibles. Quoi qu’il en soit, nous parlons ici principalement des contrôles qui s’appliquent aux modèles développés et autorisés en Chine. Il s’agit essentiellement de s’assurer que les modèles génératifs disent des choses qui sont autorisées par la vision du monde du Parti communiste chinois.

Sihao Huang: Je pense qu’il y a nuances très importantes à apporter ici. Tout d’abord, ces décisions concernent les modèles déployés publiquement et ne s’appliquent pas aux développeurs qui ne font qu’entraîner ces modèles dans leurs laboratoires. Je pense qu’il s’agit d’une nuance importante lorsque nous réfléchissons à la sûreté de l’IA, à savoir que cela réglemente peut-être l’impact sociétal, du moins la version chinoise de l’impact sociétal. Mais cela ne couvre pas nécessairement, et n’est pas destiné à couvrir, les activités de développement de l’IA — en particulier parce que la Chine a l’intention de s’assurer qu’il y a le moins d’entraves possible au rattrapage des entreprises chinoises d’IA.

Luisa Rodriguez: D’accord, la raison pour laquelle cela est pertinent est que, si on se demande dans quelle mesure cette réglementation peut, en théorie, être appliquée pour empêcher le type de déploiement dangereux de l’IA que nous voulons éviter, et pas seulement la censure. Si nous devions essayer d’appliquer ce règlement, cela ne fonctionnerait en fait pas très bien, car cela n’empêcherait que le déploiement de modèles dangereux, et non la création et l’entraînement de modèles dangereux. Cela semble donc être une grande lacune, si nous voulons que cela soit utile dans le domaine qui nous intéresse.

Sihao Huang: Absolument. Je dirais que les outils et les structures bureaucratiques qui se sont développés dans le cadre de ces réglementations vont être très puissants si nous voulons commencer à réfléchir aux règles de sûreté de l’IA.

Luisa Rodriguez: Pouvez-vous nous en dire plus à ce sujet ? Dans quelle mesure ces réglementations sont-elles pertinentes par rapport aux caractéristiques de l’IA que vous et moi souhaitons réglementer ?

Sihao Huang: Beaucoup d’entre elles sont vraiment très proches des règles de sûreté de l’IA. Je pense qu’il est également juste de dire que la sûreté de l’IA est quelque chose qui correspond tout à fait aux intérêts du Parti communiste.

Si on réfléchit à la façon dont les systèmes d’IA pourraient causer des dommages dans le monde, disons qu’on a à l’avenir des agents IA qui font des ravages sur Internet sans être imputables ou liés à des identités personnelles. Il semble que le PCC se préoccuperait de cette question, en particulier pour ce qui est de la recherche de responsabilité civile.

Si on pense aux systèmes IA utilisés pour mener des cyberattaques ou utilisés par des terroristes pour permettre la prolifération d’armes biologiques, cela semble également être quelque chose qui préoccupera beaucoup la Chine, parce que ces incidents de sûreté ont historiquement été un très gros problème pour les États autoritaires et leur légitimité. Pensez à Tchernobyl sous l’Union soviétique. Pensez à l’épidémie de COVID en Chine, qui a vraiment été une crise politique énorme et qui a conduit à l’une des plus grandes manifestations en Chine depuis la place Tiananmen à la fin de l’année.

Je pense donc que l’État chinois a tout intérêt à commencer à réfléchir à la sûreté de l’IA de la même manière que nous le faisons : en s’assurant que ces systèmes sont contrôlés, qu’ils ne sont pas utilisés de manière malveillante et qu’ils sont intrinsèquement conçus de manière sûre. Et je pense qu’il y a des signes qui montrent que nous commençons à voir cela.

Par exemple, si on regarde des normes comme celles publiées par le TC260, qui est l’organisme d’élaboration des normes, elles parlent des risques à long terme de l’IA et appellent les fournisseurs de services d’IA à « accorder une attention particulière » à la capacité de l’IA à tromper les humains, à s’auto-reproduire et à s’auto-transformer, ainsi qu’aux capacités de l’IA dans les domaines cybernétique et CBRN [chimique, biologique, radiologique et nucléaire]. Et cela ressemble beaucoup au genre de système d’IA nuisible que nous voudrions nous assurer que la Chine ne diffuse pas dans les biens communs mondiaux.

Mais ces mesures ne sont pas encore directement applicables. Il me semble que l’application de ces mesures par les autorités chinoises est tout à fait possible — et je pense que c’est un point sur lequel nous pourrions beaucoup travailler dans le cadre des réglementations mondiales afin de les synchroniser.

Luisa Rodriguez: Super cool. OK, il s’agit donc de normes. Il ne s’agit pas encore d’une réglementation, mais vous pensez qu’il existe une sorte de voie pour les rendre au moins juridiquement contraignantes en Chine. Et la dernière chose que vous dites, c’est qu’il est plausible que ce type de normes puisse, en théorie, être intégré dans un cadre de gouvernance internationale ?

Sihao Huang: Oui. Je pense qu’essayer de faire signer à la Chine ces règles de sûreté de l’IA, et essayer d’harmoniser ces réglementations au niveau international, est en fait un aspect particulièrement excitant de la coopération en ce moment. En effet, l’une des particularités des réglementations chinoises en matière d’IA est qu’elles sont très perméables.

Par exemple, un nouvel ensemble de lois sur l’IA est en cours d’élaboration et passera par le Conseil d’État, et des projets de lois sur l’IA sont actuellement diffusés par différents universitaires. Par exemple, un ensemble de projets de lois a été diffusé par une équipe de chercheurs de l’Académie chinoise des sciences sociales, et un autre dirigé par un chercheur, je crois, de l’Université chinoise de sciences politiques et de droit. Bon nombre de ces personnes discutent avec des chercheurs américains et britanniques en IA dans le cadre de la diplomatie parallèle et via des canaux officiels, et lisent également de nombreux travaux issus, par exemple, du décret de la Maison Blanche sur l’IA ou du sommet de Bletchley.

On commence donc à voir ces idées se diffuser dans le système chinois, et être acceptée parce qu’elles sont avancées par des universitaires chinois. Et je pense, comme nous l’avons déjà dit, que cela s’aligne parfois sur les intérêts réels de la Chine. Et je pense que nous sommes dans une période où, parce que beaucoup de ces préoccupations sont relativement nouvelles, le gouvernement chinois n’a pas la capacité inhérente d’examiner les réglementations de l’IA dans leurs moindres détails, et il y a un énorme transfert qui est possible.

Je pense qu’une partie de notre travail consiste maintenant à nous assurer que, premièrement, le gouvernement chinois internalise réellement ces risques qui, je pense, sont bénéfiques pour les deux parties afin qu’il y ait une bonne réglementation ; et deuxièmement, à nous assurer que la façon dont nous concevons ces systèmes réglementaires en matière de processus et d’objectifs soit interopérable — de sorte que si, à un moment donné, le capital politique ou le besoin de consolider ces choses dans des organismes internationaux est suffisamment important, nous ayons déjà une base très solide sur laquelle nous appuyer pour discuter.

Luisa Rodriguez: C’est vraiment génial. Selon vous, quelles sont les chances que nous surmontions les obstacles qui se dressent devant nous et que nous parvenions à concrétiser certaines de ces réglementations en cours d’élaboration ?

Sihao Huang: Je pense que la loi sur l’IA dont nous avons parlé devrait être adoptée en Chine à un moment ou à un autre, à moins qu’elle ne se montre soudain très frileuse pour s’assurer que cette loi ne comporte pas de parties qui entravent le développement de l’IA. Cela s’est déjà produit avec les décisions de la CAC, mais il semble que le coût pour la Chine ne soit pas très élevé pour l’instant, étant donné qu’elle n’est pas à la pointe.

Et je dirais que, grâce aux nombreux travaux d’engagement international qui ont eu lieu entre différents pays — et aux dialogues entre le Royaume-Uni et la Chine, et les États-Unis et la Chine — j’ai bon espoir qu’il y aura une diffusion de ces idées, et finalement des travaux pour que les normes soient synchronisées et harmonisées entre les organismes.

Luisa Rodriguez: D’une manière générale, il semble que la politique intérieure chinoise en matière d’IA ait de très bons atouts. Selon vous, qu’est-ce qu’elle fait de bien ?

Sihao Huang: Je pense que le principal avantage de la réglementation chinoise en matière d’IA est qu’elle est extrêmement rapide pour produire ces règlements. Comme nous l’avons dit, le délai d’exécution de la CAC n’a été que de quelques mois. Le plus grand inconvénient est que cette réglementation ne permet pas vraiment de rendre des comptes, car elle ne passe pas par un processus législatif démocratique.

Mais je pense qu’il faut reconnaître à la Chine le mérite de s’être montrée très réceptive aux questions de sûreté de l’IA et d’avoir abordé les problèmes qui préoccupent la communauté internationale. On voit beaucoup de scientifiques du ministère de la science et de la technologie et des rôles de conseillers du gouvernement qui ont parlé assez ouvertement du risque de l’IA — par exemple, aux Nations unies ou dans leurs propres documents internes.

Ils ont également établi cette notion de sûreté de l’IA/sécurité de l’IA. Il s’agit là d’un point intéressant : en chinois, le mot qui désigne la sécurité, an quan, est le même que celui qui désigne la sûreté. Ainsi, alors que le gouvernement a été très préoccupé par la sécurité au sens de la sécurité intérieure, de la sécurité politique, le même terme pour la sécurité de l’IA a également été approprié par la communauté de la sûreté de l’IA pour parler de ces préoccupations supplémentaires. Je pense qu’il y a maintenant une forte dynamique nationale pour parler ouvertement de ces questions et éventuellement les incorporer dans les règles futures.

La stratégie sur la gouvernance IA internationale de la Chine [01:49:56]

Luisa Rodriguez: Bon, passons à la stratégie sur la gouvernance internationale de l’IA de la Chine. Pékin propose-t-il un programme pour la gouvernance de l’IA au niveau international ?

Sihao Huang: Je pense qu’une stratégie sur la gouvernance de l’IA est en train d’émerger. Je décomposerais la stratégie sur la gouvernance de l’IA de Pékin au niveau international en deux éléments.

Le premier objectif de la Chine est d’élaborer une position cohérente en matière de politique étrangère en tant que « développeur d’IA responsable ». Il s’agit en grande partie d’une question de signalisation. Par exemple, un grand nombre des anciens engagements internationaux de la Chine en matière d’IA sont sortis entre 2016 et 2021, et ils parlaient de choses comme la surveillance de masse et les droits humains. Un engagement très intéressant était une déclaration de l’UNESCO en 2021 que la Chine a signée, appelant à la fin de la surveillance de masse à l’aide des technologies de l’IA.

Je pense donc qu’un grand nombre de ces positions initiales de politique étrangère sur l’IA reflétaient les tendances mondiales sur la façon dont nous parlions de l’IA. En 2021 et avant, on parlait d’éthique de l’IA et de droits humains. On y discutait de choses comme la confidentialité des données et l’équité algorithmique, comme on pourrait s’y attendre de la part d’un document de politique issu de DeepMind. Et puis en 2022, 2023, la Chine a commencé à parler davantage de sûreté/sécurité de l’IA. Ainsi, dans ses discours à l’ONU, il était question de travailler ensemble pour prévenir les risques, de lutter contre les utilisations malveillantes par les terroristes. Encore une fois, ils ont mentionné au Conseil de sécurité de l’ONU que nous devons nous assurer que la superintelligence ne nous attaque pas, et que nous devons lui donner des raisons de nous protéger.

Il y a aussi cette rhétorique de « l’IA pour tous », selon laquelle les pays en développement méritent le droit de bénéficier de cette technologie. Pour moi, tout cela s’inscrit dans le cadre des efforts déployés par la Chine pour s’assurer que sa politique étrangère en matière d’IA soit en phase avec les développements internationaux et qu’elle montre qu’elle est une puissance responsable dans le domaine de l’IA.

Mais je pense que le deuxième élément est que la Chine a un certain nombre d’intérêts fondamentaux en matière d’IA. Et les intérêts de la Chine en matière d’IA se résument à plusieurs choses.

L’un d’eux est de s’assurer qu’elle a accès aux technologies de l’IA. Par exemple, dans l’Initiative de gouvernance mondiale de l’IA que Pékin a publiée en octobre 2023, quelques semaines avant le Sommet sur la sûreté de l’IA au Royaume-Uni — et cela a été annoncé dans le cadre de la Nouvelle route de la soie, qui est cette grande réunion de plus de 100 pays en développement — la Chine a annoncé que « tous les pays, quels que soient leurs forces, leur taille ou leur système social, devraient avoir des droits égaux pour développer et utiliser l’IA. » Elle a également déclaré à l’ONU qu’un certain pays développé, dans un souci d’hégémonie, cherchait à créer des petits clubs autour de ces technologies émergentes — je pense qu’il s’agit très précisément des États-Unis et de leurs contrôles à l’exportation sur l’IA.

Elle communique donc ce grand récit selon lequel l’accès à l’IA est très important — ce qui est vrai, et je pense que nous devons absolument le reconnaître — et le lie à son conflit avec les États-Unis et la politique étrangère américaine.

Mais la deuxième idée est celle de la souveraineté de l’IA. Le gouvernement veut avoir la capacité de gouverner l’IA selon ses propres termes. Il est question de réglementer l’IA en fonction des caractéristiques sociales d’un pays. Cela signifie essentiellement : « Laissez-nous tranquilles, laissez-nous réglementer l’IA selon les valeurs socialistes et ne nous critiquez pas à ce sujet. Veillez également à ne pas utiliser l’IA pour manipuler notre opinion publique, diffuser des informations erronées ou intervenir dans nos affaires intérieures.

Le troisième volet concerne la sécurité de l’IA. Il est question dans l’initiative de gouvernance de l’IA que nous devrions lutter contre l’utilisation malveillante de l’IA par les terroristes, en veillant à ce que l’IA reste toujours sous contrôle humain, et que nous devons construire des systèmes d’IA dignes de confiance qui peuvent être surveillés et examinés. Ceci, encore une fois, est tout à fait aligné avec les intérêts fondamentaux du Parti communiste. Et je pense que c’est sur ce troisième point que nous pouvons coopérer de façon très efficace.

Coordination [01:53:56]

Luisa Rodriguez: Cool. OK, parlons de la façon dont les décideurs politiques aux États-Unis et au Royaume-Uni devraient penser à la coordination avec la Chine sur la gouvernance internationale de l’IA. Pour commencer, je suis curieuse de savoir quels objectifs les décideurs politiques occidentaux devraient viser lorsqu’ils réfléchissent à la manière de structurer la gouvernance internationale de l’IA aux côtés du gouvernement chinois. Quel serait selon vous un bon objectif à court terme que les décideurs occidentaux devraient avoir à l’esprit en ce qui concerne les capacités et la gouvernance de l’IA de la Chine ?

Sihao Huang: L’un des progrès les plus intéressants réalisés récemment en matière de gouvernance de l’IA a été la création d’instituts de sûreté de l’IA dans différents pays. Le Canada en a un, les États-Unis en ont un, le Royaume-Uni en a un, et le Japon aussi. Et je crois que Singapour est en train de discuter de la mise en place d’un tel institut. Ces instituts de sûreté de l’IA sont des organisations qui coordonnent la sûreté et l’évaluation des modèles dans chaque pays, et financent également potentiellement la recherche sur la sûreté de l’IA à long terme. Mais il serait bon que la Chine dispose d’une organisation similaire et puisse être en contact avec d’autres instituts de sûreté de l’IA pour partager leur expérience afin d’harmoniser les réglementations et, lorsqu’il y a une volonté politique, de pousser vers une gouvernance internationale consolidée ou des règles de base dans le monde international sur la façon dont les systèmes d’IA devraient être construits et déployés.

Je pense donc qu’un objectif à court terme qu’il serait bon de promouvoir lorsque nous discutons avec la Chine est qu’elle crée également une sorte d’autorité de coordination de la sûreté de l’IA. Nous avons évoqué le fait que la Chine dispose déjà d’une grande infrastructure pour la réglementation de l’IA, et cela pourrait prendre la forme d’un organisme établi, disons, sous l’égide du ministère de la technologie de l’information et de l’industrie, ou du ministère de la science et de la technologie, qui centraliserait le travail nécessaire pour élaborer et promouvoir une réglementation de la sûreté de l’IA en plus de ce que la Chine possède actuellement en matière de contrôle de l’information — et qui pourrait ensuite devenir le point de contact lorsque la Chine envoie des délégations aux futurs sommets sur la sûreté de l’IA ou aux Nations unies, de sorte que nous puissions avoir un terrain d’entente sur la manière dont la réglementation de l’IA doit être effectuée.

Luisa Rodriguez: D’accord, parfait. Y en a-t-il d’autres objectifs que vous jugez utiles ?

Sihao Huang: Je pense qu’il serait vraiment bon que les États-Unis et la Chine travaillent ensemble pour que la Chine signe un ensemble élargi des engagements volontaires de la Maison Blanche sur l’IA. Il s’agit de politiques ou d’engagements visant à créer des systèmes d’alerte externes et internes pour évaluer ces modèles IA ; à construire un écosystème d’évaluateurs indépendants dans chaque pays afin de pouvoir vérifier la sûreté des modèles de pointe ; à créer des canaux internes de confiance et de partage des risques de sécurité entre les entreprises et le gouvernement, afin que les gouvernements puissent être mieux informés des dangers potentiels que l’IA de pointe peut poser ; et également à investir dans une recherche élargie en matière de sûreté.

On peut également souhaiter que la Chine adhère par exemple à des politiques d’amplification responsable au sein de chaque entreprise — définissant conjointement des éléments tels que les niveaux de sûreté de l’IA, les mesures de protection qui s’appliquent aux modèles, les conditions dans lesquelles il sera trop dangereux de continuer à déployer des systèmes d’IA jusqu’à ce que les mesures s’améliorent.

Je pense qu’il ne s’agit pas seulement de faire signer à la Chine les engagements américains de la Maison Blanche, mais aussi d’identifier les engagements supplémentaires que les entreprises chinoises ont pris ou que la Chine a demandés à ses développeurs d’IA et qui seraient également bénéfiques pour nous. Et nous structurons cela comme une sorte d’échange diplomatique, où « nous faisons plus de sécurité, vous faites plus de sécurité » — et nous apprenons les uns des autres dans le cadre d’un échange mutuel.

Luisa Rodriguez: D’accord. En ce qui concerne les objectifs à long terme, y a-t-il un objectif à long terme qu’il serait bon de viser ?

Sihao Huang: Je pense que l’objectif à long terme le plus important à garder à l’esprit est le suivant : comment poursuivre le dialogue et instaurer la confiance ? Je dis cela pour deux raisons. D’une part, les relations entre les États-Unis et la Chine sont très volatiles, et nous voulons nous assurer qu’il y ait des contacts solides — en particulier lorsque des problèmes surviennent — que les deux parties puissent travailler ensemble, savoir qui appeler et connaître les personnes qui prennent ces décisions.

La deuxième raison est qu’il est très difficile de prédire le développement technologique et les réponses politiques à apporter aux effets néfastes des nouvelles technologies potentielles. Et nous ne pouvons généralement voir qu’un ou deux ans à l’horizon de ce qui est actuellement mûr. Par exemple, je pense que les évaluations de modèles sont devenues beaucoup plus matures au cours des dernières années et ont été beaucoup poussées sur la scène internationale, mais elles ne suffisent certainement pas pour garantir la sûreté de l’IA. Les risques biologiques et cybernétiques ont également commencé à se matérialiser et sont en quelque sorte formalisés dans des repères sur les défenses. Il existe également une communauté grandissante sur les risques systémiques et la surdépendance qui me paraît très intéressant. Et la gouvernance du calcul apparaît également comme un levier essentiel.

Mais il y aura d’autres questions à l’horizon — des choses comme la gouvernance des agents ou peut-être même les disjoncteurs de l’IAG. À mesure que ces technologies mûrissent et améliorent leurs capacités, le mode de gouvernance à adopter sera beaucoup plus clair. Nous voulons nous assurer qu’il existe des canaux actifs pour parler des risques émergents et de ces nouvelles propositions politiques, ainsi que la capacité institutionnelle de les accueillir et de les mettre en œuvre.

Luisa Rodriguez: D’accord, voilà donc quelques-uns des objectifs que l’Occident et la Chine pourraient avoir à l’esprit à court et à long terme. Quels types de mécanismes de gouvernance internationale sont disponibles pour atteindre ces objectifs ?

Sihao Huang: Je répondrai en deux temps. La première est plus pratique et concerne les institutions existantes, la seconde est plus théorique. Je pense donc qu’il existe actuellement un ensemble très vaste et complexe d’institutions internationales qui se chevauchent pour la gouvernance de l’IA. D’une part, on a des organisations comme les Nations unies et l’UNESCO qui représentent un ensemble beaucoup plus large de pays et incluent la Chine. D’autre part, on a des ensembles d’institutions plus restreints — comme le G7, le Partenariat mondial sur l’IA, le réseau d’instituts de sûreté de l’IA, la coopération entre le Royaume-Uni et les États-Unis, ou les relations bilatérales individuelles sur l’IA.

Et tous ces forums vont être très importants pour faire avancer la gouvernance mondiale de l’IA et les schémas de partage des bénéfices de l’IA, mais ils ont tous leurs propres avantages comparatifs. Je pense qu’il est très important de parler à la Chine des questions de sûreté de l’IA, et il est très important de se coordonner avec elle pour s’assurer que nous ne nous engagions pas dans une course à l’IA, que nous ne soyons pas imprudents sur les questions de sûreté de l’IA, et que nous gérions ensemble les situations d’urgence si elles se présentent.

Mais il est aussi vraiment difficile de parler à la Chine de manière constructive des questions d’éthique de l’IA. C’est là qu’interviennent des forums comme le G7, où nous nous coordonnons très étroitement avec d’autres États partenaires pour veiller à ce que le déploiement de l’IA se fasse dans l’intérêt de la société.

Je pense que la stratégie ultime ici est de veiller à ce que ces ensembles d’institutions qui se chevauchent puissent couvrir tous nos besoins. Si on regarde, par exemple, l’histoire de la coopération climatique, de la non-prolifération nucléaire, etc., nous n’avons jamais abouti à un ensemble unique de léviathans mondiaux capables de tout gouverner simultanément pour résoudre tous les problèmes. Je pense qu’il est plus probable qu’improbable que nous créions une grande soupe institutionnelle qui rivalise et collabore avec les autres de manière très complexe, avec des divisions nationales et infranationales.

Je pense donc que la bonne approche à adopter est la suivante : compte tenu de l’énorme cône d’incertitude entourant la géopolitique future et de la nature imprévisible du développement de l’IA, nous devons réfléchir très attentivement à ce que signifie une gouvernance internationale adaptative.

Je pense qu’il y a là quelques principes que l’on voudra peut-être distiller. Par exemple : on veut vraiment limiter la taille des espaces non gouvernés qui résultent de l’absence de pouvoir d’exécution, par exemple, de la part d’autorités concurrentes.

On veut s’assurer de créer intentionnellement un ensemble d’institutions imbriquées qui tirent parti des avantages comparatifs. Par exemple, en discutant avec un nombre restreint de pays, on peut s’assurer d’être plus réactifs dans la gestion des risques et d’avoir plus confiance dans la mise en place de réglementations plus strictes. Mais il est aussi extrêmement important de discuter avec un large éventail de pays, comme aux Nations unies, pour s’assurer d’être inclusif et de refléter les voix de la majorité mondiale et d’être en mesure de veiller à ce que l’équilibre entre la sûreté de l’IA et le partage des bénéfices de l’IA soit correctement établi. Il y a donc dans ces institutions des arbitrages généraux entre la portée et la profondeur, ou entre la vitesse et l’inclusion, que nous devons exploiter comparativement.

Il est également souhaitable de maximiser les liens entre les institutions, y compris entre les institutions rivales, afin d’encourager la coopération, en particulier en temps de crise. Ce principe se reflète dans ce que nous avons évoqué précédemment, par exemple l’harmonisation des normes. Les normes harmonisées sont un exemple de moyen où il n’existe pas directement de traité mondial de sanctions des Nations unies, ou de sorte d’accord où les deux parties sont tenues d’agir d’une certaine manière, mais puisque que la structure de nos réglementations sur l’intelligence artificielle se ressemble beaucoup, les faire converger requiert un coût d’activation très faible.

Et puis il est aussi souhaitable de nouer des liens informels et non institutionnels très forts, comme la diplomatie parallèle — donc la collaboration entre les entreprises technologiques sur le partage de l’information et des dangers. Et relier tout cela par un ensemble de relations bilatérales et multilatérales, de sorte que même si tous les pays ne peuvent pas travailler ensemble directement, il y a un réseau d’interdépendances bien connecté — de sorte que nous savons tous que si un domino tombe, tout tombe, et les enjeux sont suffisamment élevés pour que nous devions collaborer.

Diplomatie parallèle[02:03:04]

Luisa Rodriguez: Cela me rappelle que vous êtes actuellement impliqué dans la gestion d’une initiative de diplomatie parallèle entre les États-Unis et la Chine au sujet de l’IA. Je suis sûre que vous ne pouvez pas en dire beaucoup, mais je suis curieuse d’en savoir un peu plus — en commençant par ce qu’est la diplomatie parallèle ?

Sihao Huang: La diplomatie parallèle est un terme diplomatique qui désigne les liens ou les réunions entre les représentants non gouvernementaux de deux pays. La diplomatie officielle est celle des échanges officiels de gouvernement à gouvernement ; la voie intermédiaire (track 1.5 en anglais) est celle des échanges où se mêlent des fonctionnaires en poste et des fonctionnaires à la retraite, ou encore des universitaires. La diplomatie parallèle est en fait très diversifiée : il y a un pan qui se concentre sur la collaboration universitaire, un an qui se concentre sur les fonctionnaires à la retraite qui ont encore beaucoup de contexte sur la politique gouvernementale et qui ont des liens directs avec l’administration en place.

**Luisa Rodriguez : **Est-ce qu’ils sont autorisés et facilités par le gouvernement ? Est-ce quelqu’un du gouvernement dit : « J’aimerais commencer à faciliter la diplomatie parallèle entre les personnes non gouvernementales sur une question spécifique », et aide ensuite ces réunions à se tenir ? Ou s’agit-il plutôt d’un travail de terrain ?

Sihao Huang: En règle générale, les initiatives de diplomatie parallèle ne sont pas le fruit d’une implication directe du gouvernement, et je pense qu’il y a quelques exemples à cet égard. Par exemple, la Brookings Institution a organisé une série de dialogues sur l’IA avec la Chine pendant une période assez longue maintenant — quatre ou cinq ans, je pense — et ils se sont réunis à intervalles réguliers, et ont réalisé de très bons progrès sur la définition des systèmes d’IA militaires et une vision commune sur le déploiement de système d’IA à risque.

Il y a aussi le Safe AI Forum, qui a rassemblé de nombreux développeurs d’IA et universitaires de Chine, du Royaume-Uni et des États-Unis pour parler ensemble de la sûreté de l’IA. Et ils ont abouti à la Déclaration de Ditchley l’année dernière, à peu près au moment du Sommet sur la sécurité de l’IA, où il y avait par exemple un engagement, ou au moins une volonté, d’investir un tiers du budget de recherche d’une entreprise dans la sûreté de l’IA.

Ces déclarations ont été très importantes pour montrer aux décideurs politiques d’éventuelles modalités d’accords diplomatiques officiels et pour montrer à la communauté au sens large que la société civile a la volonté de parvenir à ces consensus, et qu’elle peut parfois faire avancer les politiques de manière très mesurable au sens officiel du terme.

Luisa Rodriguez: Très bien. En fait, cela me donne envie de comprendre un peu mieux le mécanisme par lequel ces initiatives finissent par être utiles.

Sihao Huang: Je pense que chaque initiative de diplomatie parallèle a sa propre théorie du changement. Certaines visent simplement à rassembler les communautés universitaires sur la sûreté de l’IA, ce qui est très important. Nous avons parlé de la grande perméabilité des idées en Chine, où de nombreuses lois sur l’IA et leurs projets sont fortement influencés par la pensée occidentale ou par le décret de la Maison Blanche. L’objectif est donc le suivant : comment construire des communautés épistémiques significatives qui diffusent des idées sur la sûreté de l’IA entre différents pays ? Et parce qu’il n’y a pas tellement de capacité à l’heure actuelle au sein du gouvernement chinois pour réfléchir rigoureusement aux questions de sûreté de l’IA, le fait de créer réellement ces communautés de décideurs pourrait avoir un très fort impact sur la coopération à long terme.

Ensuite, on a également des initiatives de diplomatie parallèle qui discutent de questions politiques très spécifiques, comme l’IA militaire, comme potentiellement la biosécurité. Si ces dialogues incluent d’anciens responsables gouvernementaux, il est possible qu’ils s’acheminent vers la diplomatie officielle, par exemple en passant par la voie « 1.5 », et qu’ils soient transformés en politique gouvernementale, de nombreux détails ayant déjà été réglés.

On a également des initiatives qui peuvent impliquer des personnes de très haut niveau dans des entreprises technologiques ou des gouvernements, ou d’anciens fonctionnaires à la retraite, qui peuvent se concentrer sur des questions stratégiques à long terme et s’assurer que les dirigeants des deux parties soient sur la même longueur d’onde par rapport au risque de l’IA à long terme, par rapport à la coopération à court terme sur l’IA, par rapport à des questions allant même jusqu’au déploiement de l’IAG. L’objectif de ces initiatives est peut-être simplement de réunir les mêmes personnes dans une salle, d’établir des normes sur ce qui est acceptable et ce qui ne l’est pas, de déterminer quand la coopération est justifiée et, enfin, de s’assurer que les gens sachent à qui s’adresser en cas de crise.

Luisa Rodriguez: Cool. Pouvez-vous nous parler de l’initiative de diplomatie parallèle à laquelle vous participez ? Quels sont ses objectifs ou comment elle se déroule ? Vous ne pouvez probablement pas nous dire comment elle se déroule.

Sihao Huang: J’espère pouvoir en dire plus dans un futur proche.

Luisa Rodriguez: Cool.

Malentendus des acteurs occidentaux sur les approches chinoises [02:07:34]

Luisa Rodriguez: Pour aller un peu plus loin : les responsables des pays occidentaux ont-ils tendance à se méprendre sur la manière dont le gouvernement chinois aborde ces questions d’IA ?

Sihao Huang: Le plus grand malentendu est qu’il s’agit d’un acteur unitaire — ce qui n’est absolument pas le cas. Je veux dire, même si nous regardons simplement nos propres sociétés, nous constatons un énorme désaccord sur la façon dont l’IA devrait être réglementée — je pense que c’est à juste titre, parce qu’il y a tellement d’incertitude sur la façon dont elle va se développer à l’avenir et sur ses impacts sur les différents groupes. Et si on regarde la Chine, non seulement il y a un désaccord à propos des méfaits et des avantages de l’IA, mais il y a aussi un désaccord au sein d’un grand nombre d’organismes gouvernementaux concurrents qui réglementent la gouvernance de l’IA.

Si on regarde le paysage réglementaire en Chine, vous verrez qu’il y a trois grands organismes qui s’occupent de la réglementation de l’IA. Le premier, comme nous l’avons dit, est la CAC : c’est en quelque sorte le censeur et le régulateur de l’internet, et il dispose d’une très grande boîte à outils pour la réglementation de l’IA.

Il y a le ministère de la Science et de la Technologie : il est en grande partie chargé de la recherche scientifique en général et a publié des principes d’éthique de l’IA qui sont relativement favorables à la sûreté. C’est cette organisation qui a envoyé le vice-ministre de la science et de la technologie, Wu Zhaohui, à Bletchley, au Royaume-Uni, l’année dernière.

Troisièmement, il y a le ministère de l’industrie et des technologies de l’information, qui contraste largement avec le ministère de la science et de la technologie, qui s’occupe de la recherche scientifique ; il s’occupe de la diffusion technologique, donc de la politique industrielle. Il héberge un groupe de réflexion appelé CAICT, qui développe des outils pour certifier l’IA qui est digne de confiance, qui a établi des normes pour l’évaluation de l’IA et qui gère actuellement le fonds national des semi-conducteurs qui fait avancer la politique en matière de semi-conducteurs.

Ces trois organisations ont en quelque sorte des mandats qui se chevauchent en matière de réglementation de l’IA, et elles collaborent parfois entre elles. Ainsi, si on regarde les décisions de la CAC, elles sont signées conjointement avec le ministère de la science et de la technologie, le MIIT, le ministère de l’éducation parfois, et le Bureau de la sécurité publique. Mais il n’y a pas beaucoup de clarté à l’heure actuelle sur lequel de ces organismes prendra vraiment la tête de la sûreté de l’IA ou de la réglementation de l’IA ou du développement de l’IA.

La Commission nationale pour le développement et la réforme (CNDR), un organe extrêmement puissant du Parti communiste chargé du développement économique et de la politique de réforme, est une autre organisation qui est entrée en jeu. Elle a été chargée du développement de l’IA, mais on ne sait pas très bien en quoi son mandat diffère actuellement de celui du ministère de la science et de la technologie.

Quand on parle à beaucoup de gens sur le terrain en Chine, ils disent tous : « Nous sommes les régulateurs de l’IA, nous sommes les leaders de la politique de l’IA ». Mais je ne pense pas que la Chine elle-même, Xi Jinping ou le Politburo aient encore une idée claire de l’endroit où cela va se passer.

Luisa Rodriguez: Mmh, d’accord. Et y a-t-il quelque chose que les décideurs politiques occidentaux feraient différemment s’ils comprenaient mieux cela ? Ou est-ce plutôt que ce n’est pas encore bien compris, à la fois par les Occidentaux et par le gouvernement chinois lui-même, et que nous devons donc attendre et regarder ce qui va se passer ?

Sihao Huang: Je pense que la plus grande implication ici est que les choses sont en fait extrêmement malléables sur le terrain, et que c’est une période critique pour façonner la gouvernance de l’IA en Chine, au niveau national et international.

Matt Sheehan, qui étudie de manière très approfondie la gouvernance de l’IA en Chine, a une bonne analogie à ce sujet. Il dit que si on regarde les écrits de la Chine, ou les écrits du Quotidien du Peuple sur le changement climatique dans les années 1980 et 1990, il y avait beaucoup de rhétorique sur le fait que le changement climatique était un moyen pour les puissances développées occidentales d’empêcher le Sud de s’industrialiser, alors que ce sont elles qui ont rejeté tant de dioxyde de carbone et d’émissions dans l’atmosphère.

Mais au cours des deux dernières décennies, ils ont considérablement changé de discours, passant de l’idée que le dérèglement climatique est un canular à celle que le changement climatique est un problème bien réel, et ce pour plusieurs raisons. Tout d’abord, Pékin a commencé à se couvrir d’un épais smog, et les dirigeants politiques chinois ont commencé à considérer qu’il s’agissait d’un véritable problème. Deuxièmement, ils ont commencé à réaliser que la résolution de la crise climatique pourrait en fait profiter au développement de la Chine, qu’il existe une réelle opportunité de renforcer les capacités en matière de technologies vertes afin d’entamer une transition énergétique, et qu’il s’agit là d’une opportunité importante pour le développement. Enfin, Xi Jinping a probablement commencé à se convaincre qu’il s’agissait d’un réel problème.

Et comme nous parlons d’IA, je ne pense pas que les dirigeants chinois aient une position claire sur l’évolution de l’IA et son importance stratégique pour la Chine, et l’importance du développement de systèmes d’IA sûrs pour la Chine. Je pense qu’il nous serait très utile à long terme de veiller à ce que que nous communiquions de bonne foi les dangers potentiels des systèmes d’IA et les enjeux auxquels nous faisons face.

Luisa Rodriguez: D’accord, dernière question avant de poursuivre : Que pensez-vous des récents signes de coopération entre la Chine et l’Occident en matière d’IA ? Par exemple, le Royaume-Uni, les États-Unis, l’Union européenne et la Chine ont tous signé une déclaration sur le danger catastrophique de l’IA.

Sihao Huang: Je pense que c’est extrêmement utile. Et je ne sous-estimerais certainement pas la difficulté de faire monter sur scène le vice-ministre chinois de la science et de la technologie avec [la secrétaire américaine au commerce] Gina Raimondo pour parler ensemble du risque de l’IA pour l’humanité. Je pense que c’est un progrès très important pour établir un dialogue à long terme, une communication et des réglementations harmonisées sur les systèmes d’IA.

Mais je dirais aussi que nous sommes actuellement dans une sorte de période de lune de miel sur les questions liées à l’IA. Actuellement, on parle beaucoup de la façon dont les systèmes d’IA pourraient être potentiellement nuisibles, mais la façon dont ils sont liés aux intérêts fondamentaux n’est pas très bien internalisée par les différents pays. Il s’agit donc d’un moyen nouveau et passionnant pour la Chine, le Royaume-Uni et les États-Unis de dialoguer ensemble, alors que les dialogues sur d’autres questions telles que le climat ou la sécurité sont peut-être dans l’impasse. Je pense que nous devons absolument tirer parti de cette période de lune de miel pour faire tout ce que nous pouvons, ce qui en fait une fenêtre politique encore plus importante.

Je pense qu’à long terme, la véritable question est la suivante : comment maintenir une dynamique continue, un désir sincère de s’engager, et aussi, comment éviter que le dialogue autour de l’IA ne devienne une fin en soi, au risque de le vider de sa substance ? Je pense donc qu’il est particulièrement important, à ce stade, de poursuivre cette dynamique en trouvant des domaines où l’on peut s’engager dans des discussions substantielles et précises sur des défis clairement définis, capables de résoudre de profondes divergences politiques et de générer des idées concrètes et actionnables. Car continuer cette dynamique nous permet de maintenir ce dialogue, de renforcer la confiance et de collaborer ensemble — surtout pour maintenir ces liens lorsque des préjudices plus graves risquent d’apparaître, et lorsque des idées politiques majeures nécessitant une énorme quantité de capital politique et de coordination pourront réellement voir le jour.

Luisa Rodriguez: D’accord, c’est très intéressant.

La pensée complexe [02:14:40]

Luisa Rodriguez: Je sais que vous vous intéressez à la pensée complexe, qui étudie la façon dont les relations entre les parties donnent lieu aux comportements collectifs d’un système, et comment ce système interagit et forme des relations avec l’environnement. J’ai l’impression que les gens pensent qu’il s’agit d’une façon importante de considérer et de comprendre les systèmes comportant un grand nombre d’éléments interconnectés et interdépendants qui conduisent à une dynamique non linéaire, à des propriétés émergentes et à des résultats imprévisibles.

Comment la pensée complexe peut-elle influencer notre réflexion sur la politique industrielle chinoise en matière de semi-conducteurs ?

Sihao Huang: L’un des aspects de la politique industrielle chinoise en matière de semi-conducteurs dont beaucoup de gens ne se rendent pas compte lorsqu’ils l’examinent de loin, c’est qu’il ne s’agit pas d’un simple ensemble de politiques émanant de Pékin, mais d’un mélange très complexe de politiques et d’incitations, d’institutions informelles et formelles aux niveaux provincial, local, municipal et national.

Le gouvernement de Shanghai, par exemple, dispose de son propre financement pour les semi-conducteurs. Le gouvernement de Guangdong a également son propre financement pour les semi-conducteurs. Et si on lit les politiques des différents gouvernements locaux, on se rend compte qu’elles sont en fait très différenciées. À Wuhan, par exemple, la politique gouvernementale porte spécifiquement sur des éléments tels que les équipements de fabrication de semi-conducteurs pour les fabricants de mémoires. Shanghai aborde la question de la création d’une chaîne d’approvisionnement indépendante pour les nœuds avancés. Guangzhou et Shenzhen parlent de l’emballage avancé et des technologies de chiplet pour la construction de CPU, parce que de nombreux concepteurs de puces sont basés dans cette région. On commence donc à voir une image très complexe de différents acteurs en concurrence les uns avec les autres, apprenant les uns des autres et essayant de construire leurs propres niches locales dans l’écosystème.

J’aime beaucoup le cadre proposé par la politologue Yuen Yuen Ang, qui a écrit un livre intitulé Comment la Chine est sortie du piège de la pauvreté / How China Escaped the Poverty Trap, dans lequel elle ne décrit pas seulement le processus de développement économique de la Chine comme une image statique — je pense que beaucoup de gens essaient de l’expliquer comme un capitalisme autoritaire — où l’État chinois descend en quelque sorte et supprime les droits des travailleurs, et met en œuvre un système capitaliste qui a permis avec la libéralisation à l’industrie chinoise de prendre son essor. Elle brosse un tableau beaucoup plus nuancé : ce qui s’est passé avec la réforme et l’ouverture dans les années 1980 en Chine, c’est que le gouvernement chinois a réussi à créer des structures incitatives pour que les gouvernements locaux s’adaptent et apprennent de leur propre environnement.

Je pense qu’il y a là une analogie intéressante à faire avec l’apprentissage automatique : certains systèmes ne peuvent pas être conçus ; on doit les faire évoluer. Imaginez comment coder un système d’IA capable de reconnaître un chat ou un chien à l’aide d’une série d’énoncés « si » / « alors ». C’est incroyablement difficile. Mais on peut tout à fait créer un système d’apprentissage automatique en spécifiant une sorte de structure et de fonction de perte, l’entraîner sur des données, et lui faire apprendre en fonction des données en quoi un chat et un chien sont différents, même si on ne peut pas l’écrire explicitement.

Je pense qu’il y a une certaine ressemblance avec l’élaboration des politiques. Il est extrêmement difficile pour un dictateur au sommet d’essayer de comprendre toutes les conditions locales et de rédiger la politique parfaite comme s’il s’agissait d’un ensemble d’énoncés de type « si » / « alors ». Ce à quoi un décideur politique devrait penser, c’est : comment créer une structure d’incitation en tant que « fonction de perte » qui mette en mouvement les bons ensembles de processus évolutifs qui améliorent l’efficience économique et les synergies dans l’ensemble de la pile ?

Si on réfléchit au processus de développement économique de la Chine, la question est donc la suivante : comment orienter ces forces de concurrence, d’adaptation, de création de niches et d’élaboration de politiques à grande échelle de manière à permettre aux différentes localités de travailler ensemble et de tirer parti de leurs avantages comparatifs ? Je pense que la bonne façon d’envisager la politique chinoise en matière de semi-conducteurs n’est pas de la considérer comme un ensemble statique de documents publiés par Pékin. Il s’agit en réalité d’un ensemble de directives nationales qui ont finalement donné lieu à de nombreuses mises en œuvre locales très fines.

Il existe également un processus continu d’apprentissage des politiques dans le cadre duquel la Chine modifie ses financements nationaux pour les circuits intégrés. Comme nous l’avons dit, il y a eu trois étapes et une campagne de corruption au milieu. La Chine a considérablement changé son fusil d’épaule en ce qui concerne les domaines dans lesquels elle souhaite investir, et elle a également changé son fusil d’épaule en ce qui concerne la manière dont les différentes localités doivent interagir entre elles et le degré de coordination nécessaire. Je pense que les dirigeants chinois ont déjà esquissé cette perspective par le passé. Deng Xiaoping, qui était le dirigeant de la Chine pendant la réforme et l’ouverture, a qualifié le processus du développement chinois de « traversée de la rivière en tâtant les pierres ».

Si l’on traduit cela en systèmes plus complexes, en langage d’apprentissage automatique : la clé ici est d’avoir des boucles de rétroaction serrées. Il faut avoir des pierres auxquelles s’accrocher quand on s’aventure dans la rivière. Et parce que le processus de développement des semi-conducteurs ou de l’IA est si complexe, qu’il ne s’agit pas seulement de construire une technologie unique — il s’agit en fait de moderniser l’ensemble de l’industrie chinoise pour qu’elle devienne celle d’un pays développé -, nous devrions l’examiner sous l’angle du développement économique.

Existe-t-il des boucles de rétroaction adéquates et fonctionnelles permettant aux décideurs politiques de recevoir des signaux de la base et des personnes qui les entourent, et d’être en mesure de corriger le cap et d’avoir la capacité politique de le faire ? Si ces ingrédients sont présents, même si la Chine commet des erreurs dans sa politique industrielle, elle pourrait potentiellement améliorer ses processus et les rendre plus efficaces. Car je pense qu’aucune politique n’est parfaite dès le départ.

Luisa Rodriguez: C’était vraiment fascinant.

Le hobby bactérien de Sihao [02:20:34]

Luisa Rodriguez: Il nous reste assez de temps pour une dernière question. Votre site indique que vous aimez faire de la pâtisserie, prendre des photos, lire de la philosophie et conserver des bocaux inoffensifs de bactéries animales. Pourquoi aimez-vous les bactéries animales ?

Sihao Huang: J’ai eu une phase où je m’intéressais beaucoup à l’ordinateur biologique. Je pense qu’au fond, j’ai toujours été très intéressé par le potentiel de l’IA pour l’humanité, et par les avantages qu’elle peut apporter en ouvrant une période de développement économique et de progrès considérables, en réduisant la pauvreté et en améliorant la vie des gens.

À l’université, je m’intéressais aux bactéries de compagnie et je voulais créer des réseaux neuronaux biologiques. Et j’étais vraiment intéressé par l’avancement de l’IA et du calcul jusqu’à ce que je commence à réaliser que nous devrions peut-être réfléchir plus attentivement au déploiement et au développement de ces systèmes. Et que le plus fort impact possible n’est pas nécessairement d’accélérer le développement de l’IA, mais de s’assurer que le développement se passe bien — de manière bénéfique, dans un sens différentiel.

Luisa Rodriguez: OK. D’accord.

Sihao Huang: Et je pense que l’autre aspect des bactéries de compagnie est que je suis un ingénieur dans l’âme, et j’aime pouvoir toucher les choses et construire les objets que j’étudie. À l’époque, j’étais donc très intéressé par la biologie synthétique et son potentiel pour le calcul. J’ai donc commencé à faire de l’édition génomique dans ma chambre et à essayer de cultiver des bactéries de compagnie. J’ai fini par fabriquer des décorations de Noël remplies de bactéries lumineuses.

Luisa Rodriguez: Impossible !

Sihao Huang: Quand on les éclaire à la lumière noire, elles sont fluorescentes.

Luisa Rodriguez: Wow.

Sihao Huang: J’ai encore beaucoup de ces habitudes aujourd’hui. Je travaille beaucoup sur la politique des puces et des semi-conducteurs. En fait, je suis assis juste à côté d’un microscope métallurgique que j’ai acheté sur eBay. Je fais moi-même de la rétro-ingénierie sur les puces, pas nécessairement pour le travail, mais il m’est beaucoup plus facile de réfléchir aux politiques lorsque je peux tenir quelque chose dans mes mains et comprendre l’ensemble de la pile.

Luisa Rodriguez: C’est vraiment cool. Mon invité d’aujourd’hui était Sihao Huang. Merci beaucoup d’être venu.

Sihao Huang: Merci.

Outro de Luisa [02:22:47]

Luisa Rodriguez: Le podcast de 80 000 Hours est produit et édité par Keiran Harris.

L’ingénierie audio est assurée par Ben Cordell, Milo McGuire, Simon Monsour et Dominic Armstrong.

Des transcriptions complètes et une vaste collection de liens pour en savoir plus sont disponibles sur notre site, et mis en place comme toujours par Katy Moore.

Merci de votre participation et à bientôt.

Afficher la transcription complète

En savoir plus

China-related AI safety and governance paths.

Improving China-Western coordination on global catastrophic risks - Career review.

Prévenir une catastrophe liée à l’intelligence artificielle.

Le podcast de 80 000 Hours sur l’intelligence artificielle et les sujets connexes

Publication originale : Luisa Rodriguez (2024) Sihao Huang on the risk that US–China AI competition leads to war, 80,000 Hours, 18 juillet.