Risque associé à l’état
Un risque associé à l’état (en anglais, state risk) est un risque associé au fait de se trouver dans un état particulier, tandis qu’un risque d’étape (également appelé risque de transition) (en anglais, step risk) est un risque qui advient au moment de la transition vers un nouvel état. Nick Bostrom semble être à l’origine de cette distinction dans son livre Superintelligence, bien que certaines mentions de ces idées soient antérieures à la publication du livre1.
Le risque cumulatif associé à un certain état croît en fonction du temps passé dans cet état. Les risques existentiels naturels sont généralement des risques associés à l’état. Par exemple, en l’absence d’efforts de déviation, le risque qu’un astéroïde d’une certaine taille entre en collision avec la Terre d’ici 2030 est plus élevé que le risque qu’il le fasse d’ici 2029. Plus l’humanité s’expose longtemps à un risque associé à l’état, plus sa probabilité de succomber à la catastrophe associée est élevée. C’est pourquoi il existe des raisons pro tanto de réduire les risques associés à l’état aussi rapidement que possible.
Il en va différemment des risques associés à une transition. Dans ce cas, la menace n’apparaît que lorsque la transition vers le nouvel état commence, et le risque associé à cette transition n’est généralement pas fonction de sa durée totale. Ainsi, dans le cas des risques associés à une étape, il n’y a pas de raisons à priori de reporter ou de prolonger la transition, et pas non plus de raisons à priori de faire le contraire ; ce qui est approprié varie en fonction des caractéristiques propres à chaque risque. Certains risques existentiels anthropiques peuvent être plausiblement considérés comme des risques associés à une transition, le risque de l’IA en étant peut-être l’exemple le plus clair.
Étant donné que les risques d’état sont corrélés aux risques existentiels naturels et les risques d’étape aux risques existentiels anthropiques, la part beaucoup plus importante de ces derniers dans le risque existentiel total suggère que la plupart de ces risques sont liés à la transition vers de nouveaux états, plutôt qu’au maintien dans un état donné2. Cette constatation a des implications importantes pour la gestion stratégique des risques existentiels.
Nick Bostrom (2017) Superintelligence, Malakoff: Dunod, chap. 14.
Toby Ord (2020) The Precipice: Existential Risk and the Future of Humanity, London: Bloomsbury Publishing, chap. 7.
Anders Sandberg (2017) Survivorship curves and existential risk, Andart II, 8 février.