Risque existentiel total
Le risque existentiel total est le risque cumulé d’une catastrophe existentielle.
Le concept de risque existentiel total permet de comparer différents risques spécifiques en termes de contribution au risque global de catastrophe. Cette comparaison est possible parce que les risques existentiels particuliers sont supposés ne différer que par leur probabilité et non par leur gravité. Cette hypothèse est généralement justifiée car les histoires du monde impliquant des catastrophes existentielles tendent à différer en valeur de manière mineure, par rapport à la manière dont chacune diffère des histoires du monde où le potentiel humain est pleinement réalisé. Un effondrement de la civilisation permanent, par exemple, peut être un peu meilleur ou un peu pire qu’une extinction humaine ; mais les deux sont incalculablement pires qu’un monde dans lequel l’humanité a atteint son plein potentiel1.
L’hypothèse peut cependant ne pas tenir dans des cas particuliers. Tout d’abord, une catastrophe existentielle infernale ne détruit pas seulement une valeur potentielle ; elle crée également une valeur négative à une échelle astronomique. Si la catastrophe est aussi négative qu’elle peut l’être, elle sera bien pire qu’une catastrophe existentielle non-infernale.
Deuxièmement, comme le fait remarquer Ord, certains risques sont plus susceptibles de se produire dans des mondes à fort potentiel de valeur positive. Une technologie qui contribue à un tel risque serait pénalisée si elle était évaluée en fonction du risque existentiel total. Un exemple évident est l’intelligence artificielle, qui augmente le risque existentiel lié à l’alignement de l’IA mais peut aussi rapprocher l’humanité de la réalisation de son potentiel2.
Toby Ord (2020) The Precipice: Existential Risk and the Future of Humanity, London: Bloomsbury Publishing, chap. 6.