Incertitude des modèles
L’incertitude des modèles est l’incertitude concernant un modèle lui-même, incluant les estimations relatives aux incertitudes internes du modèle.
Un modèle efficace est suffisamment simple pour pouvoir être facilement analysé, tout en étant suffisamment proche de la réalité pour que cette analyse puisse servir à effectuer des prévisions sur le monde réel. Malheureusement, il peut être difficile de juger le degré de similitude d’un modèle donné. En outre, même si certaines prédictions basées sur un modèle se réalisent, cela ne signifie pas nécessairement que la prochaine prédiction établie sur la base du modèle se réalisera également.
La crise financière de 2007 est une illustration classique de l’importance d’utiliser des modèles appropriés, ainsi que de la difficulté de remarquer quand un modèle est inapproprié. Dans les années qui ont précédé la crise, de nombreux acteurs financiers ont pris des décisions d’investissement sur la base de modèles qui postulaient la stabilité économique. Cependant, une fois que cette hypothèse simplificatrice a cessé d’être valable, il est devenu évident que leurs modèles ne correspondaient pas suffisamment à la réalité et que le résultat de leurs décisions serait désastreux.
L’une des stratégies permettant de répondre à l’incertitude quant à la justesse des modèles consiste à élaborer et à évaluer les prévisions issues de plusieurs modèles différents, plutôt que de s’appuyer sur un seul d’entre eux. Toutefois, en cas d’incertitude radicale, cette méthode peut ne pas suffire. Nous pourrions penser qu’il y a une chance qu’aucun des modèles que nous avons générés ne soit approprié, et que nous devons tenir compte de ce qui pourrait se passer si tel était le cas. Il est évidemment très difficile de se prononcer sur un cas aussi incertain, mais il est possible de faire certaines remarques. Par exemple, dans leur article intitulé « Probing the Improbable » (« Sonder l’improbable »), Toby Ord, Rafaela Hillerbrand et Anders Sandberg affirment que dans les cas où nos modèles concernant certains événements à faible probabilité et à haut risque — tels que les risques existentiels — sont erronés, le risque de catastrophe peut être considérablement plus élevé que si les modèles sont corrects.
Lorsqu’on utilise un modèle pour faire des estimations, on est souvent incertain des valeurs que devraient avoir les paramètres numériques du modèle.
Par exemple, si nous décidons d’utiliser le cadre AAN à trois facteurs pour la sélection de domaines d’action de 80 000 Hours, il se peut que nous ne soyons pas sûrs de la valeur à attribuer au potentiel d’amélioration, ou si nous essayons d’estimer la valeur d’un don soutenant la distribution de moustiquaires, nous pouvons ne pas être sûrs du nombre de cas de paludisme évités par moustiquaire distribuée.
Il est important de faire apparaître clairement cette incertitude, à la fois pour que notre point de vue puisse être plus facilement contesté et amélioré par d’autres et pour que nous puissions tirer des conclusions plus nuancées des modèles que nous utilisons.
En introduisant des distributions de probabilité ou des fenêtres de confiance, plutôt que des estimations individuelles, pour les valeurs des paramètres d’un modèle donné, nous pouvons obtenir une sortie qui tient compte de l’incertitude du modèle. Il est toutefois important de faire preuve de prudence lors de ces calculs, car de petites erreurs mathématiques ou conceptuelles peuvent facilement conduire à des résultats incorrects. Des outils comme Guesstimate et Squiggle peuvent permettre d’éviter ce genre d’erreurs1.
Il a également été avancé, par exemple par Holden Karnofsky, que dans les cas où l’incertitude est élevée, les estimations qui attribuent à une intervention une valeur espérée très élevée sont susceptibles de refléter un biais invisible dans le calcul, et doivent donc être traitées avec scepticisme.
Roman Frigg & Stephan Hartmann (2006) Models in science, Stanford Encyclopedia of Philosophy, 27 février (dernière mise à jour : 4 février 2020).
Holden Karnofsky (2011) Why we can’t take expected value estimates literally (even when they’re unbiased), The GiveWell Blog, 18 août.
Approche de l’évaluation des interventions incertaines.
Holden Karnofsky (2014) Sequence thinking vs. cluster thinking, The GiveWell Blog, 10 juin (dernière mise à jour : 25 juillet 2016).
Toby Ord, Rafaela Hillerbrand & Anders Sandberg (2010) Probing the improbable: methodological challenges for risks with low probabilities and high stakes, Journal of Risk Research, vol. 13, p. 191–205.
Guesstimate. Un outil pour effectuer des calculs en situation d’incertitude.
Squiggle. Un langage d’estimation.