La superprévision en bref

Disons que vous souhaitez connaître la probabilité de succès d’un nouveau produit innovant, ou la probabilité que la Chine envahisse Taïwan au cours de la prochaine décennie, ou encore la probabilité qu’une pandémie mondiale balaie le monde – en gros, toute question pour laquelle vous ne pouvez pas vous contenter d’utiliser l’« analyse prédictive », parce que vous ne disposez pas d’un gigantesque ensemble de données que vous pouvez intégrer à des modèles statistiques comme (disons) Amazon peut le faire pour prédire la date de livraison de votre colis.

Est-il possible de produire des prévisions fiables et précises pour de telles questions ?

Aussi étonnant que cela puisse paraître, la réponse semble être « oui, si l’on s’y prend bien ».

Les marchés de prédiction sont une méthode prometteuse pour y parvenir, mais ils sont pour la plupart illégaux aux États-Unis et divers problèmes de mise en œuvre nuisent à leur précision pour l’instant. Heureusement, il existe aussi la méthode des « superprévisions », qui est totalement légale et très efficace.

Comment fonctionne-t-elle ? L’idée de base est très simple. Les étapes sont les suivantes :

Tout d’abord, il faut se donner la peine de mesurer la précision des prévisions. Certains secteurs se soucient beaucoup de la précision de leurs prévisions et la mesurent donc, par exemple les fonds spéculatifs. Mais la plupart des secteurs où les prévisions sont nombreuses ne se donnent même pas la peine de mesurer leur précision⁠a, comme la communauté du renseignement américain ou la philanthropie⁠b.
Deuxièmement, identifiez les personnes qui sont constamment plus précises que les autres – par exemple, celles qui se situent dans les 0,1 % les plus précis, plusieurs années de suite (sans régression à la moyenne). Ce sont vos « super-prévisionnistes ».

Il y a quelques années, la communauté du renseignement des États-Unis a testé cette méthode dans le cadre d’un tournoi de prévision massif et rigoureux qui comprenait plusieurs essais contrôlés randomisés et a produit plus d’un million de prévisions sur plus de 500 questions géopolitiques telles que « Y aura-t-il un incident violent dans la mer de Chine méridionale en 2013 qui tuera au moins une personne ? » Cette étude a révélé que :

Cette méthode a produit des prévisions très bien calibrées, en ce sens que les prévisions faites avec 20 % de confiance se sont vérifiées dans 20 % des cas, les prévisions faites avec 80 % de confiance se sont vérifiées dans 80 % des cas, et ainsi de suite. La méthode n’est pas une boule de cristal ; elle ne peut pas vous dire avec certitude si la Chine envahira Taïwan au cours de la prochaine décennie, mais si elle vous dit qu’il y a 10 % de chances, vous pouvez être assez confiant que les chances sont vraiment proches de 10 %, et décider de la politique appropriée compte tenu de ce niveau de risque⁠d.
Cette méthode a produit des prévisions beaucoup plus précises que celles d’un prévisionniste typique ou d’autres approches essayées⁠e.

On pourrait donc penser que la communauté du renseignement américaine a adopté avec enthousiasme la méthode des superprévisions, d’autant plus que l’étude a été financée par la communauté du renseignement, spécifiquement dans le but de découvrir des moyens d’améliorer la précision des estimations du renseignement américain utilisées par les décideurs politiques pour prendre des décisions difficiles. Malheureusement, d’après mon expérience, très peu de personnes dans les milieux du renseignement et de la sécurité nationale aux États-Unis ont entendu parler de ces résultats, ou même du terme « superprévision »⁠g.

Une grande organisation telle que la CIA ou le ministère de la Défense dispose de suffisamment de personnel et établit suffisamment de prévisions pour pouvoir mettre en œuvre elle-même toutes les étapes de la méthode de superprévision, si elle le souhaitait. Les organisations plus petites, heureusement, peuvent simplement engager des super-prévisionnistes déjà vérifiés pour faire des prévisions bien calibrées sur les questions les plus importantes pour leur prise de décision. En particulier :

Les super-prévisionnistes qui ont devancé les analystes de la communauté du renseignement lors du tournoi de prévision décrit ci-dessus peuvent être engagés par Good Judgment Inc.
Une autre société, Hypermind, propose des prévisions agrégées de « champions de la prévision », c’est-à-dire les prévisionnistes les plus précis sur des milliers de questions prévisionnelles pour des entreprises clientes remontant (dans certains cas) à près de vingt ans⁠h.
Plusieurs autres projets, comme Metaculus, commencent également à identifier les prévisionnistes dont la précision est exceptionnellement élevée sur des centaines de questions.

Ces entreprises ont chacune leurs forces et leurs faiblesses, et Open Philanthropy a commandé des prévisions à ces trois entreprises au cours des deux dernières années. Si vous travaillez pour une petite organisation qui prend régulièrement des décisions importantes basées sur ce que vous attendez dans le futur, y compris ce que vous attendez si vous prenez une décision plutôt qu’une autre, je vous suggère de les essayer. (Les trois proposent des questions « conditionnelles », par exemple : « Quelle est la probabilité d’un résultat X si je prends la décision A, et quelle est la probabilité de ce même résultat si je prends plutôt la décision B ? »)

Si vous travaillez pour une organisation de très grande taille et/ou qui traite des informations très sensibles, par exemple la CIA, vous devriez envisager de mettre en œuvre l’ensemble du processus de superprévision en interne. (Bien que la conclusion d’un contrat avec une ou plusieurs des organisations susmentionnées puisse être un bon moyen de tester le modèle à peu de frais avant de se lancer à fond dans l’aventure.)

Préférences utilisateur

Préférences utilisateur

La superprévision en bref