La pandémie actuelle a mis en lumière qu’un test de dépistage n’offre pas une certitude absolue. En effet, dans une population où la maladie est encore peu présente, les « faux positifs » (test positif malgré l’absence d’infection) sont nombreux. Il en va de même pour les tests statistiques utilisés par les chercheurs. Si les hypothèses testées sont peu probables, les « faux positifs » sont nombreux.
Prenons en médecine l’exemple du test de détection de cancer du sein. Celui -ci est éclairant pour comprendre les paramètres clés de l’efficacité d’un test donné (probabilité d’être malade si le test est positif).
10000 personnes sont testées pour une maladie. 1% de la population est affectée par cette maladie, c’est-à-dire 100 personnes. La prévalence est faible. Un test est utilisé pour détecter la maladie. Dans 95% des cas (spécificité), le test indiquera si une personne n’a pas cette maladie s’il y a bien absence de maladie. Dans 80% des cas (sensibilité), le test confirmera la maladie s’il y a bien présence de la maladie. Quelle est la probabilité d’un “faux positif ” ?
C’est la fraction des faux positifs dans l’ensemble des tests signalant la présence de la maladie : 495 (faux positifs) / (495 faux positifs+80 vrais positifs) =86%.
Dit autrement, la probabilité d’un vrai positif est seulement de 14%, ce qui rend le test problématique.
Imaginons maintenant que la prévalence de la maladie est de 50%. Dans cette hypothèse, 5000 personnes ont vraiment la maladie. Celle-ci est détectée chez 4000 personnes et faussement détectée chez 250 personnes. La probabilité d’un faux positif est (250) /4250=6% et, par conséquent, la probabilité d’un vrai positif, la valeur positive prédictive, est de 94%. La prévalence de la maladie est donc un facteur clé qui détermine l’efficacité du test.
Les tests statistiques dans les études académiques peuvent être interprétés de la même manière qu’un test de dépistage du cancer du sein, avec pour différence que la spécificité et la sensibilité sont appelées respectivement significativité statistique et puissance statistique. Tout comme dans l’exemple ci-dessus, un résultat dit significatif n’est pas forcément preuve d’un effet réel mais peut tout simplement être un faux positif. Là encore, la prévalence de l’effet attendu, ici la probabilité ex ante que l’hypothèse examinée soit correcte, est primordiale. Contrairement à la prévalence d’une maladie, cette probabilité n’est pas un chiffre connu basé sur une régularité statistique. La crédibilité des résultats d’une étude, aussi spectaculaires soient-ils, dépendent alors de la plausibilité de l’hypothèse testée. En d’autres termes, la réflexion doit primer la statistique.
C’est pourquoi il est nécessaire de développer un cadre théorique cohérent où les effets attendus sont clairement isolés et mis en avant, conduisant à des hypothèses spécifiques testables et falsifiables. Les scientifiques sont parfois ridiculisés pour l’abstraction de leurs modèles, peuplés de « vaches sphériques ». Cependant, l’économiste Dani Rodrik explique qu’il est extrêmement difficile de comprendre le fonctionnement d’un monde complexe sans tenter de le réduire à ses éléments les plus pertinents pour répondre à une question précise. Sans cadre conceptuel, toutes les hypothèses sont admises mais, en l’absence de contraintes théoriques, beaucoup d’entre elles seront fausses. Au contraire, une théorie bien réfléchie et solidement ancrée dans plusieurs domaines scientifiques réduit le risque de trouver statistiquement un effet qui n’existe pas. Cela permet d’éviter d’argumenter que les ouragans avec des noms féminins sont plus meurtriers que les ouragans avec des noms masculins !
Plus sérieusement, le développement d’hypothèses mûrement réfléchies est crucial pour ne pas causer une crise de confiance dans la science liée à l’absence de réplicabilité de résultats sensationnels et largement publiés.
Comme l’a souligné brillamment un épisode de la série animée South Park : pas de succès sans bon business plan, pas de recherche statistique crédible sans réflexion bien étayée.
