- 12 octobre 2016
- petiteglise
- 7304
- 59 Commentaires
Partons à la découverte de la fameuse valeur-p, au coeur de la validité des études scientifiques, en prouvant que le poker online est bel et bien rigged.
Définition de la valeur p
Toute étude débute par la formulation d’une hypothèse. Dans notre cas l’hypothèse est que le poker online est rigged. Le chercheur procède ensuite à des expériences dont les résultats peuvent tendre à confirmer, ou infirmer l’hypothèse. Le problème est que des résultats qui corroborent l’hypothèse ne la garantissent pas forcément, ils peuvent être le fruit du hasard ou d’un autre phénomène.
Imaginons que sur mes 10 premiers coin-flips j’en perde 8. Est-ce que je dois en conclure que le site est truqué, ou juste que je n’ai pas eu de chance ?
Pour cela, on fait appel à la valeur-p, définie comme suit :
Dans une étude statistique, la valeur-p est la probabilité d’obtenir au moins la même valeur si l’hypothèse nulle était vraie.
L’hypothèse nulle est le point de vue par défaut, qui s’oppose à l’hypothèse que l’on veut prouver.
Dans notre cas l’hypothèse nulle est que le poker n’est pas rigged. La valeur-p est ici la probabilité de perdre 8, 9 ou 10 coins flips sur 10, notre site n’est pas rigged. Pour la calculer, il faut procéder à un test binomial (il existe des applets en ligne comme graphpad ) . Ici on trouve p = 0.055 soit 5.5% Autrement dit, si ma plateforme n’est pas rigged et que la probabilité que je gagne un coin flip est bien de ½, il y a 5.5% de chances que j’en gagne que 2 sur 10.
Dans les études scientifiques, par convention, un résultat est considéré comme significatif si la valeur-p est inférieure à 5%. Si la valeur-p est supérieure, on considère que l’on ne peut pas rejeter l’hypothèse nulle et l’étude n’est pas publiable.
Mon 2/10 n’est donc pas significatif. Je dois donc conclure, qu’a priori, je n’ai juste pas eu de chance et que le site n’est pas rigged.
Les limites de la valeur-p
Bien que l’usage de la valeur-p soit généralisé, elle est sujette à de nombreuses critiques. Imaginons qu’au lieu de gagner 2 de mes 10 premiers coins flips, je les ai tous perdus. La probabilité d’obtenir un tel résultat si le poker n’est pas rigged est de 1/2^10 = 1/1024 soit une valeur p de 0.1%. Nettement inférieure au 5%, donc largement de quoi publier une étude.
Mais on comprend que même si 0/10 donne une valeur-p significative, en publiant un tel résultat, on se ferait attaquer sur la taille de l’échantillon.
Imaginons maintenant que sur 1000 flips, j’en gagne seulement 450. La valeur-p serait là aussi de 0.1% Ce coup-ci ça a l’air bon, j’ai un large échantillon (1000 flips) une valeur-p nettement significative (0.1%), on publie ? Une telle étude serait aussi rigoureuse que bien d’autres publiées dans des revues prestigieuses... c’est-à-dire pas beaucoup.
Une faille évidente est que si les sites ne sont pas rigged, 5% des joueurs auront des stats de coin flips avec une valeur p de 5% ou moins. Autrement dit, si le poker n’est pas rigged, 1 joueur sur 20 peut publier une “étude” montrant que le poker est rigged. Le poker pouvant être rigged dans les deux sens (en notre défaveur ou en notre faveur), c’est même 10% des joueurs qui ont des “résultats significatifs”.
Une autre faille est le choix du critère pour conclure que le poker est rigged. On a pris le pourcentage de flips réussis, mais on aurait très bien pu prendre le pourcentage de paires d’as reçues, le pourcentage de mains du top 5, 10, 20, 50%..., le pourcentage de sets touchés au flop quand on a une paire, etc. Si on considère que des critères indépendants, 1 critère sur 20 sera statistiquement significatif.
N’importe qui peut donc "scientifiquement prouver que le poker est rigged" basé sur son historique, vous y compris, en choisissant tel ou tel critère.
En conclusion une seule étude suffit rarement, il faut que les résultats soient reproductibles.
Malheureusement, en sciences il est ingrat de reproduire une étude qui a déjà été réalisée, sans parler de la difficulté d’obtenir des financements. En 2015 un collectif de chercheurs a tenté de reproduire les résultats de 100 études de psychologies publiées dans des revues scientifiques (et donc avec des valeurs-p significatives). Seules 36 d’entre elles étaient reproductibles…
De la valeur-p au théorème de Bayes
La valeur-p répond à la question : quelle est la probabilité d’obtenir nos résultats, sachant que l’hypothèse nulle est vraie. Mais ce qui doit nous intéresser est différent : quelle est la probabilité que l’hypothèse nulle soit vraie, sachant qu’on a obtenu nos résultats.
La formulation “sachant que” vous a peut-être fait penser au théorème de Bayes que nous allons aborder maintenant. L’idée sous jacente à ce théorème a été formulée par Carl Sagan : Des affirmations extraordinaires nécessitent des preuves extraordinaires.
Une valeur-p de 5% a toujours la même force, peu importe l’hypothèse formulée. En réalité il est absurde de traiter toutes les hypothèses de la même manière.
Au poker, si vous perdez vos 4 premiers flips sur une salle en ligne agrémentée par l’Arjel, vous pouvez raisonnablement vous dire que vous n’avez pas eu de chance et continuer à jouer sans risque. En revanche, si vous jouez une partie live dans un bar obscur contre Lederer, Ferguson, Pasqualini et Rossi et que vous perdez vos 4 premiers flips, on peut vous recommander de ne pas recaver…
Il faut tenir compte de la véracité a priori de notre hypothèse. Ainsi si vous pensez qu’il est certain à 99% que le site complote contre vous, ou à l’inverse qu’il est certain à 99.99 % que le site respecte une distribution aléatoire, vous n’allez pas interpréter les résultats de la même manière. J’avais longuement traité du théorème de Bayes dans l’article Prédire l'incertain. Je me contenterais ici de le redonner.
Soit H l’hypothèse et I l’indice (les résultats de l’expérience). p (H/I) = p (H) * p (I/H) / p (I)
Ce qui donne en français : la probabilité d’une hypothèse sachant un indice est égale à la probabilité a priori de l’hypothèse fois la probabilité de l’indice sachant l’hypothèse, divisée par la probabilité a priori de l’indice.
Vous pouvez vous contenter de retenir que si une hypothèse est a priori très improbable (un site agrémenté complote contre vous) et qu'il se passe un indice improbable (vous perdez trop de flips), l'hypothèse sachant l'indice restera improbable. En revanche, si une hypothèse est a priori plausible (Lederer et cie trichent contre vous) et qu'il se passe un indice improbable (vous perdez trop de flips), l'hypothèse sachant l'indice deviendra probable.