当我参与产品开发时,我被那些务实的设计师所激怒,他们只是尝试根据统计研究来做所有事情。
因此,我希望按钮为绿色,只是因为我喜欢这种方式。设计师说-“没关系,AB测试表明腹泻颜色的按钮被点击的频率增加了0.2%”。主啊,哥们,你已经十年来不断提升自己的品味和经验了,那又如何呢?为了使我们的产品看起来像鸟粪?但是企业表示-既然有数字,那么我们将涵盖所有内容。
我了解人们想赚钱。在人群满意度方面,他们不想相信自己的口味。但是现在我知道问题可能不在于数字,而在于那些不知道如何使用统计检验的人。
上周,我们的播客中是物理和数学博士学位,性能分析专家Andrey Akinshin。他告诉我们为什么他也被现代数学统计炸毁。
. — .
, . « ». , , , . – . , , , .
« » — . . , , P-value, . P-value , , . , ( « » ).
- , . — . - . . P-value , . , .
, -, , . , – , : , , , . , ! .
– 0,05. ? , 30- , , – , — . 20 , , , .
0,05. — , . Qwerty, , . Qwerty .
. 80- , , . – . , , - , , – «false positive». . , , – «false negative».
0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .
: «, , , , , . , , 0.2, ». , . , . -, . , ?
, , - .
. , , , , , . . .
, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !».
0.9, , . «» , 20 , P-value , . , .
, . , – -, , . , . - , , , .
— -. — , -.
: ? -, -, P-value . : «, - , , ». , . , – .
– , .
, , , .
, : « ?» ( ), : « !».
– 0 1. . , . , , , , , . . – . : « » « - » — .
. — ? -, , . ; , – P-value – .
, .
, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .
, . , , .
, , . , . . « - , , , , ».
— -, , . , . , — - .
Harlow, Lisa L., Stanley A. Mulaik, and James H. Steiger, eds. What if there were no significance tests? Routledge, 2016.
Cohen, Jacob. "The earth is round (p<. 05)." In What if there were no significance tests?, pp. 69-82. Routledge, 2016.
Amrhein, Valentin, Fränzi Korner-Nievergelt, and Tobias Roth. "The earth is flat (p> 0.05): significance thresholds and the crisis of unreplicable research." PeerJ 5 (2017): e3544.
Wasserstein, Ronald L., Allen L. Schirm, and Nicole A. Lazar. "Moving to a world beyond “p< 0.05”." (2019): 1-19.
Winder, W. C. "What you always wanted to know about testing but were afraid to ask." American dairy review (1973).
Grieve, Andrew P. "How to test hypotheses if you must." Pharmaceutical statistics 14, no. 2 (2015): 139-150.
克拉克奇克(Michał)。“的显着性搜索:在实验心理学文献P值的分布少数的特殊性。” 请问一个10,否。6(2015)。
还有安德烈(Andrey)的另一篇演讲,他在其中更详细地讨论了这个问题: