统计显着性检验是有缺陷的工具

当我参与产品开发时,我被那些务实的设计师所激怒,他们只是尝试根据统计研究来做所有事情。 

因此,我希望按钮为绿色,只是因为我喜欢这种方式。设计师说-“没关系,AB测试表明腹泻颜色的按钮被点击的频率增加了0.2%”。主啊,哥们,你已经十年来不断提升自己的品味和经验了,那又如何呢?为了使我们的产品看起来像鸟粪?但是企业表示-既然有数字,那么我们将涵盖所有内容。

我了解人们想赚钱。在人群满意度方面,他们不想相信自己的口味。但是现在我知道问题可能不在于数字,而在于那些不知道如何使用统计检验的人。

上周,我们的播客中是物理和数学博士学位,性能分析专家Andrey Akinshin。他告诉我们为什么他也被现代数学统计炸毁。

. — .


, . « ». , , , . – . , , , . 

« » — . . , , P-value, . P-value , , . , ( « » ).

  - , . — . - . . P-value , . , . 

, -, , . , – , : , , , . , ! . 

– 0,05. ? , 30- , , – , — . 20 , , , .

0,05. — , . Qwerty, , . Qwerty .

. 80- , , . – . , , - , , – «false positive». . , , – «false negative». 

0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .

: «, , , , , . , , 0.2, ». , . , . -, . , ? 

, , - . 

. , , , , , . . . 

, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !». 

0.9, , . «» , 20 , P-value , . , . 

, . , – -, , . , . - , , , .

— -. — , -. 

: ? -, -, P-value . : «, - , , ». , . , – . 

– , .  

, , , . 

, : « ?» ( ), : « !».

– 0 1. . , . , , , , , . . – . : « » « - » — . 

. — ? -, , . ; , – P-value – . 

, . 

, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .

, . , , . 

, , . , . . « - , , , , ».


— -, , . , . , — - .

还有安德烈(Andrey)的另一篇演讲,他在其中更详细地讨论了这个问题:




All Articles