小数定律让小样本显得比实际可靠
样本很小时,偶然波动会显得特别大。人却容易把三次成功看成能力,把连续几次失败看成趋势,仿佛一个小样本也应该整齐地复制总体规律。
The law of small numbers is a manifestation of a general bias that favors certainty over doubt.
——Daniel Kahneman,Thinking, Fast and Slow
小样本的麻烦不只在数据少,也在它特别容易长出因果故事。新老板上任后连续做成三个项目,于是大家开始谈论他的管理天赋;基金经理赢了几年,就被当作掌握了别人不知道的规律。故事的力量 会把其中的运气擦掉,Hindsight Bias 后见之明 再把结果剪成早有预兆。
它和 火鸡问题 都反对从有限经验过度外推,但两者并不相同。小数定律讨论抽样波动和随机聚集;火鸡问题还多了一层隐藏的规则变化:过去的数据来自一套会在关键时刻翻面的关系。两条路最后都通向 Fooled by Randomness。
值得保留一个研究史上的脚注:书中把篮球“热手”写成纯粹幻觉,Miller 和 Sanjurjo 后来指出经典统计方法存在偏差,所以这部分不宜继续当作已经结束的结论。小样本容易骗人,这个模型仍成立;某一种连胜是否完全随机,需要另行判断。
Links to this note
- Hindsight Bias 后见之明
结果不好,不表示当时的决定一定愚蠢;结果很好,也不表示过程合理。小数定律让小样本显得比实际可靠 和 极端表现之后,常常只是回归均值 还会继续制造材料,让事后的故事看起来比数据本身整齐。
- Thinking, Fast and Slow
快与慢的分工,从 System 1 与 System 2 是一种分工 开始。System 1 用 Heuristics 启发式判断 节省力气,也会 把难问题换成容易的问题;它依靠眼前材料维持连贯,参见 眼前所有,便是全部 WYSIATI。 统计直觉经常败给故事。小数定律让小样本显得比实际可靠,极端结果之后又常被 回归均…
- 思维模型
判断得太快时,先看 System 1 与 System 2 是一种分工;再参见 Cognitive Miser 认知吝啬者、Heuristics 启发式判断、大脑会用容易的问题代替困难的问题、Schema 图式、Priming 启动效应 和 认知流畅性让熟悉显得真实。 证据越看越像在支持自己时,参见 眼前所有,便是全部…