幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔


幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔

幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔// //

下文节选自《魔鬼数学》, 已获中信授权许可, [遇见数学] 特此表示感谢!

同很多的“二战”故事一样 , 这个故事讲述的也是纳粹将一名犹太人赶出欧洲 , 最后又为这一行为追悔莫及 。 1902 年 , 亚伯拉罕·瓦尔德出生于当时的克劳森堡 , 隶属奥匈帝国 。 瓦尔德十几岁时 , 正赶上第一次世界大战爆发 , 随后 , 他的家乡更名为克鲁日 , 隶属罗马尼亚 。 瓦尔德的祖父是一位拉比 , 父亲是一位面包师 , 信奉犹太教 。 瓦尔德是一位天生的数学家 , 凭借出众的数学天赋 , 他被维也纳大学录取 。 上大学期间 , 他对集合论与度量空间产生了深厚的兴趣即使在理论数学中 , 集合论与度量空间也算得上是极为抽象、晦涩难懂的两门课程 。

但是 , 在瓦尔德于 20 世纪 30 年代中叶完成学业时 , 奥地利的经济正处于一个非常困难的时期 , 因此外国人根本没有机会在维也纳的大学中任教 。 不过 , 奥斯卡·摩根斯特恩(Oskar Morgenstern)给了瓦尔德一份工作 , 帮他摆脱了困境 。 摩根斯特恩后来移民美国 , 并与人合作创立了博弈论 。 1933 年时 , 摩根斯特恩还是奥地利经济研究院的院长 。 他聘请瓦尔德做与数学相关的一些零活儿 , 所付的薪水比较微薄 。 然而 , 这份工作却为瓦尔德带来了转机 , 他进入了考尔斯经济委员会(该经济研究院当时位于科罗拉多州的斯普林斯市) 。 尽管政治气候越发糟糕 , 但是瓦尔德并不愿意彻底放弃理论数学的研究 。 纳粹攻克奥地利 , 让瓦尔德更加坚定了这一决心 。 在科罗拉多就职几个月之后 , 他得到了在哥伦比亚大学担任统计学教授的机会 。 于是 , 他再一次收拾行装 , 搬到了纽约 。

从此以后 , 他被卷入了战争 。


幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔

幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔// //

图自: https://www.slideshare.net/SatelliteCenter/kill-your-presentationnot-your-audience

在第二次世界大战的大部分时间里 , 瓦尔德都在哥伦比亚大学的统计研究小组(SRG)中工作 。 统计研究小组是一个秘密计划的产物 , 它的任务是组织美国的统计学家为“二战”服务 。 这个秘密计划与曼哈顿计划(Manhattan Project)有点儿相似 , 不过所研发的武器不是炸药 , 而是各种方程式 。 事实上 , 统计研究小组的工作地点就在曼哈顿晨边高地西 118 街 401 号 , 距离哥伦比亚大学仅个街区 。 如今 , 这栋建筑是哥伦比亚大学的教工公寓 , 另外还有一些医生在大楼中办公 , 但是在 1943 年 , 它是“二战”时期高速运行的数学中枢神经 。 在哥伦比亚大学应用数学小组的办公室里 , 很多年轻的女士正低着头 , 利用“马前特”桌面计算器计算最有利于战斗机瞄准具锁定敌机的飞行曲线公式 。 在另一间办公室里 , 来自普林斯顿大学的几名研究人员正在研究战略轰炸规程 , 与其一墙之隔的就是哥伦比亚大学统计研究小组的办公室 。

但是 , 在所有小组中 , 统计研究小组的权限最大 , 影响力也最大 。 他们一方面像一个学术部门一样 , 从事高强度的开放式智力活动 , 另一方面他们都清楚自己从事的工作具有极高的风险性 。 统计研究小组组长艾伦·沃利斯(W. Allen Wallis)回忆说:“我们提出建议后 , 其他部门通常就会采取某些行动 。 战斗机飞行员会根据杰克·沃尔福威茨(Jack Wolfowitz)的建议为机枪混装弹药 , 然后投入战斗 。 他们有可能胜利返回 , 也有可能再也回不来 。 海军按照亚伯·基尔希克(Abe Girshick)的抽样检验计划 , 为飞机携带的火箭填装燃料 。 这些火箭爆炸后有可能会摧毁我们的飞机 , 把我们的飞行员杀死 , 也有可能命中敌机 , 干掉敌人 。 ”

数学人才的调用取决于任务的重要程度 。 用沃利斯的话说 , “在组建统计研究小组时 , 不仅考虑了人数 , 还考虑了成员的水平 , 所选调的统计人员都是最杰出的 。 ”在这些成员中 , 有弗雷德里克·莫斯特勒(Frederick Mosteller) , 他后来为哈佛大学组建了统计系;还有伦纳德·萨维奇(Leonard Jimmie Savage) , 他是决策理论的先驱和贝叶斯定理的杰出倡导者 。 麻省理工学院的数学家、控制论的创始人诺伯特·维纳(Norbert Wiener)也经常参加小组活动 。 在这个小组中 , 米尔顿·弗里德曼(Milton Friedman)这位后来的诺贝尔经济学奖得主只能算第四聪明的人 。

小组中天赋最高的当属亚伯拉罕·瓦尔德 。 瓦尔德是艾伦·沃利斯在哥伦比亚大学就读时的老师 , 在小组中是数学权威 。 但是在当时 , 瓦尔德还是一名“敌国侨民” , 因此他被禁止阅读他自己完成的机密报告 。 统计研究小组流传着一个笑话:瓦尔德在用便笺簿写报告时 , 每写一页 , 秘书就会把那页纸从他手上拿走 。 从某些方面看 , 瓦尔德并不适合待在这个小组里 , 他的研究兴趣一直偏重于抽象理论 , 与实际应用相去甚远 。 但是 , 他干劲儿十足 , 渴望在坐标轴上表现自己的聪明才智 。 在你有了一个模糊不清的概念 , 想要把它变成明确无误的数学语言时 , 你肯定希望可以得到瓦尔德的帮助 。


幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔

幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔// //

于是 , 问题来了 。 我们不希望自己的飞机被敌人的战斗机击落 , 因此我们要为飞机披上装甲 。 但是 , 装甲会增加飞机的重量 , 这样 , 飞机的机动性就会减弱 , 还会消耗更多的燃油 。 防御过度并不可取 , 但是防御不足又会带来问题 。 在这两个极端之间 , 有一个最优方案 。 军方把一群数学家聚拢在纽约市的一个公寓中 , 就是想找出这个最优方案 。

军方为统计研究小组提供了一些可能用得上的数据 。 美军飞机在欧洲上空与敌机交火后返回基地时 , 飞机上会留有弹孔 。 但是 , 这些弹孔分布得并不均匀 , 机身上的弹孔比引擎上的多 。


幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔

幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔// //

军官们认为 , 如果把装甲集中装在飞机最需要防护、受攻击概率最高的部位 , 那么即使减少装甲总量 , 对飞机的防护作用也不会减弱 。 因此 , 他们认为这样的做法可以提高防御效率 。 但是 , 这些部位到底需要增加多少装甲呢?他们找到瓦尔德 , 希望得到这个问题的答案 。 但是 , 瓦尔德给出的回答并不是他们预期的答案 。

瓦尔德说 , 需要加装装甲的地方不应该是留有弹孔的部位 , 而应该是没有弹孔的地方 , 也就是飞机的引擎 。

瓦尔德的独到见解可以概括为一个问题:飞机各部位受到损坏的概率应该是均等的 , 但是引擎罩上的弹孔却比其余部位少 , 那些失踪的弹孔在哪儿呢?瓦尔德深信 , 这些弹孔应该都在那些未能返航的飞机上 。 胜利返航的飞机引擎上的弹孔比较少 , 其原因是引擎被击中的飞机未能返航 。 大量飞机在机身被打得千疮百孔的情况下仍能返回基地 , 这个事实充分说明机身可以经受住打击(因此无须加装装甲) 。 如果去医院的病房看看 , 就会发现腿部受创的病人比胸部中弹的病人多 , 其原因不在于胸部中弹的人少 , 而是胸部中弹后难以存活 。

数学上经常假设某些变量的值为 0 , 这个方法可以清楚地解释我们讨论的这个问题 。 在这个问题中 , 相关的变量就是飞机在引擎被击中后不会坠落的概率 。 假设这个概率为零 , 表明只要引擎被击中一次 , 飞机就会坠落 。 那么 , 我们会得到什么样的数据呢?我们会发现 , 在胜利返航的飞机中 , 机翼、机身与机头都留有弹孔 , 但是引擎上却一个弹孔也找不到 。 对于这个现象 , 军方有可能得出两种分析结果:要么德军的子弹打中了飞机的各个部位 , 却没有打到引擎;要么引擎就是飞机的死穴 。 这两种分析都可以解释这些数据 , 而第二种更有道理 。 因此 , 需要加装装甲的是没有弹孔的那些部位 。


幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔

幸存者偏差:数学家亚伯拉罕·瓦尔德与失踪的弹孔// //

美军将瓦尔德的建议迅速付诸实施 , 我无法准确地说出这条建议到底挽救了多少架美军战机 , 但是数据统计小组在军方的继任者们精于数据统计 , 一定很清楚这方面的情况 。 美国国防部一直认为 , 打赢战争不能仅靠更勇敢、更自由和受到上帝更多的青睐 。 如果被击落的飞机比对方少 5% , 消耗的油料低 5% , 步兵的给养多 5% , 而所付出的成本仅为对方的 95% , 往往就会成为胜利方 。 这个理念不是战争题材的电影要表现的主题 , 而是战争的真实写照 , 其中的每一个环节都要用到数学知识

瓦尔德拥有的空战知识、对空战的理解都远不及美军军官 , 但他却能看到军官们无法看到的问题 , 这是为什么呢?根本原因是瓦尔德在数学研究过程中养成的思维习惯 。 从事数学研究的人经常会询问:“你的假设是什么?这些假设合理吗?”这样的问题令人厌烦 , 但有时却富有成效 。 在这个例子中 , 军官们在不经意间做出了一个假设:返航飞机是所有飞机的随机样本 。 如果这个假设真的成立 , 我们仅依据幸存飞机上的弹孔分布情况就可以得出结论 。 但是 , 一旦认识到自己做出了这样的假设 , 我们立刻就会知道这个假设根本不成立 , 因为我们没有理由认为 , 无论飞机的哪个部位被击中 , 幸存的可能性是一样的 。 用数学语言来说 , 飞机幸存的概率与弹孔的位置具有相关性 , 相关性这个术语我们将在第 15 章讨论 。

瓦尔德的另一个长处在于他对抽象问题研究的钟爱 。 曾经在哥伦比亚大学师从瓦尔德的沃尔福威茨说 , 瓦尔德最喜欢钻研的“都是那些极为抽象的问题” , “对于数学他总是津津乐道 , 但却对数学的推广及特殊应用不感兴趣” 。

的确 , 瓦尔德的性格决定了他不大可能关注应用方面的问题 。 在他的眼中 , 飞机与枪炮的具体细节都是花里胡哨的表象 , 不值得过分关注 。 他所关心的是 , 透过这些表象看清搭建这些实体的一个个数学原理与概念 。 这种方法有时会导致我们对问题的重要特征视而不见 , 却有助于我们透过纷繁复杂的表象 , 看到所有问题共有的基本框架 。 因此 , 即使在你几乎一无所知的领域 , 它也会给你带来极有价值的体验 。

对于数学家而言 , 导致弹孔问题的是一种叫作“幸存者偏差”(survivorship bias)的现象 。 这种现象几乎在所有的环境条件下都存在 , 一旦我们像瓦尔德那样熟悉它 , 在我们的眼中它就无所遁形 。

以共同基金为例 。 在判断基金的收益率时 , 我们都会小心谨慎 , 唯恐有一丝一毫的错误 。 年均增长率发生 1%的变化 , 甚至就可以决定该基金到底是有价值的金融资产还是疲软产品 。 晨星公司大盘混合型基金的投资对象是可以大致决定标准普尔 500 指数走势的大公司 , 似乎都是有价值的金融资产 。 这类基金1995~2004 年增长了 178.4% , 年均增长率为 10.8% , 这是一个令人满意的增长速度 。 如果手头有钱 , 投资这类基金的前景似乎不错 , 不是吗?

事实并非如此 。 博学资本管理公司于 2006 年完成的一项研究 , 对上述数字进行了更加冷静、客观的分析 。 我们回过头来 , 看看晨星公司是如何得到这些数字的 。 2004 年 , 他们把所有的基金都归为大盘混合型 , 然后分析过去 10 年间这些基金的增长情况 。

但是 , 当时还不存在的基金并没有被统计进去 。 共同基金不会一直存在 , 有的会蓬勃发展 , 有的则走向消亡 。 总体来说 , 消亡的都是不赚钱的基金 。 因此 , 根据 10 年后仍然存在的共同基金判断 10 年间共同基金的价值 , 这样的做法就如同通过计算成功返航飞机上的弹孔数来判断飞行员躲避攻击操作的有效性 , 都是不合理的 。 如果我们在每架飞机上找到的弹孔数都不超过一个 , 这意味着什么呢这并不表明美军飞行员都是躲避敌军攻击的高手 , 而说明飞机中弹两次就会着火坠落 。

博学资本的研究表明 , 如果在计算收益率时把那些已经消亡的基金包含在内 , 总收益率就会降到 134.5% , 年均收益率就是非常一般的 8.9% 。 《金融评论》(Review of Finance)于 2011 年针对近5 000只基金进行的一项综合性研究表明 , 与将已经消亡的基金包括在内的所有基金相比 , 仍然存在的2 641只基金的收益率要高出 20% 。 幸存者效应的影响力可能令投资者大为吃惊 , 但是亚伯拉罕·瓦尔德对此已经习以为常了 。

    推荐阅读