读《信号与噪音：预测之成败》择要

半译半写。
-------------------------------------------------------------
The Signal and the Noise: Why So Many Predictions Fail-but Some Don't

1. 大数据时代的危机

自出版社诞生以来，信息的爆炸式增长为人类带来了进步与文明，这一点毋庸置疑。但如今信息的增长速度实在太快了，快到人类不知如何处理这海量的信息，不知如何将信息转化为「知识」，这反而为我们的文明带来危机。「大数据」是当今最时髦的词汇之一。据IBM估计，我们现在每天生产2.5×10^18字节的数据。有人把这些信息当作我们治愈人类社会一切疾患的灵丹妙药，甚至不再需要人的参与，不再需要研究理论，也不再需要科学方法。但是，20世纪70年代,电子计算机也曾被赋予同样的期望。40年过去了，计算机制造了繁荣，却远未疗愈社会的疾病。那么在今天的「大数据」时代，基于海量数据的各种对未来的各种预测取得成功了吗？有时对，有时错。事实上，我们越是抗拒人对数据的参与，我们错误的风险就越大。而我们拥有的数据越多，人对数据的参与就越重要。为什么是这样？答案在于，信息固然呈指数式的快速增长，知识的增长速度却要缓慢得多。我们有海量的数据可供利用，有海量的假说亟需检验，却只有有限的真理有待发现。这意味信号被越来越多地掩盖在噪音里，而数据的信噪比越来越差。如果我们不能改善预测的方法，我们的预测只能越来越糟糕。

人自诩万物之灵，如今站在这个星球竞争链条的顶端，自然有一番道理。我们既无爪牙之利，筋骨之强，又不善奔能翔，喷毒匿迹。我们所倚仗的只有智慧。我们思维敏捷，善于从自然界馈回的信息里发现有用的模式，并利用这种发现来预测行动的后果，决定生存的策略。这项石器时代的优势直到今天还在时时处处地服务于我们。毕竟，我们在生理上和石器时代的人们并无多大差异。然而在信息时代，信息已经远远超出了人脑所习惯处理的容量。面对过剩的信息，我们处理信息的本能做法开始显现劣势。世界与「我」之间的联系空前密切，可我们只能接触有限的信息，而无法掌握世界的全貌；我们形成偏见却不自觉，倾向于撷取我们偏爱的信息；总是有更多的证据让我们确信自己的偏见，也总有更多的证据让他人确信他们的偏见，使彼此不可调和；地球成为一个村子，人与人却更加隔膜而不是更加亲密。社会变得过于复杂和多变，我们再也无法有效地预测行为的后果。我们该怎么办？

2. 首先承认人的不完美，然后才能纠正它

08年金融危机实际上来自连续的大范围预测失败。从按揭贷款购房的普通百姓到白宫的政策决策者，从危机开始前到危机袭击后，到处充斥着错误的预测。更重要的是，和地震预报不同，这种预测本来是可以成功的。我们不能预报地震，是因为我们还没有把握到它的规律，甚至可能因为它本来就没有规律。但我们没能预见到金融危机的到来，是因为我们过于自负，忘记了我们的不完美，以及我们的知识的不完美。次贷危机爆发前，信用评级机构将债务抵押债券的安全评级定为AAA级，因为他们预计五年内债务拖欠的风险为0.12%。然而现实是，AAA级的债务抵押债券中有28%都陷入拖欠。信用评级机构过于自信了。债务抵押债券是个全新的金融产品，评级机构实际上没有任何历史数据来进行这些估计，而只能依赖一些统计模型，并且忘记了这些模型很可能是有缺陷的。人们对世界总有一厢情愿的期望。凡是支持自己偏好的数据，哪怕只是蛛丝马迹也能看到；凡是不支持自己偏好的数据，我们会找到相反的蛛丝马迹把它否定掉。凡是不好估量的风险，哪怕这风险足以让我们粉身碎骨，我们也装聋作哑将它忽略；我们热衷于做各种估计和假设，而且喜欢用数学来支持自己，却忘记无论我们的计算精确到小数点后多少位，我们用的可能是错误的公式。世界是客观的，但我们对世界的认识不可避免都留下主观的印迹。一言以蔽之，我们自身是不完美的。

有一个经典的基督教神学问题：「如果上帝是慈爱的，为什么祂容许罪恶和苦难的存在？」牧师和数学家Thomas Bayes认为，我们不应当将人的不完美误认为上帝的不完美，承认人之为人的不完美，是我们通向救赎的必经之路。我们如今被淹没在信息的噪声中寻不到方向，对未来的把握屡屡失误。而解决问题的第一步，就是循着Thomas Bayes的思路，承认人的不完美。Bayes认为，知识的不完善并不等于真理不存在，承认人类知识的缺陷也不妨碍我们作出大胆的预测，预测并接受事实的检验是我们趋近真理的途径。

那么，我们的认识有哪些不完美？

• 我们无视原先的经验，偏爱最新的和反常的信息。这种偏爱使我们可以注意到迫在眉睫的危险，却也让我们变得鼠目寸光，被眼前的利益诱惑而忽视长远的危机。急躁激进的人可能更容易犯这类错误。

• 我们固守原先的执念，抗拒最新的和反常的信息。这种执着使我们更加稳重，却也让我们抱残守缺，错失绝好的时机。稳重保守的人可能更容易犯这类错误。

• 我们将有限的知识当作真理。越是知识丰富相信科学的人，越容易犯这种错误。他们忘记了我们的科学知识只是对真实的有限描述，忽略了现实世界的复杂性。

我们对世界认识的不完美来自我们的主观经验，这是我们无力摆脱的现实。幸运的是，当我们面临关键选择时，我们需要对选择的后果进行预测，而这个后果，也是我们的主观与外在客观世界交互作用的产物。认识的不完美，不妨碍我们的行动。关键在于，如何在行动中冷静地把握主观与客观的平衡，既不让旧经验遮蔽了双眼，又不让新事物蒙蔽了心灵。

3. 贝叶斯定理：主观滤镜下的客观世界

读过点量子力学或者量子力学史话的人，听到「这个世界是概率的」这样的陈述恐怕不会觉得惊奇。概率不仅存在于电子云的分布，还存在于我们日常生活的方方面面。明天会不会下雨，对面的姑娘是不是喜欢你，下个月的考试会不会过，都是个概率问题。下面举个不雅但很现实的例子。假设你是一位妻子，而你出差回来发现卧室抽屉里有一件不属于你的女式内衣，你的直觉告诉你：老公出轨了。但这个结论是武断的。正确的表述是，老公出轨的概率是_%。 怎么来计算这个概率呢？这就需要用到一个简单的数学工具，即贝叶斯定理，正是前面提到的Thomas Bayes的伟大成就。贝叶斯定理有许多种形式，其中最常用也最实用的形式是这样的：

在这个例子里，B 代表「发现可疑内衣」这一事件，A 代表「老公出轨」这一结论。P(A|B) 代表观察到事件 B 的前提下，结论 A 正确的概率，即我们计算的目标。在计算之前，你首先需要考虑，若在这件事发生前问你老公是不是出轨了，你会给出什么概率？这个概率即结论 A 正确的先验概率（prior probability）P(A)。若他全无前科，我们可以合理假定一个统计数字。调查显示，配偶出轨的一般概率为4%，所以 P(A)=0.04。其次考虑，如果他真的出轨，你有多大的概率发现这件内衣。他若是格外谨慎的话，你可能发现不了这条内裤。让我们假设这个概率为50%，即 P(B|A)=0.5。最后考虑，如果他没有出轨，你有多大的概率发现这件内衣。凡事皆有可能。有可能他某次出差回来在机场拿错行李了，也可能某个你和他都非常信任的女性朋友在这里暂住了几天，更或许这是他买来还没来得及送给你的闺房礼物，甚至他可能是个隐藏很深的易装癖性变态……让我们假定这种种奇葩情况的总发生概率为5%，即 P(B|¬A)=0.05。将这些数字代入进去，计算结果P(A|B)=0.29。这个概率显然不足以让你大发雷霆。为什么这个数字比直觉得要低？因为我们假定了一个较低的先验概率0.04。这个数字体现了结婚十年来他的良好表现。这就体现出运用贝叶斯定理的优越性了。它既不忽视历史经验，也不忽视新生事实，它不会为让一个事实否定另一个事实，而只会调整「degree of belief」。更美妙的是，每当有新事实出现，我们可以随时修正这一概率。让我们假设，你原谅了他，但你从此就很警惕。三个月后你偶然发现他的手机账单里有一个频繁出现的陌生号码，你打过去发现是一个好听的年轻女声。让我们再做一次贝叶斯概率的计算。这次先验概率即上次的后验概率，所以 P(A)=0.29。由于你非常警惕，让我们假设他一旦出轨，被你抓到的概率为100%，所以P(B|A)=1。但那个号码可能来自他多年不见的男同学，而不巧他同学的秘书接了你的电话，所以他还是有可能是被冤枉的，让我们假定他被冤枉的概率还是5%，所以 P(B|¬A)=0.05，计算得知P(A|B)=0.89。如果接电话的不仅是个好听的女声，而且亲热地叫「大哥」，那你可以把他被冤枉的概率调低到千分之一，再计算P(A|B)=0.997。你可以考虑请律师离婚了。

运用贝叶斯定理首先会强迫我们给新生事件指定一个先验概率，哪怕这个先验概率的指定是完全主观的，它仍然在一定程度上反映了历史经验的价值。其次它强迫我们为现象寻找其他解释，以免受主观愿望的影响。最后，它要求我们随时更新自己对事物的认识，既检讨自己原先的认识，又思考新现象新事实对原先认识的影响。