【情报培训】一个情报分析师对于预测分析的思考

情报分析人士的日子不好过。他们的困境超越了“只对情报失误负责”这一古老格言，而使用他们的情报分析的政策制定者却因他们所谓的单方面政策成功而受到赞扬。这当然会激怒一些情报分析，但真正危及情报分析师的是更深层次的东西，以及情报分析师面临的关键挑战是，他们能够生产的东西和他们的消费者认为他们能够生产的东西往往是两码事。从某种意义上说，借用前中央情报局情报副局长道格拉斯·麦克伊钦(Douglas MacEachin)经常重复的比喻：情报分析师最擅长提供对手团队的侦察报告，而政策制定者则希望听到比赛的结果。

那么，情报消费者想从情报分析师那里得到什么呢?当被直接问到这个问题时，他们往往会给出无数的回答，从“只是事实”到类似于千里眼的理解。众所周知，不同的政策制定者根据他们所涉及的问题和个人背景会有不同的要求，但任何优秀的分析师都会承认，政策制定者的一大堆任务都围绕着一个简单的主题:告诉我将会发生什么。在某种程度上，现代情报消费者的主要欲望并没有远远超过惠灵顿公爵所说的：“所有的战争事务，实际上所有的生活事务……”就是……猜猜山的另一边有什么。”

无人机在很大程度上解决了作战人员的这个问题，但分析人士在这里遇到的问题是，人类很难越过这座象征性的小山看到未来。当人类确实努力盯着这些土堆和岩石进行预测时，平均而言，他们并不比运气或简单的精算模型好多少。

这并不意味着大多数情报机构的估计都是错误的。相反，当我们使用可靠的分析技术和推理从现在推断出对未来的线性预测时，我们做得很好。此外，最近的研究表明，个人和团队可以做一些事情，对未来事件提供更好的判断。然而，当预测打破常规，一个全新的发展，或在更长的时间框架内的变化过程时，即使是最经验丰富的分析师也会退回到原地。

那么，这是否意味着情报分析师应该拿着他们的水晶球回家呢?相反，这种对错误和局限性的认识应该鼓励情报分析人员积极主动地制定他们处理工作的方式。分析人士还可以通过做一件简单的事情来弥合决策者的期望和他们的实际能力之间的差距:坦白。情报分析师需要让政策制定者明白，他们在预测领域所能提供的信息是有限的，并采取一种更温和的分析精神。

尽管分析师希望通过深度的专业知识或整理高度机密的报告，让客户惊叹，但他们应该关注任何与新客户接触的主要目标:传授情报分析可以使客户的工作更轻松的各种方法。是的，这有时会包括对未来的概率思考，但它也会包括那些还不够的东西——这些东西仍然有助于减少意外，告知不确定性，并有助于决策过程。情报分析员应该很好地培训他们的客户，让他们知道他们的分析方法和视角如何能最好地回答与几乎任何政策问题相关的一些基本问题。正如前中央情报局分析员和高级经理丹尼斯·怀尔德所说:“一个受过培训的消费者是我们最好的客户。”

分析师的工作不会就此结束，因为尽管预测存在困难，但仍有改进的空间。情报机构必须改变他们最重视的分析类型，并在吸取经验教训的基础上改革他们的文化，以便更好地进行预测。他们还需要通过改善招聘和培训，以及致力于利用技术进步帮助分析师和政策制定者应对未来不确定、偶发和完全不可预测的世界，从而为下一代分析师做好准备。

为什么预测会出错

对情报失败的事后剖析中，塞满了情报界（IC）如何做出错误估计的解释，要么是由于未能预测(9/11事件)，要么是由于未能理解(伊拉克大规模杀伤性武器)。这些情报评估列出了一系列导致这些失败的问题，包括认知偏见、错误的心态、群体思维、信息收集和过时的分析框架。然而，在这些“做得更好”的委员会的重点调查结果中发现了一个巨大的欺骗，那就是只要多一点信息、协调、连接正确的点、断开非重要的点，等等，情报界（IC）就会把它做对。在某些情况下，这些缺陷是致命的，但所有情报预测都有局限性，没有蓝带小组（一群经特别甄选的人）能够通过新标准或改进的监管来克服这些局限性。

关于人类预测未来能力的最佳研究表明，大多数人——甚至是专家——都严重缺乏这种能力。著名的沃顿商学院教授芭芭拉·梅勒斯和菲利普·泰特洛克已经表明，人类的预测往往过于自信，使用错误的心理模型，在不知情的情况下依赖少量的数据或假设，不充分地测试假设，甚至在面对新信息时也很少更新或调整。丹尼尔·卡尼曼说:“我们通常对自己的失明视而不见。我们通常对自己的观点、印象和判断过于自信。我们夸大了世界的可知性。”这些核心问题并非我们判断失误的原因，而是以下不可逾越的预测局限性的产物:

趋势线和不连续点

情报预测是基于对过去行为和事件的合理理解，对未来行为或事件的不可避免的估计。例如，法兰迪亚（Farlandia）很可能会用恐怖袭击来应对空袭，因为这是我们以前见过的情况，这符合我们对他们领导的风险承受能力的理解。分析师非常擅长外推或做出这种类型的线性或进化预测，而这些概率预测通常最终都是正确的。

正确预测的频率经常会产生一种错误的自信，认为事情会像以前一样混在一起，这导致估计错过了改变航向的不连续点或变化。正如一位情报从业者所指出的：“历史的不连续是预测的终极挑战。”

即使在情报部门内部，这也不是一个特别新的发现。1983年，中央情报局局长威廉·凯西(William Casey)成立了一个高级审查小组，研究在历史上发生重大转变或意外事件之前的情报部门判断。该小组发现，最重要的错误估计是由于基于“时代主流智慧”的“单一结果预测”，这导致了“对连续性的偏见”。换句话说，过去并不总是序幕。

时机和引爆点

我们无法预测何时会发生突变或临界点，这也限制了人类的预测。分析师擅长描述环境或动态，这些环境或动态会增加过去行为或行动转变的风险，但“没有任何预测技术可以预测这种非线性的时间。”纳西姆·塔勒布(Nassim Taleb)和马克·布莱斯(Mark Blyth)说得很清楚:“政治和经济事件是不可预测的，它们的可能性也无法用科学方法衡量。”

情报分析人士可以对基地组织日益复杂的袭击计划和中东地区潜在的动荡发出警告，但他们无法预测飞机何时会撞击双子塔，或突尼斯街头小贩的自焚何时会引发地区动荡。导致活动发生重大转变的过程是渐进的，但当一种现象最终打破它的模式时，它通常是在“一个戏剧性的时刻”，作为一个不可预测的转折点。

人类和系统

除了不连续和时间问题之外，预测能力的更基本限制来自于情报产品的主体:拥有自由意志的人类，以及行为并非确定性的外国政府和网络等复杂系统。许多个人的行为和活动“依赖于偶发和偶然”，而分析师所研究的个人通常不知道他们自己在某种情况下将如何行动，或者他们可能采取什么政策决定。

人类是变幻无常的野兽，有着各种各样的动机，这是一篇两页纸的情报文章很难描述的。举个例子，有无数的情报估计声称，一个国家只有在其领导层感到其对权力的控制受到威胁时才会采取行动，但我们能真正理解一位领导人感到自己处于困境的所有方式吗?

在系统方面，正如Taleb和Blyth所说：“政府正在浪费数十亿美元，试图预测由相互依赖的系统产生的事件，因此在个人层面上无法从统计学上理解这些事件。”一位资深分析师曾经告诉我，即使他坐在一个目标国家的内阁会议上，他也无法告诉你这个国家未来必然会做什么。

这不是某种个人谦逊的表现，也不是对目标国家机能失调的嘲讽;这是一种认识，在如此复杂的系统中，有如此多的玩家和利益在发挥作用，因此最终结果是不可预测的。复杂系统的问题可以在短期评估中得到一定程度的克服，因为所有系统都有一定程度的惯性，分析师可以跟踪和评估这些惯性。然而，一个复杂系统的置换和演化时间越长，就越难预测其未来的特性。在过去几年预测未来时，预测的准确性也急剧下降。

分析能为你做什么

对情报分析来说，并不是一切都失去了。解决上述限制的办法是不要放弃估计和概率分析，并将分析师转变为原始情报报告的简单整理者。如上所述，大多数估计将是线性的，情报界在这方面表现出色。在棘手的问题上，越来越多的不确定性和复杂性渗透其中，情报分析人员应该满足于更谦虚的方法。分析师必须接受一种新的精神，即不以预测未来事件为中心。

情报分析必须保持前瞻性和与政策相关，提供最佳预测。然而，分析师必须更多地关注于让客户认识到生活的复杂性和不确定性，同时也要概述一个问题的关键因素、支柱和关键是如何导致不同可能性水平的不同未来的。分析师已经在做这项工作，但他们应该充分认识到，他们的工作通常不是减少潜在未来结果的不确定性，而是向客户通报不确定性和偶发事件。

有了这种分析精神的武装，分析师的下一个任务是教育政策制定者，让他们了解自己处理国家安全问题的独特方法，如何能在日常工作中帮助政策制定者。第一个目标将是纠正政策制定者的错误观念，即情报委员会能够接触机密信息和专家，就有能力消除战略上的意外。分析师必须通知政策制定者，分析师认为不太可能发生的中断可能会发生，虽然这可能会被一些客户视为不当行为，但这是我们业务中不可避免的方面。正如谢尔曼·肯特所指出的，我们并不声称我们的评估是绝对正确的。相反，我们声称我们提供的是“最深入、最客观、经过仔细考虑的评估”。

即使人们对这种贝叶斯的细微差别反应冷淡，分析师也必须向政策制定者兜售他们在预测领域所能提供的积极愿景。政策制定者经常在具体的问题和答案上纠结，情报界应该努力把自己推销成一个问答服务机构。毕竟，问题是“人类可用的主要智力工具”。分析人士必须向政策制定者表明，尽管他们缺乏洞察力，但他们是美国政府中最精于此道的干部，能够就以下几个与几乎所有地缘政治、安全和经济问题相关的关键问题提供多方面的、论证充分的答案:

我所面临的问题的背景和现实是什么?

这是政策制定者向情报界分析师提出的最基本、最具有经验意义的问题。鲍曼·米勒（Bowman Miller）称这种分析为“解释性全部”，杰克·戴维斯（Jack Davis）认为这种类型的分析可能对决策者最有价值，因为他们往往更喜欢“把自己视为最后的分析师”。在回答这个问题时，情报分析员必须概述关键参与者及其利益和病态;决定问题稳定性或不确定性的驱动因素;以及这个问题如何适应国内或地区的政治动态。这种相互作用和复杂性往往被政策制定者所忽视。

那么，这一切与预测和预言有什么关系呢?对观察到的趋势提供背景和解释，难道只是分析师充当政策制定者的分类历史学家吗?不完全是。在解释一个问题的所有因素时，分析师应该总是抓住机会思考，分析师可以问自己的最有用的问题:对政策制定者来说，“那又怎么样”是什么?分析师可以从回应政策制定者对问题核心的需要开始，但他们应该始终专注于解决政策问题的“那又怎样”。因此，这个“现实”问题是下面所有其他问题的基石，因为它经常解释为什么外国行为者会这样做。

包括新发展的信息如何影响我的问题?

政策制定者很可能在这个问题上与情报部门接触最多，因为这将是他们任务背后的驱动问题，也是分析师在撰写最新情报文章时自问的问题。这是情报界中最常见的情报分析类型，也是分析人员提供最准确预测的地方。这是因为大多数预测都是线性判断，具有非常短期或直接的时间范围。决策者正在追踪的一个问题的更大背景中，需要将新的发展纳入更大的背景中，这是当前几乎所有情报产品的驱动因素。

在回答这个问题时，情报分析师是在回应政策制定者的愿望，他们希望知道一个并不完全明显的事件或事态发展和影响。在概述新事件的影响时，分析人员必须考虑新的事态发展可能如何影响行动者的计划、意图和性质，以及他们在回答关于问题“现实”的第一个问题时概述的因素。有时，当新的事态发展不能改变这些现实时，与它们改变现实时一样重要。

在回答这个问题时，分析师必须记住前面提到的预测的局限性，以及人们如何经常误读事件的重要性。分析人士必须仔细思考，在何种情况下，这种新的发展可能标志着一种中断，以及它的影响将如何在一个复杂的人类和系统网络中发挥作用。这可能意味着解释不同的潜在结果及其影响，或者分析师可以更狭隘地专注于条件分析回答:“只要这些其他因素仍然存在，这种新发展就可能导致这一行动。”

这种情况会如何发展?乍一看，这似乎是对“告诉我将会发生什么”必要性的一种迂腐的重新表述，分析师们希望从政策制定者那里避免听到这种必要性。在现实中，这个问题之所以被这样定义，是因为它直接假设——就像大多数未来研究学者一样——未来是复数，因此需要对偶然性情景的解释。1969年中情局审查大家的发现：“一篇关于复杂主题的好论文应该描述起作用的趋势和力量，确定可能影响发展的偶然因素或变量，并为未来提出一些替代可能性，通常与对一种或另一种结果的相对可能性的一些判断。”

需要明确的是，分析师在每次回答这个问题时，并不需要对所有可能的未来场景进行讨论，因为许多问题的不确定性将会减少，或者有足够的情报收集，可以用线性和进化分析来充分回答。然而，即使在这些情况下，分析人员也应该准备好讨论低概率结果的影响。

为政策制定者做预测分析既有好方法，也有坏方法。提供一个情景清单，而没有完成评估其相对概率或每种情景的关键路标和指标的工作，只会增加决策者的困惑。未来研究学者表示，描述情景的关键是避免对导致该结果的事件进行逻辑排列，因为未来很少会如此清晰地出现。

相反，分析人员应该考虑产生未来事件所必需的环境。然后，分析人员可以从理解关键参与者、复杂系统和问题驱动力之间的复杂相互作用出发，为特定类型的环境提供路标和指标。通常情况下，到同一端点有多条路径。有了这些信息，政策制定者将更好地理解未来的事件及其随后的政策行动如何有助于促成预期的结果，并避免无益的结果。

我们如何从这里到那里?或我应该注意什么?

这两个问题错综复杂，分析师必须始终把它们放在一起看待。一般来说，政策制定者有一种摩尼教式的渴望，想知道两种结果:一种是不利于国家利益的结果，另一种是有利于国家利益的结果。分析师们应该尽其所能，让政策制定者不要再期待这样整齐划一的结果，但在一些问题上，往往会有一些事情要么失败，要么成功，要么就这么发生了。当决策者想要了解特定的不同未来时，分析师可以提供“如果”分析，假设决策者梦想或失望的情景已经发生，然后向后解释关键参与者和现象之间的必要动态混合物，使这些情景成为可能。分析师通常必须对社会动荡或暴力事件等事件进行此类分析，因为正如我们预测能力的局限性所表明的那样，很少有灵丹妙药可以告诉我们这些事情何时发生，但我们可以解释那些产生它们的环境。

与前面的情景问题一样，回答这些问题的最关键部分是概述一套强有力的路标和指标，决策者和分析师都可以通过监测来确定一个概念上的未来是否即将到来。虽然这些问题的答案和对指标的解释不会让政策制定者完全惊讶，但它们仍然具有极高的价值，因为它们可以“穿透政策制定者的政策盲点和偏见”，因为他们经常希望将事件解释为对他们的政策或政策目标固有的好处。

当一篇“如果”论文做得正确时，分析师和政策制定者都应该定期一起重新审视路标和指标，以便各方都能从同一视角解读事件。这种经常审查的目标是为政策制定者创造一种“均衡政策”，因为他们对一个制度的关键方面和变化的潜力的了解使他们能够防范潜在的变化。

“他们”会如何回应我的不同政策选择?

当分析师打开收件箱回答客户的这个问题时，几乎所有人的反应都是不安的。这种本能反应是由于情报人员的一种根深蒂固的感觉，即他们和政策之间存在一道防火墙。情报分析人士担心，接近政策将使他们成为政策的捍卫者。分析师们通常对政策出台后各因素将如何配合持悲观看法，他们担心分享这样的观点会疏远他们的客户。

无论这些担忧是可以理解的，它们都是被误导的，因为分析人士有时所产生的直接影响，无非是向政策制定者解释外国行为者可能会如何复杂地解读美国的行动。政策制定者往往认为，他们的政策是直截了当地、精心设计的。这是一项艰巨的任务，因为正如英国战略研究教授帕特里克·波特(Patrick Porter)所观察到的：“政策制定者在谈论世界时对不确定性的恐惧预期，与他们在谈论自己国家在塑造世界中的角色时的自信声明形成了对比。”

在这种情况下，分析人员必须做的不仅仅是列出对手和对象的计划和意图，而是确定和解释参与者制定这些计划的原因，以及动机是什么。从这个起点出发，分析人士可以解释，例如，另一轮制裁如何不太可能打破敌人的意志，因为其领导人已经制定了变通办法，并培育了一种制裁只会加强的抵制文化。

这是另一个关于条件反应的问题，它可以平衡我们预测能力的极限。在评估一个参与者将如何应对美国的政策转变或行动时，分析师可以解释哪些常量必须保持不变，才能验证他们的评估。通过确定这些关键因素和常数，决策者可以开始制定针对这些因素的政策，从而实现他们寻求的政策目标。

前方的道路

那么，情报分析员该怎么办呢?他们认识到自己预测能力的局限性，从而在一开始就克制住了自己的傲慢。他们已经接受了一种新的精神和“问题回答者”的身份，他们回答的问题应该有助于他们的客户，涵盖几乎所有的政策主题。这两种因素加在一起是强大的，但分析人士必须抵制自我吹捧的诱惑。情报分析员还可以有更多的方法来改进他们向客户通报信息的方式。这些衡量标准包括分析师如何实际开展日常工作，管理人员如何评估分析师，以及情报机构如何培养最适合预测未来事件的分析师骨干。

做更好的分析:基础分析和推测分析

在对上述决策者关键问题的回答中，有一条共同的主线，那就是对驱动问题的核心角色和因素的深刻理解，这是线性分析和推测分析的基础。要真正理解一个问题的“环境”，情报机构必须促进基础性的分析研究，甚至超过当前的情报生产。

在军事方面，这可能意味着让分析师有更多的时间来研究战斗顺序或政治方面的工作，允许对关键机构和个人之间的相互作用进行更多的历史研究。正如杰克·戴维斯(Jack Davis)所建议的那样，我们必须为研究提供与生产当前情报产品相同的资源，并努力建立更强大的面向研究的数据库。

推测分析也需要从doghouse里出来。如果我们不擅长预测和发现大的变化，那么我们需要适应更多的怀疑底线，基于如果-然后的构建或解释不同的未来和他们的相对评估的可能性。这种对推测分析的恐惧，导致一些分析师在我们的预测谦恭，应该抵制这种极端情况时，采取了一种“只做一个判断”的方法。另一种情况是，当分析师对撰写一篇见多知少的推测文章感到不安时，他们有时会在棘手的问题上陷入瘫痪，而选择什么都不写。经理们应该敦促主流分析师撰写这类文章，并奖励他们没有“等待更多的报告”，或者对那些显然还没有做好准备的问题进行所谓的“一锤定音的判断”。

此外，我们将替代分析制度化的努力也失败了。的确，一些机构需要在成品中进行替代分析，而另一些机构则为“红细胞”思维创建了整个产品线。然而，这些措施不利于这些产品的价值。通常，我们会提供不同的观点来向政策制定者证明我们已经考虑过这些问题，但这些观点与主流观点的分离只会强化——对分析师和客户来说——这些事件太离题了，不需要认真对待。就连“另类分析”这个名字也在恳求读者摒弃其中可能包含的发现。

我们不应该试图展示我们是如何跳出思维的框框，而是应该把可能性更小——但更具破坏性——的未来放回到常规分析的框框中。更有可能取得成果的是，将这一替代分析任务重新定义为米勒所说的情报界“火灾观察”，即让分析人员(如公园管理员)在第一时间报告潜在的火灾。分析师应该已经在当前生产中列出了替代方案，然后根据对“烟雾”或触发因素的观察，更新这些潜在结果的相对增加或减少可能性。

改革文化:检查工作，构建多元化团队

大多数情报机构主要让分析师对他们处理过程的好坏负责，并坚持较高的分析标准。机构提拔分析师，不是因为他们的预测是正确的，而是因为他们掌握了公认的分析实践，从而进行了强有力的分析。情报机构必须将过程问责与结果问责结合起来。统计学家Nate Silver的研究表明，当预测者对自己预测的准确性负责时，他们会表现得更好，因为这迫使他们经常根据新信息更新自己的工作。

许多情报机构已经在评估产品的准确性方面做得很好，但应该有一个要求，即分析师必须亲自评估自己的工作。他们在评估中对概率的正确程度和校准程度应该影响到这些分析师接受的培训类型和他们的职业发展。此外，如果分析师不断地用模棱两可的词语发布预测，而这些词语在未来无法判断其准确性，那么他们就是在逃避自己的职责，需要对他们的预测方法进行调整。有些人可能会争辩说，分析对政策决定的影响使得不可能公正地判断分析工作。在某些情况下，这无疑是正确的，但这些事件将是例外，而不是规则。担心对政策产生过度影响，不应阻止情报机构采取更多行动来检查自己的工作。

情报机构还需要重新考虑他们如何创建分析团队。Tetlock 的研究表明，最好的预测来自不同的个人团队，他们并不都是主题专家，但他们带来了独特的技能组合和各种思维方式。这些团队营造了协作环境，但成员的多样化观点和开放思想使个人能够挑战彼此的工作，并相互推动做出更细致入微、最终更准确的预测。

那么在实践中这意味着什么？嗯，与其经理们寻求在团队中的军事、政治、领导力和经济分析师之间找到适当的平衡，他们应该寻求拥有一群能够以不同方式解决问题的个人。例如，分公司负责人应该寻找融合和发散思想家、对不同心态和偏见具有不同倾向的个人以及来自不同地理和社会经济背景的分析师的正确组合。向分析师教授关于战斗秩序或政治心理学的知识比打破他们天生的偏见要容易得多。

为下一代做准备：超级预测者和人工智能

情报界还应该使用关于具有某些特征的个人如何成为更好的预测者的最新研究，并将这些发现纳入它如何雇用、培训和定位分析师。通常，招聘顾问会寻找在工作面试中看起来最像自己的人。对于情报界而言，这通常意味着拥有高级学位、非常好的成绩、强大的写作技巧以及相关领域的专业知识或以前的职业经验。虽然这些都是好东西，可能是作为情报分析师良好表现的有力指标，但如果我们再深入一点呢？

梅勒斯和泰特洛克说，最好的预测者具有高认知能力、良好的政治知识、对问题的开放态度、强大的归纳推理和模式检测能力、高水平的流体智力、对他们的信念采取非教条主义的方法、竞争力和协作之间的平衡，以及对自我提升的承诺。

情报界的招聘应优先考虑这些特征，例如，大学大一或大二期间申请人的成绩。Tetlock 还观察到，超级预测者部分是被创造出来的，部分是被制造出来的，个人通过专注于改善这些特征的培训提高了他们的预测能力。通过分析师“检查他们的工作”的过程，一些常规偏见或分析倾向可能会变得明显，可以通过有针对性的培训来纠正。

情报机构必须设法利用新的信息处理技术的力量，而不会落入期望这些进步改变情报预测和推测的陷阱。正如 CIA 高级官员 Joseph Gartin 于 2019 年 6 月在本期刊中指出的那样，人工智能 (AI)、“大数据”和机器学习的进步无疑将对未来情报分析师的工作产生影响。虽然我不会尝试预测这些技术进步将改变情报分析师工作的具体方式，但很明显，为分析预测提供原始信息的处理将变得更加自动化，并且更少依赖单个分析师的勤奋工作。然而，这种技术进步将情报分析师从预测炼狱中解放出来的愿望很容易被夸大了。

《科学》杂志上一篇关注预测未来的文章发现，这些技术进步能够注意到加剧的紧张局势和潜在的政治暴力预警信号，但由于“固有的限制”，机器本身无法预测它们，由于人类系统中巨大的历史复杂性和偶然性。”作者确实强调了“大数据”和机器学习如何通过启用更多“有限的空间和时间”范围来改进评估；这些推动因素代表了情报界现在开始整合的进展情况。这些工具可以帮助分析师更好地进行基本的线性评估，并生成更现实的未来情景。然而，这些工具的结合还必须理解，即使是最先进的预测建模工作也无法克服预测的限制。

上述资料原文及机器翻译文档已上传小编知识星球

长按识别下面的二维码可加入星球

里面已有近千篇资料可供下载

越早加入越便宜

续费五折优惠

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【情报培训】一个情报分析师对于预测分析的思考