网络安全测量入门：测量方法

admin

102737
文章

87
评论

2024年2月1日22:45:07评论13 views字数 2618阅读8分43秒阅读模式

测量方法

我们的论点是，人们对随机抽样有强烈的直觉……这些直觉在根本上是错误的……[并且]被天真的受试者和训练有素的科学家所共有。

——诺贝尔经济学奖获得者

丹尼尔·卡尼曼和阿莫斯·特沃斯基

在想象测量时，许多人可能会想到一些相当直接和简单的东西，即您想要量化的整个事物就在您面前，例如将水果放在秤上测量重量或使用卷尺检查长度。一块木材。如果你计算一下参加安全培训的人数，你会发现并没有更多的“看不见”的人群试图评估。您不一定使用此观察结果来推断其他事物。

如果这就是人们对测量方法的理解的极限，那么毫无疑问，很多事情都会显得不可估量。如果我们能够直接看到我们测量过的一切，那么统计和科学总体上会容易得多。然而，大多数“硬”测量都涉及间接推论和推论。这绝对适用于网络安全，我们经常需要从所见的事物中推断出未见的事物。研究人口规模太大或动态太大而无法一次性看到所有数据，这才是统计学的真正意义所在。

网络安全并不是统计领域之外的特殊领域，而是统计数据所针对的问题。网络安全专业人员，例如卡尼曼中提到的科学家和特沃斯基的引言，他们认为自己所知道的可能是错误的。他们可能相信自己正确地回忆并充分理解了统计和概率，以便他们可以自信地声明可以从某些数据中得出什么推论，而无需尝试任何数学。不幸的是，他们的心算往往根本不正确。人们对衡量方法存在误解，这妨碍了包括网络安全在内的许多领域的风险评估。

统计意义：有什么意义？

您可能经常听到有人声称一组样本数据不够大，不足以“具有统计显着性”。如果你听到有人这么说，你肯定知道一件事：他们误解了统计显着性的概念。您可能会注意到，一些人对统计学的看法与以下事实相矛盾：

不存在“具有统计显着性”的单一通用样本量。
为了正确计算它，统计显着性不仅取决于样本量，还取决于样本内的方差和“原假设”。这些将用于计算称为“P值”的东西。然后将该结果与规定的“显着性水平”进行比较。如果缺乏这些步骤，具有统计意义的声明就无法被信任。
一旦您知道如何计算统计显着性并理解其含义，您就会发现它甚至不是您最初想知道的。统计显着性并不意味着您学到了一些东西，缺乏统计显着性并不意味着您什么也没学到。

事实上，科学期刊和统计学家经常就统计显着性的使用进行争论。2017年，美国统计协会举办了一次大型会议，致力于超越所有科学文献中统计显着性的概念，最终出版了《美国统计学家》特刊（哈伯德是组织者之一，也是该期的副主编））。一些科学期刊甚至开始彻底禁止使用统计显着性方法作为检验假设的基础。

这一争议在原著《如何衡量任何事物：寻找“无形资产”的价值》中从数学层面进行了更详细的探讨。商务。目前，如果您从词汇表中删除“具有统计显着性”一词，可能会更好。您想要确定的是，在考虑某些数据源后，您的不确定性是否减少了，以及不确定性的减少是否需要采取一些行动改变。统计学家知道这不是统计显着性可以回答的问题，他们发现自己不断纠正那些持不同看法的人。与减少多少不确定性相关的问题有数学计算，但可以在不参考统计显着性或网络安全分析师认为他们对统计显着性的回忆的情况下回答这些问题。这些问题只能用贝叶斯方法来回答。

网络安全专家与几乎所有管理领域的许多专家一样，需要消除对统计的一些误解，就像他们需要学习有关统计的新概念一样。稍后，我们将讨论如何使用几种经过验证的测量方法来解决各种问题，以帮助测量您最初认为无法测量的事物。以下是一些涉及从所见事物推论未见事物的例子：

使用大量人口中的非常小的随机样本进行测量：您可以从数据泄露和其他事件的小样本中学到一些东西，尤其是在当前存在很大不确定性的情况下。
衡量涉及许多其他甚至未知变量的情况：即使有许多其他因素影响是否发生网络攻击造成的损失，我们也可以估计新的安全控制可以降低风险多少。
衡量罕见事件的风险：以前从未飞过的火箭发射失败的可能性，或另一场重大金融危机的可能性，可以通过观察和推理以有价值的方式获悉。这些问题至少与网络安全中罕见的重大漏洞的风险一样困难，但可以而且已经应用了测量方法。
衡量主观偏好和价值观：我们可以通过评估人们实际为这些东西支付的费用来衡量艺术、空闲时间或降低生活风险的价值。同样，其他领域的经验教训同样适用于网络安全。

大多数测量方法只是基本方法的变体，涉及不同类型的采样和实验控制，有时选择关注不同类型的问题，这些问题是我们试图测量的间接指标。商业中的某些决策过程通常缺乏像这样的基本观察方法，也许是因为这种定量程序是被认为是一些复杂的、过于正式的过程。这些方法通常不被认为是您可以在必要时立即采取的措施，而无需花费很少的成本或准备。但我们将展示一些方法——用系统工程中的流行概念来说——甚至可以被认为是“敏捷”。

小样本告诉您的信息超乎想象

当网络安全或任何其他领域的人说“我们没有足够的数据来衡量这一点”时，他们可能不明白他们正在提出一个非常具体的数学主张，而他们没有提供实际的数学来支持这一主张。他们是否真的计算了给定数据量的不确定性降低程度？他们实际上计算了不确定性减少的经济价值吗？可能不会。

在对数据进行概率推断时，我们的直觉是一个问题。但也许更大的问题是我们认为我们学到了（但错误地学到了）统计学知识。统计数据实际上可以帮助我们从令人惊讶的小样本中做出一些信息丰富的推论。

考虑任何事物中只有五个的随机样本。可能是员工在网站上花费的时间、对某些行业中报告网络安全预算的公司进行的调查等等。整个总体的中位数（一半总体低于一半高于一半的点）位于五个样本中最大和最小样本之间的可能性有多大？答案是93.75%。在如何测量任何东西哈伯德将此称为“五法则”。对于这么小的样本，范围可能会非常宽，但如果它比之前的范围窄，那么根据我们之前的定义，它就被视为测量值。五法则很简单，它很有效，并且可以证明它在统计上对于范围广泛的问题是有效的。如果你的直觉——或者你对统计数据的记忆——与此不符，那并不是数学错误。