构建安全度量指标七步法

本文介绍了安全度量的基本方面，涵盖了安全指标构建过程的”七步法“。网络安全的压力正在不断增加。各种调查表明，在过去几年中，计算机安全已成为许多组织的优先事项。某些部门的IT安全支出大幅增加——仅在联邦政府内部，已经是2001年以来的四倍[1]。与大多数获得高管高度优先地位的担忧一样，计算机安全不仅越来越成为投资的焦点，也越来越成为审查投资回报的焦点。面对有关严重安全漏洞的定期、高调的新闻报道，安全经理比以往任何时候都更需要为证明其安全计划的有效性负责。

管理者应该使用什么手段来应对这一挑战？一些专家认为，其中的关键应该是安全度量指标[2]，这些安全度量指标可以解释安全的价值。在本文中我们将讨论生成指标面临的困难，并提出了构建安全度量计划的方法。

安全指标的定义

通过区分指标和度量，有助于理解什么是指标。度量提供了特定离散因素的单点时间视图，而指标是通过将一段时间内两个或多个度量值与预定基线进行比较而得出的[3]。通过计数产生度量值；指标是通过分析生成的[4]。换句话说，度量是客观的原始数据，指标是对这些数据的客观或主观的人类解释。

国际系统安全工程协会（International Systems Security Engineering Association）的乔治·杰伦（George Jelen）表示，好的指标遵循 SMART 原则，即具体的、可度量的、可实现的、可重复的和时间相关的[5]。真正有用的指标表明了安全目标（如数据机密性）的实现程度，它们推动了为改进组织的整体安全计划而采取的行动。区分主要对直接负责安全管理的人有意义的指标和直接与管理层利益和问题有关的指标，对于制定有效的安全指标计划至关重要[6]。

安全指标的价值

一个被广泛接受的管理原则是，如果一个活动不能被度量，那么它就不能被管理。安全属于这个范畴。对于安全管理人员来说，指标是一个有效的工具，可以识别其安全计划的各个组成部分的有效性，特定系统、产品或流程的安全性，以及组织内员工或部门解决其负责的安全问题的能力。指标还可以帮助确定不采取特定行动的风险水平，并以这种方式为确定纠正行动的优先级提供指导。此外，它们还可用于提高组织内部的安全意识水平。最后，利用通过指标获得的知识，安全经理可以更好地回答高管和其他人提出的难题，例如：

• 我们今天比以前更安全吗？

• 在这方面，我们与其他人相比如何？

• 我们是否足够安全？

为什么指标生成很困难

许多安全行业人士都会同意，一个组织成功遭遇的安全攻击次数并不一定表明该组织有多安全。运气起着重要作用[7]，人们如何衡量运气？因此，安全经理需要超越组织的安全事件记录，寻找安全强度的指标。然而，在寻找有意义的指标时，他们需要记住更多的复杂性。

举个例子，资产价值、威胁和脆弱性是总体风险的关键因素，在与安全有关的大多数决策中都（或应该）加以权衡。当试图将这些元素纳入有用的安全度量指标时，它们中的每一个都会带来困难。资产价值是这三个要素中最容易衡量的；然而，价值的某些方面，如公司的良好声誉，即使不是不可能，也很难量化。一些人认为，威胁根本无法衡量，因为它有可能造成伤害[8]，尽管调查结果和从外部来源收集的其他信息可能有助于在高水平上量化威胁。在客观地衡量脆弱性方面正在取得一些进展，至少对于特定类型的网络计算机设备是如此。例如，互联网安全中心[9]已经建立了基准，并开发了自动化工具来检测计算机系统漏洞的级别。衡量脆弱性的其他方面，例如计算机用户对安全问题的理解程度，仍然有些主观。

安全度量指标确实很难，因为该学科本身仍处于开发的早期阶段[10]。目前还没有一个通用的词汇表，也没有多少记录在案的最佳实践可供遵循。那些致力于开发安全度量指标项目的人应该将自己视为先驱，并准备根据经验调整策略。

构建安全指标计划

为了促进对新安全指标计划的所有级别的理解和接受，建议将计划置于组织已经熟悉的过程改进框架中。例如，杜邦公司就把它的计划建立在流行的“六西格玛突破战略”的基础上，这是一种市场上销售的管理过程，这是一种以消除缺陷为重点的市场化管理过程[11]。First Union 公司将其指标计划与公司安全标准合规性联系起来[12]。贝尔斯登和公司的一名代表支持基于审计的方法，以验证是否符合行业标准控制目标以及当地定义的标准[13]。

不管底层框架是什么，下面的七个关键步骤都可以用来指导建立安全衡量计划的过程：

1. 定义衡量计划的目标和目的

2. 决定生成哪些指标

3.为生成指标标准制定策略

4. 制定基准和目标

5. 确定如何汇报这些指标

6. 制定一个行动计划并付诸行动

7. 建立正式的计划评审/改进循环

这个七步法应该对安全度量计划的目的、其特定的可交付成果、以及如何、由谁提供以及何时提供这些可交付成果有一个明确的理解。下文简要描述了这些步骤，并在适当的情况下提供了结果示例。

第1步：定义度量计划的目标

由于开发和维护安全度量计划可能需要相当大的努力，并将资源从其他安全活动中转移出去，因此，事先明确定义并商定计划的目标至关重要。尽管这方面没有硬性规定，但一个明确规定所有度量和指标收集工作应朝着哪个方向发展的单一目标是一个好方法。例如，目标陈述可能是：

提供清晰、简单的指标，说明我们公司如何高效地平衡安全风险和预防措施，以便我们的安全计划投资可以适当地确定规模和目标，以满足我们的总体安全目标。

目标声明应指明为实现目标必须集体完成的高级别行动。行动计划应该直接从这些声明中衍生出来。例如，上述目标的几个目标可能是：

a、 将安全度量指标计划建立在公司内部流程改进最佳实践的基础上。

b、 利用当前收集的任何相关度量数据。

c、 以针对不同受众定制的格式传达指标。

d、 让利益相关者参与决定制定什么标准。

第2步：决定生成哪些指标

如前文所讨论的，任何用于流程改进的基础公司框架都可能决定需要什么指标。例如，“六西格玛”方法将侧重于可以检测和管理缺陷的安全流程，因此，构建度量计划的第2步将是识别这些特定的安全流程。基于法规遵从性的方法将评估遵守既定安全标准的程度。在这种情况下，第2步将确定应跟踪其合规性的标准。

在没有任何预先存在的框架的情况下，可以使用”自上而下“或”自下而上“的方法来确定哪些指标可能是可取的。”自上而下“的方法从安全计划的目标开始，然后反向工作，以确定有助于确定这些目标是否得到满足的特定指标，最后确定生成这些指标所需的度量值。例如：

自下而上的方法首先需要定义哪些安全流程、产品、服务等已经到位，哪些可以或已经被度量，然后考虑哪些有意义的度量可以从这些度量中得到，最后评估这些度量与整个安全计划的目标之间的联系。见如下表格：

第3步：制定生成指标的策略

考虑到整体安全计划的目标，自上而下的方法将更容易确定应该到位的指标，而自下而上的方法将产生最容易获得的指标。这两种方法都假设总体安全计划目标已经确定。如果没有，确定这些高级别目标显然很重要，也是一个先决条件。

既然人们已经很好地理解了要度量的内容，就必须制定收集所需数据和推导度量指标标准的策略。这些策略应规定数据来源、数据收集频率，以及谁负责原始数据的准确性、将数据汇编成度量值以及生成度量指标。

虽然正式的风险评估是收集可能需要的一些数据的一种方法，但专家们对其生成指标的价值存在分歧。一种思路是，定量风险评估提供了“足够接近”工作目标的指标[14]，而另一种思路是，风险评估没有标准化，而且过于主观和推测，无法随时间提供良好的比较指标[15]。但是，也有其他建议的数据来源，如帮助台日志、系统日志、防火墙日志、审计报告和用户调查。

早期，很少有自动化工具可以使数据收集、分析和报告具有成本效益，但近年来，产品已被引入市场，以使这些活动更加可行。

第4步：建立基准和目标

在这一步中，将确定适当的基准，并设定改进目标。基准管理是将自己的绩效和实践与行业内同行或行业外著名的“最佳实践”组织进行比较的过程。这一过程不仅为管理活动提供了新思路，还可以提供使指标更有意义所需的比较数据。基准也有助于建立可实现的目标，以推动现有实践的改进。安全经理应该咨询行业特定的数据资源，以获取可能的基准和最佳实践，也可以从 SecurityStats.com [16]、CIO杂志[17]、等其他服务和出版物中找到有所帮助的信息。

第5步：确定如何向上汇报指标

显然，如果结果没有得到有效传达，那么任何安全度量工作都是不值得的。虽然传播此类信息的传统管理智慧应该占主导地位，但当前的安全度量资料确实揭示了这方面的一些指导。例如，一位分析师警告称，以清晰的名义过度简化是一个错误。高管们习惯于处理财务和其他趋势线，因此，如果表现良好，复杂的安全相关数据对这一群体可能很有价值。图形表示尤其有效[18]。

有些指标可能仅对安全经理和员工有意义，不应进一步分发。然而，安全经理可能会使用其他指标来帮助组织触发所需的补救措施。例如，一个广泛分布的指标，例如显示组织中每个部门的漏洞级别的指标，可能会在部门之间引发良性竞争，在下一个报告期成为最不易受攻击的部门——这是安全经理的梦想！

在任何情况下，都应该提前定义报告指标的上下文、格式、频率、分发方法和责任，以便参与制定指标的人员和将使用这些指标进行决策的人员能够尽早看到最终产品。

第6步：制定行动计划并付诸实施

现在是时候完成真正的工作了。行动计划应包含启动安全度量计划所需完成的所有任务，以及预期的完成日期和任务。如第1步所述，该行动计划应该可以直接从目标中衍生出来。记录计划中的行动与这些目标之间的联系是非常有用的，这样就不会有人忽视给定行动的重要性。

与开发软件的方式相同，在计划中包含测试过程也是至关重要的。例如，收集的数据中的缺陷可能会证明某些指标不可用，并需要重新检查要度量的内容和度量方式。

第7步：建立正式的计划评审/完善周期

应在整个过程中对整个安全度量计划进行正式、定期的复审。有没有理由怀疑这些指标的准确性？这些指标是否有助于确定整个安全计划新的行动方案？生成指标需要付出多少努力？获得的价值值得付出这样的努力吗？在评审过程中，这些问题和其他类似的问题将是重要的答案。还应重新审视行业内外的安全度量标准和最佳实践，以帮助确定新的发展和机会，对该计划进行微调。

结论

对一些人来说，开发安全度量计划的任务可能令人望而生畏，但不一定如此。这个七步法可以指导开发非常简单的指标计划，以及雄心勃勃的计划。事实上，一些在安全度量方面有经验的人建议从简单开始。他们建议管理者做简单、廉价、快速的事情，并利用现有的衡量标准[19]。需要记住的重要一点是，生成的度量指标应该足够有用，以推动整体安全计划的改进，并帮助证明该计划对整个组织的价值。

本文旨在概述安全度量指标的当前状态，以及制定安全度量指标计划的建议。以下是值得关注的相关标准或倡议，可提供进一步的见解和指导：

• 国际系统安全工程协会的SSE-CMM项目[20]

• 美国国家标准和技术研究所的IT安全评估框架[21]

• 美国国家标准与技术研究所的信息技术系统安全度量指南[22]

• 国防部的信息保障准备项目[23]

• ISO通用标准[24]

附录

Olsen, Florence. “Input: IT Security Spending To Catch Its Breath.” Federal Computer Frank, Diane. “Agencies Seek Security Metrics.” Federal Computer Week. 19 June 2000.

Week. 13 July 2005. URL: http:www.fcw.com/article89546-07-13-05 (16 June 2006). URL: http://www.fcw.com/article70756 (16 June 2006).

 Jelen, George. “SSE-CMM Security Metrics.” NIST and CSSPAB Workshop, Washington, D.C., 13-14 June 2000. URL: http://csrc.nist.gov/csspab/june13-15/jelen.pdf (10 July 2001). 

Jelen Alger, John I., “On Assurance, Measures, and Metrics: Definitions and Approaches,” Applied Computer Security Associates Workshop on Information-Security-System Rating and Ranking, Williamsburg, Virginia, 21-23 May 2001: 1-2. URL: http://www.acsac.org/measurement (16 June, 2006).

Jelen

Robinson, Chad. CSO Magazine Analyst Reports. 19, April, 2004. URL: http://www.csoonline.com/analyst/report2412.html (16 July 2006)

  Burris, Peter, and Chris King. “A Few Good Security Metrics.” METAGroup, Inc. audio, 11 Oct. 2000. URL: http://www.metagroup.com/metaview/mv0314/mv0314.html (10  July 2001).

Nielsen, Fran. “Approaches To Security Metrics.” NIST and CSSPAB Workshop, Washington, D.C., 13-14 June 2000: 7. URL: http://csrc.nist.gov/csspab/june13-15/metrics_report.pdf

 See URL: http://www.cisecurity.org (16 June 2006).

Nielsen: 3.

George, Robert T. “Security Management in the Fibers and Chemicals Industry.” NIST and CSSPAB Workshop, Washington, D.C., 14 June 2000. URL: http://csrc.nist.gov/csspab/june13- 15/George.pdf (10 July 2001).

 Hymes, Pat. “System Security Compliance Monitoring Program.” NIST and CSSPAB  2001). Workshop, Washington, D.C., 14 June 2000. URL: http://csrc.nist.gov/csspab/june13-15/Hymes.pdf (10 July 2001).

Bayuk, Jennifer L. “Information Security Metrics: An Audited-based Approach.” NIST and CSSPAB Workshop, Washington, D.C., 14 June 2000. URL: http://csrc.nist.gov/csspab/june13- 15/George.pdf (10 July 2001).

 Nielsen: 7.

Burris and King.

See URL: http://www.securitystats.com (16 June, 2006).

See URL: http://www.cio.com (16 June 2006)..

Berinato, Scott. “A Few Good Metrics,” CSO Magazine, 1 July 2005. URL:http://www.csoonline.com/read/070105/metrics.htmlhttp://www.csoonline.com/read/ 070105/metrics.html (16 July 2006).

  Craft, James P. “Metrics and the USAID Model Information Systems Security Program.” NIST and CSSPAB Workshop, Washington, D.C., 14 June 2000. URL: http://csrc.nist.gov/csspab/june13-15/Craft.pdf (10 July 2001).

See URL: http://www.issea.org (16 June, 2006).

See URL: http://csrc.nist.gov/organizations/guidance/framework-final.pdf (16 June 2006).

See URL: http://csrc.nist.gov/publications/nistpubs/800-55/sp800-55.pdf (16 June 2006).

Bartlett, Terry. “Information Assurance Readiness Assessment.” NIST and CSSPAB 15/Bartlett.pdf (10 July 2001). Workshop, Washington, D.C., 14 June 2000. URL: http://csrc.nist.gov/csspab/june13-15/Bartlett.pdf (10 July 2001).

See URL: http://csrc.ncsl.nist.gov/cc/ (10 July 2001).

参考及来源：https://www.researchgate.net/profile/Abdelkader-Bouaziz/post/Security_metrics_refrences/attachment/60eefc98647f3906fc88d119/AS%3A1045487146786816%401626274968696/download/Security+Metics+2.pdf