打造自主安全的护栏

人工智能在自动化安全方面的潜力是有希望的，但在建立决策和自主执行方面还有很长的路要走。

让少年儿童开车，大多数人会认为是危险的。然而，如果车辆被限制在固定路径，且有着安全护栏的范围内，典型的如游乐园里的碰碰车或卡丁车，情况就会大不一样。

如果把少年儿童这四个字换成“人工智能”呢？

许多业内人士认为，人工智能、机器学习等技术将彻底改变我们的安全实践。不仅能够实现安全自动化，甚至可能达到“自主安全”的状态。同理，在达到这个目标之前，我们需要考虑会出现哪些意外后果，以及打造什么样的安全护栏以匹配人工智能的“年龄”。这里涉及到三个依次递进的问题：

AI决策和自动化执行如何相互关联？目前这种技术有多成熟，以及这些能力要达到何种水平才能投入正常使用？我们尝试通过三个认知框架来思考这三个问题：OODA模型、人工智能的三次浪潮和传统教育。

OODA

军事理论模型OODA分别代表观察、判断、决策、行动，套用这个模型，AI先是感知（观察、判断），然后再做出决策，最后是自动化执行。但自主则意味着，可以跳过感知和决策（例如，无意识的心跳和呼吸）或仅跳过决策（例如，膝跳反射），直接执行。

人工智能的三次浪潮

美国国防高级研究计划局(DARPA)将人工智能的三次浪潮定义为描述、分类和解释。第一阶段基于人类专家的知识，将其编码为软件，以提供确定性结果。第二阶段采用统计学习系统，实现模式识别和自动驾驶。这种大数据统计虽然大大提升了处理复杂事件的能力，但在某具体对象上的表现并不可靠。而且由于人工智能的黑箱效应，我们无法解释为什么产生错误结果的原因。（参见“AI可信吗”）

在第三阶段，人工智能能够提供解释性模型，使我们能够理解如何以及为什么会出现“有意义”的错误（指基于某些逻辑得出的结果），这种理解有助于增强我们对AI感知能力的信任。按照DARPA的描述，我们还没有达到第三阶段。当前的AI虽然经常可以提供正确的答案，但却无法在答案不正确时解释错误是如何发生的。

古典教育

第三个认知框架是古典教育，它定义了儿童教育的三个学习阶段。在小学阶段，孩子们注重记忆事实，学习结构和规则。在中学的辩证阶段，他们侧重于连接相关主题，解释如何和为什么。最后，在高中修辞阶段，学生要整合主题，逻辑推理，说服他人。也就是说，目前缺乏解释能力的人工智能还没有达到中学阶段。

综上所述，我们又怎么能够放心处于儿童阶段的人工智能，去自主决策并自动化执行？

打造护栏

毫无疑问，自动化和自主安全的大趋势不会改变。但当然，在人工智能达到成熟阶段之前，护栏必不可少。打造这个护栏可以从以下几个要点来考虑：

1、传感器的多样性。基于多种真实来源，确保传感器的来源是可靠、可信的。

2、边界条件。确保决策具有高度确定性，执行操作要精准不越界。

3、既定阈值。当出现问题时，要知道采取行动的负面影响何时可能超过不采取行动的成本。

4、算法完整性。确保整个过程和所有假定都有良好的文档记录，并能被操作人员所理解。

5、刹车和倒车。如果超出控制，要有一个停止开关，并且操作可逆。

6、权限和责任。预先设立采取行动的权限，并对结果负责。

如同让孩子在公路上开车是危险的，不成熟的人工智能在“掌舵”之前，我们要限定其活动范围，为AI精心打造一整套安全护栏。

---

参考阅读
AI可信吗？
如何利用人工智能做好端点防护
人工智能在全域敏感数据发现中的应用
人机合智：安全运营中的人工智能

原文始发于微信公众号（数世咨询）：打造自主安全的护栏