本文来自实验室符永乐的研究成果和学习笔记

Parameter tuning for a Markov-based multi-sensor system

「摘要」：多传感器系统是自动驾驶功能的关键部件。它们提高了驾驶体验的质量，有助于预防交通事故。由于传感器技术的快速发展，传感器数据采集错误很少发生。尽管如此，根据预期功能的安全性（SOTIF），传感器数据的错误解释也可能导致安全危害。例如，前摄像头可能无法理解交通标志的含义。出于安全考虑，必须在整个开发过程中分析系统可靠性。在这项工作中，我们提出了一种方法来探索传感器的特性，例如连续传感器检测错误之间的依赖关系以及KITTI数据集上不同传感器之间的相关性。此外，我们将学习到的参数应用于一个基于离散时间马尔可夫链的多传感器系统模型，以「估计一个假设的基于立体相机激光雷达的传感器系统的可靠性。」

第一章 介绍

传感器技术和自动驾驶功能的快速发展使汽车越来越像人类一样感知和理解环境。在创新技术的同时，也提出了新的挑战。其中一个挑战是根据预期功能的错误评估系统可靠性。「例如」，前置摄像头拍摄前方车辆的清晰图像，但有时由于摄像头的性能限制，无法精确估计到这些车辆的距离。(比如之前交流的长板卡车，车辆在现实情况下可能并不能很好的估算与前车之间的前后距离！)这种环境感知错误可能导致不舒适的驾驶体验，甚至导致危及生命的事故。此类错误在SOTIF[1]中有很好的记录，在整个开发过程中，系统可靠性分析应将其考虑在内。

评估多传感器系统可靠性有两种方法，一种是基于模型，另一种是基于测量[2]。总的来说，它们之间没有冲突。相反，应在整个系统开发过程中使用这两种方法，以定量评估系统可靠性。图1展示了模型和测量之间的相互作用。

一方面，我们可以用一个近似的分析模型来预测多传感器系统的可靠性，然后再用[3]等测量模型来验证系统的可靠性。另一方面，当传感器原型可用时，我们可以记录测量数据并根据标记的测量数据确定一些统计传感器特征，例如平均传感器错误率和两个传感器之间的相关性。然后，我们可以根据学习到的参数对分析模型进行微调。因此，该模型能提供更准确的系统可靠性预测信息，可用于进一步指导系统的设计。

在我们的工作中，我们首先在KITTI数据集上指定传感器特征[4]。此外，我们调整了一个基于离散时间马尔可夫链[6]的经验证的分析模型[5]，以获得多传感器感知系统可靠性的更现实的结果。

论文分为六个部分。

第2章概述了有关三维目标检测和跟踪方法的相关工作。

第3章说明了基于离散时间马尔可夫链的多传感器系统设计[5]。

第4章解释了确定传感器特性的方法。

第5章介绍并讨论了KITTI数据集的实验结果以及系统可靠性评估的示例。

作为结论，第6章总结了探索，并对未来的挑战进行了展望。

第二章 相关工作

KITTI数据集[4]是开源的自动驾驶数据集之一，包含大量有趣的城市场景。它还提供高质量的带注释的数据。数据记录平台由高分辨率摄像机、激光雷达、GPS和IMU传感器组成，如图2所示。适用于物体感知研究，如二维/三维物体检测和跟踪问题。

第三章 系统设计

A.多传感器系统的可靠性模型

一个假设的多传感器感知系统如图3所示。从下到上分为三层，分别是实景层、传感器层和系统层。

实景层提供了地面真实相机视野下障碍物的出现情况，其中相机视野（FOV）描述了多传感器系统的可观察区域，地面真实（GT）指的是障碍物的真实信息包括是否在相机视野中。传感器层显示每个帧中的局部决策。一般来说，一个系统周期包含几个帧，因此最后m个帧的检测被聚合并组合到一个传感器的局部决策。总之，多个传感器将所有本地系统决策融合为全局系统决策，系统错误率（SER System Error Rate）用作主要系统可靠性指标，描述每小时系统错误的发生情况。

有四个传感器检测事件，真阳性（TP）、真阴性（TN）、假阳性（FP）、假阴性（FN），如表2所示。

描述的是物体在现实相机视野中的出现。表示周围区域有物体，表示周围区域没有物体。表示传感器的检测结果。表示传感器检测到物体，表示传感器在相机视野中没有检测到物体。

此外，在[5]中建立了三种传感器融合方法：实用决策法（）、多数决策法（）和加权决策法（）。考虑到的目标检测和无目标检测之间的差异，我们将其分别描述为目标检测（）和无目标检测（）。

所有说明如下所示：

• - 如果在最后的m帧中，所有的传感器都检测到了对象的出现，那么检测到了一个对象
• - 如果在最后的m帧中，至少有一个传感器值没有检测到对象的出现，那么没有检测到一个对象。
• - 如果在最后的m帧中，超过一半的传感器值正在确定某个对象/未检测到任何对象。
• - 如果在最后的m帧中，加权传感器值之和超过预定义阈值，则检测到对象/未检测到对象。

此外，建立了三种不同传感器依赖性的分析模型。在我们的工作中，我们重点研究了最复杂的模型，该模型基于离散时间马尔可夫链（DTMC），并考虑了两个相关的传感器和相关的连续传感器检测。模型的概述如图4所示。

一般来说，DTMC是用转移矩阵和稳定状态来描述的，而描述的是状态转移的概率，表示的是系统处于每个状态的长期概率。借助于，我们就能够估算出系统的稳定性。相比之下，由于在早期系统开发阶段缺乏系统实现的细节，只有一些常见的传感器特性（例如，传感器错误率）可用。为了解决参数拟合问题，Bock等人[5]提出了一种非线性优化方法来确定系统行为。之后，我们可以通过总结可能最终导致系统错误的轨迹概率来计算SER：

其中m表示系统周期中的帧数；表示模型中的状态数；是一个指示器函数，意味着只有保持轨迹才会导致系统错误。此外，它还取决于传感器的融合方法，即，，，。以，传感器融合方法为为例。仅考虑三个及以上传感器的错误轨迹来计算SER。另外，为状态在第一个传感器周期下的稳态概率，为状态到状态的转移概率。

B.模型的拓展

在现实中，传感器的特性在FP和FN之前往往不是均匀分布的。因此，我们定义一个场景特征来描述每帧里在相机视野中出现汽车数量的平均比例，计算公式如下：

其中表示测试场景中所有帧的数量，表示每帧中出现在相机视野里的汽车比例。比如说，每帧中相机视野里最多出现60辆车，这是，那么就是说每帧中可能有3辆车出现在相机视野里。

如图5所示，可以容易通过和之间的的加权和来计算得到系统错误率。

第四章 方法论

A.传感器管道特性的研究

图6显示了本工程的总体管线。管道的中心是环境感知系统，它遵循检测跟踪范式，检测器识别每一帧中感兴趣的对象，然后跟踪器跨帧关联检测。该系统由两个传感器、一个立体摄像机和一个激光雷达组成。该系统的任务是感知视野中的车辆。

立体声RCNN[9]是立体相机的3D探测器，而点RCNN[12]是激光雷达的探测器。在我们得到检测结果后，我们将其输入多目标跟踪方法AB3DMOT[13]来跟踪车辆。最后，我们将感知结果投影到二维鸟瞰图（BEV）中，并通过将其与GT中基于联合交集（IoU）的标记数据进行比较来研究传感器特征[15]。如果它小于预定义的阈值（例如，0.5），我们将其视为错误。

通过学习传感器特性，我们可以微调系统可靠性模型的参数，如第3节所述。此外，对于系统设置，我们假设每个帧需要40毫秒，每个系统周期包含5帧。在每个系统周期结束时进行系统检测。借助等式1，我们可以轻松地估计这个假设的基于立体摄像机的传感器系统的更真实的系统可靠性。

B.传感器环境感知事件的定义

在这项工作中，我们根据周围环境的BEV详细扩展了第3节中传感器检测事件的定义。另外，在GT中的车会被红色矩形标记，而传感器检测结果用绿色矩形标记。我们修改了来自Stereo RCNN[9]的demo1，以生成图7和图8中用于错误解释环境错误的示例。

• FP:传感器检测到一辆在周围环境中不存在的车，如图7中的车1，或GT中与相关对象的IoU小于0.5，如图8中的车5。

• FN：传感器未检测到周围存在的车辆，如图7中的车辆2、3，或因IoU小于0而检测到车辆。5，e。G图8中的汽车5。
• TP:传感器检测到GT中出现的车辆，相关IoU大于0.5。
• TN: ROI中未定义为tp、FP或rf的剩余区域。

C.传感器特性的定义

在表2中，我们提炼了所有对分析多传感器系统的可靠性有用的传感器特征。如第3节所述，我们将在FN and FP 案例中分别研究它们。

假阴性情况下(漏判)的平均传感器错误率

其中表示在n帧中发生FNs的概率，表示相机视野中包含至少一辆车的帧数。例如，如图8所示，相机视野中有4辆车，车5没有被检测到。因此在该帧中。当有汽车出现时，而传感器却无法检测到它。知道传感器检测到汽车(或汽车从视场中消失)需要多少帧是很重要的。

是的个数，其中是不同错误突发长度的索引。例如，一辆车可能出现在相机视野中从帧1-帧67。而在帧15-帧20之间和帧55-帧车没有被追踪到，这给出了,。传感器X和传感器Y在FN的情况下的相关性如下

D.目标区(ROI)

如图9所示，我们定义一个ROI，面积约为850m2。它主要覆盖了汽车的前视图。此外，我们假设每辆车的尺寸是5m ×  3m。因此，在这个区域，这个区域最多可以容纳56辆汽车。Ifpobjis  0.05，表示每帧可能出现3辆车。相应地，有53个地方可以包含FN错误。此外，我们只考ROI内的FPs和FNs情况。

E.评价指标

我们使用KITTI跟踪验证数据集来检查传感器特性，该数据集包括20个场景，大概有8000帧，并为所有汽车提供GT。

为了获得FN场景的传感器特性，我们只考虑包含汽车的帧，大概有5500帧。与FN情况相比，我们使用所有帧数据来学习FP情况的传感器特性。

在传感器特征研究方面，计算了传感器错误率、和误差突发长度(、)的平均值和95%置信区间。

第六章 结论

综上所述，我们提出了一种从KITTI数据集确定传感器特征的方法，并利用其对可靠性模型进行微调，以获得更真实的多传感器系统的可靠性信息，为系统关于预期功能安全设计的改进提出建议提供支持。此外，我们提出了两个基本的场景，以扩展可靠性模型在现实生活中的传感器行为。总的来说，本文的工作能够弥合现实与分析可靠性模型之间的差距。

在未来的工作中，有必要将我们的方法应用于更大的数据集，以获得更多的统计代表性结果。此外，研究传感器在不同天气条件(如雨天、大雾)和不同驾驶环境(如高速公路、乡村)下的特性也很重要。

相关推荐: 工控系统安全测试之扫描篇

零、前言众所周知，NMAP是一款强大的网络扫描工具。除了普通的TCP/IP网络扫描之外，NMAP的扩展脚本功能为我们提供了更为广阔的应用范围。今天light教授继续抛砖，简单介绍一下使用第三方工控安全扫描插件，让NMAP扫描、检测工控系统的方法。壹、工控协议E…