团队科研成果分享-27

研究背景

人们对海洋探索的兴趣日益增长，不断推进技术更新和迭代。近年来，随着水下智能设备和信息与通信技术的迅速发展，水下传感器网络越来越受到来自不同领域的关注。作为典型的协作网络，UASNs 由批量部署在海洋中不同深度的传感器组成，它们既充当发送者，也充当接收者。节点间相互协作以收集环境信息并通过中继节点将数据发送到位于海面的数据中心，以满足复杂的应用程序要求。

水声传感器网络具有可用带宽窄、时间延长、节点能量有限、网络动态性强、电池更换困难等特点，因此现有的地面路由协议不适用UASNs。且现有的UASNs的路由协议研究一般都集中在提高数据包的可靠性、避免路由空洞、均衡网络能耗等方面上，网络的安全性却被忽略。但正是因为水声传感网的环境特性，才导致它更容易遭受到恶意攻击。且在实际应用中，UASNs 始终部署在无人看管甚至是敌对的环境中，在这些环境中传感器节点很容易被捕获和攻击。因此，研究和设计针对UASN的可信路由方法，是保障网络安全，促进UASN技术进一步发展，为提高智慧海洋安全奠定基础的必要条件。

关键技术

本文受软件定义网络的启发，提出了一种支持SDN的UASNs体系结构，并设计了一种支持SDN的UASNs可信的路由方案SDN-QLTR。SDN-QLTR包含节点的信任评估和部署路由策略两个部分。为了对抗网络的内部攻击，从链路、数据和节点自身三个方面评估节点的可信程度，识别恶意节点并筛选可靠的节点。SDN控制器基于Q-learning算法，根据当前全局信息和长期收益，从而做出全局最优的路由决策。为提升网络的性能和数据传输的可靠性，在数据传输过程中设计了等待时间和重传机制。

本文的主要贡献如下：

1）提出了支持SDN的UASN的体系结构，该结构分为三层：数据层、控制层和应用层。SDN控制器可以感知到网络拓扑结构的变化及节点的物理信息等，并由此做出路由决策。

2）设计的信任评估考虑节点与邻居节点的通信行为、接收和发送的数据包以及链路情况，因此可以对抗UASNs中多种类型的内部攻击。

3）基于对节点的信任评估，提出了基于Q-learning的可信路由决策。在SDN控制器上部署Q-learning，使 SDN 控制器能够自适应地调度分布式资源下发路由决策，进而获得全局最优的路径、提升网络性能。

算法介绍

（1）网络模型

图1  支持SDN的UASN架构

如图1所示，本文提出了SDN体系结构，它可以支持由部署在不同深度的水声传感器组成的水声传感器网络进行集中管理，从而为转发数据做路由决策。SDN水声传感网继承了SDN的思想，分为数据平面、控制平面和应用平面。

数据层：数据层包含由水下传感器节点组成的集合，它们部署在网络的不同深度，根据不同应用执行不同的数据采集任务。传感器节点可以接收到来自控制层的控制信息，从而达到协作的目的。此外，数据层中所有节点的操作都受控制层管理。

控制层：控制层由SDN控制器组成。漂浮在监测区域水面中心的USV作为SDN 控制器，它的作用是管理和维护整个网络，部署全局路由策略。SDN控制器通过声波与水下传感器节点进行通信，旨在收集每个传感器节点的运行状态等信息（如节点当前位置、剩余能量等信息）并处理来自数据层的请求。

应用层：SDN应用层由云平台和SDN应用组成，通过对支持SDN的北向接口来灵活编程，使水声传感网执行不同的任务，以针对不同场景开发不同的应用。

（2）提出的SDN-QLTR方案 

A.SDN-QLTR概述

图2 SDN-QLTR的整体架构

本文将SDN架构引入到UASNs中，SDN控制器可以收集节点的状态信息并下发控制策略，提高UASNs的可管控性。为了解决支持SDN的UASNs路由过程中的安全问题，首先，针对路由过程中常见的内部攻击，设计了能够识别恶意节点的信任评估方法。然后将信任评估方法引入到路由过程中，设计了机会路由方案。最后，提出了基于Q-learning的路由优化方法。SDN-QLTR整体架构如图2所示。

B. 信任评估

本文从链路、数据和节点自身来评估它的信任程度。链路信任考虑了数据包丢失率和链路使用率，数据信任考虑数据与节点收到的所有数据平均值偏离程度，节点信任考虑节点剩余能量和行为。根据链路信任、数据信任和节点信任来综合评估一个节点是否是值得信任的，节点的信任值计算如下所示:

其中ωl+ωd+ωn=1，TVlink,TVdata,TVnode分别为链路信任值、数据信任值和节点信任值。

如果节点| TVij(t)- TVij(t-1)|小于阈值θ，认为它当前时刻是可信的，不再使用推荐信任值来计算信任值。当节点ni对节点nj评估的信任值TVij(t)与上一时间段的信任值TVij(t-1)的差值大于阈值时，使用推荐信任判断节点的可信度，推荐信任值为：

因此，信任值为：

提出SDN-QLTR的信任评估方法的结构图如图3所示。

图3 信任评估的结构图

C. 路由决策

1）SDN控制器确定转发集合

理想的中继应该离目的节点近且具有足够的剩余能量。假设节点ni与nj的深度分别用di和dj表示，节点ni与nj之间的深度差dij=|di - dj|。本文提出了路由距离的概念，节点ni与nj之间路由距离的计算公式为：

如图4所示是节点ni具有三个邻居节点的例子，节点的位置关系如图所示，深度差di2> di3> di1,剩余能量n3>n2>n1，计算得到Dr3>Dr2>Dr1，那么节点n3和 n2加入候选集的可能性比n1大。

图4 路由深度示意图

SDN控制器为节点ni从邻居节点选择候选节点的条件如下，候选中继集的大小由SDN控制器确定。如果目的节点nd在一跳通信范围内，那么直接将nd加入到候选中继集中，否则判断邻居节点与目的节点之间的路由距离Drjd和ni与nj的路由距离Drij的和是否大于ni与nd的路由距离Drid，即Drid < Drij+ Drjd，同时ni评估nj的信任值Tt(i,j)是否大于信任阈值Tθ。如果同时满足这两个条件，那么将nj加入到中继候选集Nc。

2）节点的等待时间和重传次数

转发集中的节点收到数据包后等待转发的时间短可以减少端到端延迟，带来的后果是更多拥有相近等待时间的节点有机会转发同一个数据包，不可避免地会导致传输冗余和巨大的能量消耗。为了避免持有相同数据包的节点在同一时间段内转发该数据包，而造成内爆现象。本文设计了转发节点nj的等待时间，为:

其中|Nf|为转发集的长度，即转发集中节点的个数，n为nj在候选集中的序号。等待时间是一个线性函数，序号越小，等待时间就越短。

本文规定了的数据包的重新传输次数。SDN控制器根据网络的通信质量下发与重传次数相关的指令给传感器节点，数据包中包含一个字段为重传次数，它是由源节点和数据一起生成的。本文将数据包的重传次数初始化为3。

实验结果

本文使用MATLAB 2019模拟部署在500m×500m×500m的水下网络。为了验证本文提出的SDN-QLTR方法的有效性，分别验证了不同攻击类型和不同恶意节点比例对信任值和检测率的影响。通过改变攻击类型、恶意节点的比例和节点数量等因素来评估所提出的SDN-QLTR方法的性能。

对比算法：SEECR算法、QLRF算法以及本文的SDN-RLTR算法。

评价指标：信任值、检测率、网络寿命、数据包投递率、端到端延迟。

A.信任值

图5 不同攻击类型和不同恶意节点比例对信任值的影响

为了便于比较，本文将信任值进行了归一化处理。从图5(a)中看到可以看到三个网络第500个传输轮次后平均信任值都是呈现下降的趋势的，并在700之后，信任值逐渐回升并在900轮次趋于稳定。由于水下环境是动态的，节点的信任值也会有一定的波动。信任评估方法可以准确识别网络是否存在攻击，证明它是有效的。如图5(b)所示，随着网络中恶意节点的比例增加，平均信任值降低。持有数据包的节点周围的正常节点数减少，那么它可供选择转发的邻居节点数也随之减少。

B. 检测率

检测率是指被正确识别的恶意节点与恶意节点比例。如图6所示， SEECR对数据篡改攻击和选择性转发攻击的识别准确性比较高，因为SEECR一一对比节点接收和发送的数据包，而对消耗节点能量的Dos攻击不敏感。本文提出的信任评估方法从链路、数据包和节点的行为考察节点是否遭受攻击，对这三种攻击的检测准确率都比较高。

 图6 不同攻击类型和不同恶意节点比例下两种方法的识别准确率

C. 网络寿命

图7展示了在网络攻击节点比例变化时三种方案的网络寿命。如图7（a）所示，SEECR的网络寿命最短。因为它选择权重最大的节点，容易产生空洞区域绕远距离传输数据。如图7（b）所示，QLFR和SDN-QLTR效果相近，QLFR没有考虑节点的行为，数据篡改攻击对网络寿命的影响不大。值得注意的是，SEECR和QLFR都对DoS攻击的节点检测率低，但SEECR的网络寿命优于QLFR，因为QLFR是牺牲网络能量换取高的数据包投递率。

图7 不同攻击类型和不同恶意节点比例下三种方案的网络寿命

图8展示了在不同网络密度下三种方案的网络寿命（仅考虑数据篡改攻击，恶意节点比例为10%）。SEECR中的发送方期待一个剩余能量大且离目的节点近的节点作为中继节点，但实际情况往往不如预期好，网络寿命也因此减少。虽然SEECR和QLFR都考虑了节点的深度和能量，QLFR是机会路由，且它基于强化学习算法，考虑了长期奖励，能一定程度上均衡网络能耗。由结果可知，SDN-QLTR效果稍微好一些。原因是SDN-QLTR是集中式路由策略，虽然额外的通信消耗能量，但它有利于动态拓扑中节点间信息共享并做出负载均衡的路由决策。

图8 不同网络密度三种方案的网络寿命

D. 数据包投递率

数据包投递率（PDR）是指目的节点接收到的数据包总数与源节点发送的数据包总数的比值。由图9可知， QLFR与SDN-QLTR的PDR效果相当，它们都是基于机会路由的，且当PDR低于某个阈值时（阈值设置为90%），候选节点的数量会增加，确保数据包能够正常到达目的节点。如图9（b）所示，虽然QLFR能保证数据包成功达到目的节点，但是由于它不能识别恶意节点，数据包在传输过程中可能被篡改了数据，导致信息失去了它本身的价值。SEECR在三种攻击和不同恶意节点比例下的PDR都是最低的，因为它没有任何机制确保数据包能够送达中继节点或者目的节点。SDN-QLTR在数据包传输时筛选掉恶意节点和链路质量不好的节点，且它还有重传机制。

 图9 不同攻击类型和不同恶意节点比例下三种方案的数据包传递率

如图10所示，为正常运行的网络中三种方案的PDR。由于死亡节点和空洞区域的增加，SEECR的PDR在第500个传输轮次后呈现指数型下降。虽然信使节点可以自适应调整深度，但是在网络密度低时，对PDR的提升效果不显著。在网络密集时，不需要信使节点的情况下网络中的节点之间也能正常通信。在网络开始运行时，SDN-QLTR与 QLFR的性能相当。

图10 正常网络中不同传输轮次下三种方案的数据包传递率

E. 平均端到端延迟

平均端到端时延指的是数据包从源节点发出到目的节点接收的持续时间。如图11所示,虽然QLFR不能检测到选择性转发攻击，但由于Q-learning的作用，时延的增长幅度较慢。如图11（a）所示，三个方案的端到端时延都比较稳定，因为它对端到端时延基本上没有影响。在其他两种类型攻击中，由于SDN-QLTR可以比较准确的识别到恶意节点，因此平均端到端时延都比较平稳。QLFR和SEECR都不能识别DoS攻击的节点，随着恶意节点比例的增大，时延也增大。

 图11 不同攻击类型和不同恶意节点比例下三种方案的平均端到端时延

总结

本文提出了基于Q-learning的支持SDN的UASN可信路由方案SDN-SLTR。为了识别发起内部网络的恶意节点，本文设计的信任评估方法考虑了节点之间的链路、接收的数据和节点自身的行为，提升了数据传输的可靠性和网络的鲁棒性。然后，将所设计的信任评估加入到路由决策中，并进一步提出了一种基于Q-learning的信任机会路由决策，为所有节点做出实时的节点选择。SDN-QLTR结合了机会路由、SDN和强化学习的高可靠性和灵活性等优点。仿真结果显示，所提出的方法可以延长网络寿命和提高网络的可靠性，降低端到端延迟。