基于信用的协同DDoS防御系统

引言

分布式拒绝服务（DDoS）攻击是网络安全中最常见且具有极大破坏性的攻击方式之一，随着互联网的大规模使用，其影响日益增长。国家之间的协作式DDoS防御能够实现更迅速、更高效的攻击缓解。此类协作需要那些非攻击目标受害者国家参与检测并阻断恶意流量，但是，由于缺乏相对于个人成本的个人收益，一些自利的国家可能会拒绝这样做。在本文中，我们模拟了自利国家之间反复互动并形成联盟以抵御DDoS攻击的随机博弈。我们设计了一个名为Cedric的多智能体系统来模拟和解决这种复杂的随机博弈。每个智能体通过采用Q学习来找到其长期最优策略，信用点数用于激励有效合作。Cedric基于Shapley值的奖励分配满足了关于公平和稳定性的多个期望特性。使用超过七年的全球DDoS攻击追踪数据进行的仿真实验支持了Cedric的实证优势。

分布式拒绝服务（DDoS）攻击试图通过从多个来源发送大量请求来中断服务器的功能。尽管这种攻击手段历史悠久且众所周知，但始终未从根本上获得解决。随着越来越多的关键服务使用互联网，DDoS攻击造成的破坏更大，对国家安全、企业和日常生活的影响也更加严重^[1][2]。跨国（或域/互联网服务提供商）协同防御DDoS能够联合多个国家一起检测并阻止恶意流量，仅允许合法流量通过，这使得DDoS攻击的缓解更加高效，恢复更快，社会损害更小^[3][4][5]。同时，由于在某些国家进行DDoS防御的人力资源（封锁恶意IP地址的工程师）和软件/硬件部署成本可能更低，如果在上游国家进行防御，那么社会收益可以得到提高，协同DDoS防御可以带来比各国自行防御更大的全球社会福利。然而，出于缺乏与个人成本相比的个人收益，自私的国家往往拒绝积极联合，给跨国协同防御的实现带来了困难。

本文从博弈论角度关注自私国家在协同DDoS防御中的激励问题，并做出以下贡献：

1. 首先，对典型DDoS攻击中自私国家激励的特点进行分析，并将其构建为一个协同DDoS防御博弈。

2. 鉴于该博弈形式是一个复杂的随机博弈，设计了一个名为Cedric的多智能体系统来模拟并解决协同DDoS防御博弈问题。

3. 提出使用信用分来促进有效合作。其中，奖励分配机制基于Shapley值，在理论上满足公平性和稳定性的若干良好属性。

4. 在全球互联网拓扑结构及七年以上DDoS攻击追踪数据上进行模拟。Cedric达到的博弈均衡在实证上支持了这些良好属性。

本文将跨国协同DDoS防御构建为一个无限视界随机博弈。

DDoS攻击建模。互联网被简化并表示为一个图𝐺= (N,E)。DDoS攻击被标记为一个元组𝑑𝑑𝑜𝑠= (𝑡,𝑠𝑟𝑐,𝑑𝑠𝑡)，其中𝑡是攻击开始时间，𝑠𝑟𝑐= (<𝑐1,𝑏1>,<𝑐2,𝑏2>, ..., <𝑐𝑛,𝑏𝑛>)是一个<国家,带宽>对的列表，每个对表示一个僵尸网络存在的源国家和相应的恶意流量带宽。每个恶意流量𝑏𝑖从源国家𝑐𝑖开始，最终到达目的国家𝑑𝑠𝑡。从𝑐𝑖到𝑑𝑠𝑡的链接集合被称为路径，记为𝜙𝑖。

协同防御建模。在DDoS攻击开始时，受害国家𝑑𝑠𝑡会请求其他国家帮助。收到请求后，每个国家𝑖 ∈ N决定是否帮助检测和封锁恶意流量。每个国家𝑖在轮次𝑡的收益可以表示为

其中𝑎𝑖𝑡 ∈ ×𝑖∈𝑁A𝑖是所有国家在时刻𝑡的联合行动概况。𝑉𝑡是恢复受害应用程序𝑑𝑠𝑡的恒定收益。I(·)是一个指示函数，如果内部条件成立则返回1，否则返回0。𝑒是一个事件，表示国家𝑖是𝑑𝑠𝑡并且在轮次𝑡中成功防御了DDoS攻击。𝑏ˆ𝑖𝑗𝑡表示国家𝑗在防御联盟中封锁的国家𝑖的最大恶意流量带宽，这可能被合法流量使用，𝑉𝑖𝑗𝑡(𝑏ˆ)是国家𝑖生成的相应社会收益。

重复互动。DDoS攻击事件发生在不同的时间，有着不同的𝑠𝑟𝑐和𝑑𝑠𝑡。随机博弈中的一个状态是一个元组𝜒= (𝑑𝑑𝑜𝑠, h𝑖𝑠𝑡𝑜𝑟𝑦)，包括当前的DDoS攻击事件和过去DDoS事件及国家行动的整个历史。在每个状态，一个国家的行动是加入防御联盟（1）还是不加入（0）。每个国家𝑖的策略是一个函数𝑠𝑖(𝜒)，它将每个可能的状态𝜒映射到一个行动。每个国家的目标是找到一个最优策略，在长期内最大化其总收益，即

状态-行动空间以及解决博弈的复杂性随着国家数量N的增加而呈指数增长。

我们设计了一个多智能体系统，Cedric，来模拟和解决DDoS防御博弈。通过适当设计信用分配机制，我们为智能体提供了激励，使其能够有效合作并以最小的成本实现最多数量的成功DDoS防御和最大的社会收益，或者等同地，最大的社会福利。

定义1. （社会福利）DDoS防御博弈G=(N,E) 的社会福利定义为：

其中

Cedric的积分机制。智能体在DDoS防御博弈中扮演两种角色：受害者和帮助者。作为受害者，一个智能体在一次性的DDoS防御中获得立即的正面个体收益。作为帮助者，智能体在一次性的DDoS防御中获得立即的负面个体收益。这种时而正面时而负面的即时反馈，就像股票一样，难以提供有用的见解来指导智能体的行为，并使得找到最佳策略变得复杂。我们提议使用积分来中和正面和负面的即时个体收益，即让受害者向帮助者补偿一些积分κ，以确保他们在每一次DDoS防御中的个体收益都是正面的：

对于受害者来说，κit<0。对于帮助者来说，κit>0。

在多智能体系统中，积分不会凭空出现或消失，只能进行交易。在每一次的DDoS防御中，总奖励等同于社会福利，而在整个游戏G中，累积的总奖励等同于整体的社会福利：

在理想的智能体策略下，根据积分分配机制，累积奖励与累积个体报酬是相等的：

奖励分配。Cedric的奖励分配是基于Shapley值设计的。这种分配是可行的，并且具有关于稳定性和公平性的良好属性。

定义2. （奖励分配）在Cedric中，防御联盟G中每个智能体𝑖在时间𝑡的奖励分配是

定理1. 在Cedric中，形成的防御联盟及其相应的奖励分配在每次DDoS攻击事件中是可行且公平的。如果防御联盟是凸的，则它是稳定的。

我们将智能体的顺序决策过程建模为一个具有事件触发交互的多智能体强化学习（MARL）过程。对于每个智能体，我们采用独立的Q学习框架，该框架学习每个状态的Q值和最优行动。不同的智能体有不同的Q表和不同的策略。特别是，由于在每一轮DDoS防御中计算基于沙普利值的奖励分配的复杂性在实践中可能是灾难性的[4]，我们提出了一种基于样本的方法来近似基于[8]和[5]的沙普利值奖励。我们在OpenAI Gym中实现了一个自定义的DDoS防御环境，并根据互联网拓扑和公共DDoS攻击记录进行模拟。图1展示了我们使用的全球DDoS攻击事件数据集。图2展示了不同奖励机制下智能体的累积奖励变化。可以看出，Cedric下智能体实现了最高的累积奖励。根据文中对奖励的定义，说明Cedric实现了最高的系统社会福利。图3展示了Cedric下智能体账户中的积分变化。可以看出强化学习帮助智能体实现了账户收支的平衡，说明博弈收敛到均衡。

图1 全球DDoS攻击事件

图2 不同奖励机制下智能体的累积奖励

图3 Cedric下智能体账户中的积分变化

本文构建了一个国家之间的随机博弈模型，以分析全球协作DDoS防御中的激励机制。设计了一个多智能体系统Cedric，以模拟自私国家的策略，并提出使用积分来实现有效合作。理论上，Cedric实现了良好的公平性和稳定性属性，并在超过7年的DDoS攻击追踪数据上实证达到了期望的均衡。

参考文献