G.O.S.S.I.P 学术论文推荐 2021-08-13

今天我们为大家介绍一篇来自国内著名的研究团队——NESALab、发表在2021年CCS学术会议上的研究论文（由一作亲自撰写推荐！）

受益于计算力和智能设备的飞速发展，全世界正在经历第三次人工智能浪潮。人工智能以计算机视觉、序列处理、智能决策等技术为核心在各个应用领域展开，并延伸到人类生活的方方面面。然而，随着深度学习的对抗攻击领域日益广泛，对抗样本的危险性日益凸显。

现有的关于增强神经网络模型针对对抗攻击鲁棒性的研究主要为静态的经验性防御研究，即通过设置一些经验性的防御策略或优化最坏情况下的模型损失的方式来增强模型的鲁棒性。然而，这类防御方法一个明显的不足是，即很难判断一个经验上被认为是鲁棒的神经网络模型是否真的对对抗攻击具有鲁棒性。因此，亟需从理论层面验证模型的鲁棒性，即如果对于一个给定的样本，神经网络模型在该样本的一个邻域内的预测结果不变，那么该模型从理论上具有可被验证的鲁棒性。

目前，许多研究者提出了不同的方法去衡量前馈神经网络的鲁棒性，即针对给定样本，计算可证明的能够产生对抗样本的最小扰动的下界。目前的模型鲁棒性分析方法主要分为两大类：（1）精确方法：可以证明精确的鲁棒性边界，但计算复杂度高，通常只适用于小规模的神经网络；（2）近似方法：效率高、能够扩展到复杂神经网络，但只能证明近似的鲁棒性边界。

然而，由于循环神经网络包含前馈神经网络没有的计算形式（例如多个非线性函数相乘），这些方法并不能直接扩展到循环神经网络。此外，现有循环神经网络鲁棒性证明方法存在计算精度低、计算成本高等缺点，只适用于结构简单的循环神经网络，难以扩展到实际中的复杂大规模循环神经网络。

本文提出了一种基于抽象解释的循环神经网络鲁棒空间证明框架Cert-RNN，与现有方法相比，其计算精度高、计算成本低，能够扩展到实际中的复杂大规模循环神经网络，从而验证循环神经网络的可靠性，降低循环神经网络模型在实际部署应用中的潜在风险。

Cert-RNN的主要步骤如下：

1. 输入空间变换：即把输入样本转换到zonotope表达的抽象域，由于zonotope可以保存变量之间的相互关系，因此提出的方法能够达到较高的精度；

2. 模型中间层近似：估计并证明不同情形下模型中每一层zonotope的输出范围；

3. 模型鲁棒判断：用最终zonotope在不同类别上的输出范围验证模型的鲁棒性；

4. 边界计算：基于二分思想计算满足指定精度的模型鲁棒边界。

评估阶段，作者在手写数字识别、情感分析、恶意评论检测以及恶意URL检测四种数据集上进行了实验，并且和POPQORN进行了详细的对比。实验中，作者挑选了多种不同结构的RNN和LSTM进行评估，研究了不同神经元个数、不同模型层数对模型鲁棒性的影响。

此外，作者还介绍了Cert-RNN计算得到的模型鲁棒性边界的三种实际应用场景，包括评估不同防御方法对模型可验证鲁棒性的提升效果、结合IBP方法用于训练提升模型的可验证鲁棒性以及通过分析不同单词的脆弱性来辅助解释模型的决策结果。

论文PDF：

https://nesa.zju.edu.cn/download/dty_pdf_cert_rnn.pdf

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 学术论文推荐 2021-08-13