自动机器学习的安全风险

原文标题：On the Security Risks of AutoML

原文作者：Ren Pang and Zhaohan Xi, Pennsylvania State University; Shouling Ji, Zhejiang University; Xiapu Luo, Hong Kong Polytechnic University; Ting Wang, Pennsylvania State University

发表会议：USENIX SECURITY '22

原文连接：https://www.usenix.org/system/files/sec22summer_pang.pdf

笔记作者：Norns@SecQuan

笔记小编: ourren@SecQuan

0x01 Introduction

自动机器学习(AutoML)是自动构建机器学习模型，减少人力在机器学习模型构建中的参与的一种重要方法。神经网络结构搜索(Neural Architecture Search, NAS)是AutoML的一种，目的是针对具体的任务，搭建最合适的神经网络模型。随着NAS在越来越多重要任务上的应用，对NAS搭建出来的模型的安全性评估成为了一个亟待解决的问题，这篇文章的提出，弥补了这一研究上的空白。

针对NAS搭建出来神经网络模型，作者关注以下三个问题：

1. 相较于人工搭建的神经网络模型，NAS构建的模型是否会更加的脆弱？

2. 如果对于第一个问题的回答是肯定的，那么是什么原因导致了这一脆弱性？

3. 如何避免NAS给神经网络模型带来的脆弱性？

0x02 Measurement

为了回答上述提到的第一个问题，作者选用若干NAS构建的和人工构建的神经网络模型，用不同数据集进行验证，探究NAS构建的神经网络模型是否会更加的脆弱。

以PDG攻击(projected gredient descent attack)为例，作者评估不同的模型受到攻击时攻击的成功率。实验的结果如下图，其中红色表示NAS构建的模型，蓝色表示人工构建的模型。

根据实验结果，可以得到几个结论：

1. NAS构建模型受到攻击时攻击的成功率较高。

2. 相较于人工构建的模型，NAS构建的模型在分布在更加密集，表示它们的脆弱程度具有某种相似性。

3. NAS构建的模型的脆弱性在不同的数据集上的表现出了不同的模式。

可以看出，NAS构建的模型相较于人工构建的模型更容易遭受攻击，且NAS构建的模型在脆弱性上具有某种相似性。在其它针对神经网络模型的攻击上可以得到相似的结论。

0x03 Analysis

作者提出假说：流行的NAS方法通常在备选模型还没收敛时就对其进行评估，因此NAS倾向于选择那些收敛速度快的模型。根据这个假说，NAS构建的模型应该具有以下两个特点。

1. High loss smoothness：梯度是神经网络进行优化是的重要依据，由于NAS趋向于选择收敛快的模型，这些被选择的模型的Loss Landscape都更加的平滑。

2. Low gredient variance：NAS模型的梯度相对于给定的分布倾向于有较低的方差。因此，随机梯度作为真实梯度的估计，使NAS模型收敛更快。

对神经网络模型攻击的成功率高度依赖于Loss Landscape的平滑性和梯度的方差，基于以上原因，NAS遭受攻击时攻击的成功率较高。

0x04 Potential Mitigation

对NAS模型进行保护的策略包含两种：(1)在NAS模型生成后应用保护措施；(2)使用更为安全的方式生成NAS模型。

Post-NAS mitigation

以对抗训练为例：

实验结果表明，在对NAS模型应用保护措施能够有效地降低模型的脆弱性。

In-NAS mitigation

作者对NAS模型的生成机制提出了两点建议：(1)增加单元的深度；(2)尽量不要添加跨层的连接。仅仅做到这两点，就能够有效地降低NAS模型的脆弱性。