G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

admin 2022年8月19日23:55:33安全闲碎评论2 views2625字阅读8分45秒阅读模式

大家好,今天给大家推荐的是由西安交通大学沈超研究组、香港城市大学王聪研究组和德国CISPA张阳研究组联合投稿的,关于迁移学习中教师模型推断攻击的文章Teacher Model Fingerprinting Attacks Against Transfer Learning,目前该工作已被发表在USENIX Security 2022。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

在机器学习实践中,迁移学习已成为标注数据稀缺问题的常见解决方案。
在迁移学习中,开发者基于一个预训练模型(教师模型),根据下游任务训练数据对预训练模型结构或参数进行微调,快速构建出可以胜任下游任务的定制化模型(学生模型)。
现如今,预训练模型往往可以被公开访问和直接获取。例如深度学习框架Tensorflow、PyTorch,以及AI社区Hugging Face提供了多种预训练模型供开发者使用。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

图片来源:https://huggingface.co/


本文指出,使用公开预训练模型进行迁移学习会显著提高模型信息泄露风险。
对此,本文提出了一种针对迁移学习模型的教师模型指纹攻击(teacher model fingerprinting attack),可以在黑盒模型场景下推断教师模型来源。
通过在多个数据集和预训练模型上的系统性实验评估,本文展示了所提出的教师模型指纹攻击可以准确地推断教师模型。
此外,本文还指出教师模型信息泄露可能引发后续风险,例如对抗样本攻击、模型窃取攻击等,并通过实验展示了教师模型信息泄露可以有效提升模型窃取攻击的有效性。

威胁模型

攻击意图

攻击者对目标学生模型发送一系列攻击样本,并通过分析相应的模型输出,推断出目标学生模型所使用的教师模型。

被攻击目标

被攻击目标为经迁移学习得到的学生模型,该学生模型中的大部分神经网络层来自于预训练教师模型。
本文主要考虑两种迁移学习策略:

预训练参数固定
预训练神经网络层参数被固定,仅训练新添加神经网络层的参数。此时预训练部分被作为特征提取器使用。

预训练参数微调(fine-tuning)
部分预训练网络层参数同时参与训练,以使学生模型在下游任务上得到更好
拟合。

攻击者能力

候选教师模型:
本文假设攻击者从公开渠道获取到一组预训练候选教师模型。在攻击时,攻击者需要推断目标学生模型是否来自于某一个候选教师模型。

攻击数据集:
本文假设攻击者并不一定掌握教师模型或学生模型的训练数据,但可以从公开渠道获取同类型数据(例如攻击者借助鸟类图像数据攻击人脸识别模型)。

攻击者权限:
本文考察黑盒攻击,即攻击者仅可以向目标学生模型发送样本并获取模型输出,而无法获取模型内部信息,借此模拟通过API访问机器学习服务的场景。
此外,本文假定了一个更为严苛的攻击条件:模型仅返回Top-1分类标签,以最小化攻击者可获取的模型反馈信息。

方法介绍

如下图所示,本文所设计攻击的核心思路是对一个选定的探测输入x(probing input),构造一个合成输入x(synthetic input),使二者在候选教师模型(candidate teacher model)上可以生成尽可能相似的中间特征。
当目标学生模型迁移自候选教师模型时,xx大概率会在学生模型中生成相似的中间特征,并产生相同的分类结果。
为了提高推断的可靠性,攻击者可以生成多对攻击样本(xx),并逐对比较结果是否匹配。
匹配比例越高,目标学生模型来自于候选教师模型的概率就越大。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

攻击者对所有候选教师模型重复上述攻击过程,并保留匹配比例最高的候选教师模型作为推断结果。
当最高匹配比例低于预先设定的阈值时,则认为目标模型并不来源于候选教师模型,此时推断结果为空。
下图展示了一组针对不同教师模型的合成输入示例。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

实验评估

实验结果

本文实验主要涉及在7个预训练模型、6个不同数据集上生成的多个目标学生模型。

预训练参数固定时的攻击效果
实验结果表明,当预训练参数固定时,教师模型指纹攻击可以准确地推断教师模型。在实验中,对于来源于候选教师模型集的126个学生模型,推断准确率达到100%。

预训练参数下的攻击效果
预训练参数微调会改变来自教师模型的参数,进而影响中层特征表达过程,最终影响教师模型推断准确度。
下图展示了预训练参数微调规模对识别结果的影响,可以看出,模型微调会降低推断结果。
特别地,对于ResNet18、DenseNet121、MobileNetV2等包含Batch Normalization层的模型,模型微调会更明显地改变中间特征表达方式,从而更显著地减低推断准确率。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

攻击样本数对攻击效果的影响
下图展示了不同攻击样本数下的攻击效果。
总体而言,攻击样本数越多,攻击准确率越高。本文结果显示,当攻击样本数达到50(对/候选教师模型)时,即可以实现100%的攻击准确率。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

探测数据集分布对攻击效果的影响
在上述实验中,探测输入都来自于和下游任务无关的数据集VOC-Segmentation。
本文进一步发现,当探测数据集与学生模型训练集分布相同时,会有效提升推断准确率。
例如,下图给出了当探测输入来自于MNIST数据集时的攻击效果。
可以看到,对于MNIST任务上的学生模型,教师模型推断准确率得到显著提升。

G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

教师模型指纹攻击辅助下的模型窃取
本文还研究了迁移学习场景下的模型窃取攻击。
主要攻击流程包含两个步骤:

  • 攻击者向目标模型发送一系列轮询样本并得到对应标签,构建替代模型训练数据集。

  • 接着,攻击者在该数据集上进行迁移学习,并得到目标模型的替代模型(surrogate model)。

下图展示了模型窃取攻击效果。
实验结果显示,当攻击者使用与目标模型相同的教师模型时,所得到的替代模型在准确度(accuracy)和保真度(fidelity)两个指标上都优于使用其他教师模型的替代模型。
该结果表明在迁移场景下,教师模型推断攻击可以用于辅助提升模型窃取攻击效果。
G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

论文链接:https://arxiv.org/abs/2106.12478



投稿作者介绍:

陈宇飞 香港城市大学,西安交通大学
个人主页:https://yfchen1994.github.io/
香港城市大学-西安交通大学联合培养博士生,目前主要研究方向为机器学习隐私与安全,相关研究成果已经发表在USENIX Security 2022/2019,NDSS 2022上。


原文始发于微信公众号(安全研究GoSSIP):G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年8月19日23:55:33
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  G.O.S.S.I.P 阅读推荐 2022-08-18 TeacherFingerprinting http://cn-sec.com/archives/1243616.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: