人工智能安全| 基于模型水印的联邦学习后门攻击防御方法

分别来自西安电子科技大学、江西师范大学和暨南大学的副教授郭晶晶博士、硕士刘玖樽、教授马勇博士、副研究员刘志全博士、硕士生熊宇鹏、李佳星、本科生苗可和教授马建峰博士，在《计算机学报》发表论文“基于模型水印的联邦学习后门攻击防御方法”，该文摘要如下。扫描二维码或点击“阅读原文”可查看全文。

联邦学习作为一种隐私保护的分布式机器学习方法，容易遭受参与方的投毒攻击，其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大．现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束（服务器需拥有干净的根数据集，恶意参与方比例小于50%，投毒攻击不能在学习初期发起等）．在约束条件无法满足时，这些方案的效果往往会大打折扣．

针对这一问题，本文提出了一种基于模型水印的联邦学习后门攻击防御方法．在该方法中，服务器预先在初始全局模型中嵌入水印，在后续学习过程中，通过验证该水印是否在参与方生成的本地模型中被破坏来实现恶意参与方的检测．在模型聚合阶段，恶意参与方的本地模型将被丢弃，从而提高全局模型的鲁棒性．为了验证该方案的有效性，本文进行了一系列的仿真实验．实验结果表明该方案可以在恶意参与方比例不受限制、参与方数据分布不受限制、参与方发动攻击时间不受限制的联邦学习场景中有效检测恶意参与方发起的后门投毒攻击．同时，该方案的恶意参与方检测效率相比于现有的投毒攻击防御方法提高了45%以上．

文章二维码

原文始发于微信公众号（数据安全矩阵）：人工智能安全| 基于模型水印的联邦学习后门攻击防御方法