黑客竞相混淆面部识别

面部识别技术在我们的生活中变得越来越普遍，但它也极易受到攻击。这就是为什么一组研究人员呼吁黑客参加一项旨在揭露面部识别缺陷并提高对潜在风险的认识的新竞赛。

自 2019 年以来，机器学习安全规避竞赛一直是AI Village在Def Con黑客会议上的常规活动。早期的迭代挑战研究人员绕过基于机器学习的恶意软件检测系统的防御。2021 年，组织者增加了一条新赛道，旨在发现计算机视觉模型中的缺陷，这些模型使用视觉线索来检测网络钓鱼网站。

https://mlsec.io/

但今年的比赛还将让黑客与面部识别系统对抗，挑战他们修改名人的照片，以便机器学习模型错误识别他们。比赛组织者之一、软件公司 Cujo AI 漏洞研究实验室负责人 Zoltan Balazs 表示，此次增加是为了应对面部识别使用的快速扩张以及许多供应商看似松懈的安全方法。

“我们真的希望我们的比赛得出的结论之一是，当人们在实施面部识别系统时，应该特别注意，因为它们并不完美。后果可能很糟糕。”

面部识别挑战是由 AI 安全公司 Adversa AI 设计的，它确切地知道这些机器学习模型的脆弱性。该公司定期进行“红队”演习——它被其他公司雇用来测试他们的机器学习系统是否存在安全漏洞。

Adversa 首席技术官 Eugene Neelou 说，黑客可以使用越来越多的在线工具进行此类攻击，并且已经有现实世界的例子表明人们利用了面部识别系统的弱点。一名新泽西男子在提交了他伪造的驾驶执照和戴着卷发假发的“自拍”后，获得了多个“已验证”的 ID.me 帐户。据称，他使用这些账户提交了虚假的失业申请，保险公司向他支付了 900,000 美元。

“对于有足够动机的攻击者来说，这非常容易和快速。我们的参与表明，一些最好的面部识别供应商几乎没有表现出对抗性输入修改的安全性。”

组织者希望他们的比赛能够突出当前对面部识别的关注。获胜者还需要公布其技术，这将有助于行业缩小潜在差距。比赛于 8 月 12 日开幕，将持续到 9 月 23 日。参赛者将获得一组 10 张知名名人的头像，并可以在线访问经过训练可以识别他们的面部识别模型。

攻击者被指示巧妙地更改图像，以便模型错误识别它们。目标是诱使系统将每个名人识别为其他名人，这意味着为每个图像创建九张修改过的图像。然后需要将这些信息提交给比赛组织者，他们将评估欺骗的有效性。

判断每个图像的最重要标准是模型接受新身份的置信度。这是通过模型给出的图像的概率分数来判断的，范围从 0 到 1。图像也将根据修改的“隐秘性”进行评分——换句话说，就是它们被发现的难易程度。这将根据原始图像和修改图像之间的级别结构相似性进行判断，但仅当团队在置信度得分上处于水平时才会用作决胜局。

参赛者如何编辑图像取决于他们。虽然可以手动修改它们，但 Neelou 表示，对机器学习系统的攻击通常使用自动化流程。在大多数情况下，黑客对他们所针对的模型一无所知，因此会提交数百或数千张图像，并使用模型的反馈来迭代他们的更改。但是，如果他们可以收集有关模型的一些信息，他们的工作就会变得更加容易，因为他们可以根据模型的特殊性调整方法。

“有多种策略可以针对神经网络的不同内部特征，一种攻击技术对一个网络可能是最好的，而对另一个网络可能是最差的。这就是为什么没有万能的攻击，但只要有足够的时间，每个人工智能系统都可以被黑客入侵。”

面部识别开发人员可以做很多事情来保护他们的模型。对抗性再训练（其中模型被重新训练以发现篡改的图像）、攻击检测，甚至像限制人们可以将数据输入模型的次数这样简单的技术都可以提供帮助。

但该行业真正需要的是根本的思维转变，以便在开发过程的早期考虑安全性，而不是在最后被标记。

人工智能容易受到攻击的主要原因是，人工智能从来没有考虑到安全性。

与许多技术一样，安全性是事后才考虑的。

原文始发于微信公众号（网络研究院）：黑客竞相混淆面部识别