对抗性机器学习（AML）涉及提取有关机器学习系统的特征和行为的信息，并操纵输入以获得期望的结果。
日前，美国国家技术与标准研究院（NIST）发布了一份关于AML的指南，记录了针对人工智能（AI）系统的各类攻击，并对AI开发人员及用户发出警告，目前此类系统并没有什么万无一失的防护方法。该机构鼓励AI行业积极探索更好的防御措施。
这份《对抗机器学习：攻击与缓解的分类及术语》的报告，涵盖了预测式AI和生成式AI。生成式AI专注创建新的内容，而预测式AI则利用历史数据预测未来结果。
这份报告是NIST与美国东北大学和Robust Intelligence公司合作编写，重点关注AI领域四种主要攻击类型：逃逸、投毒、隐私和滥用。
NIST计算机科学家Apostol Vassilev表示：“尽管AI与机器学习已取得长足进步，但此类技术仍易遭到攻击，可导致严重故障并带来可怕后果。AI算法防护方面仍然存在一些理论上的问题有待解决。如果有人放言AI无懈可击，那他肯定是在蒙人。”
SaaS安全公司AppOmni首席AI工程师兼安全研究员Joseph Thacker对NIST的这份报告给予了很高评价，称之为“生平所见最佳AI安全出版物”。
“最值得一提的是这份报告的深度和广度。这是我见过的AI系统对抗攻击方面最具深度的内容。报告涵盖提示注入攻击的不同形式，细致描述了此前分类不明的部分并给出了相关术语，甚至还引用了DAN（Do Anything Now）越狱等大量现实世界例子，参考了一些令人惊叹的直接提示注入案例。”
Thack补充道：“报告以多个章节的篇幅介绍了潜在缓解措施，但明确表示对抗攻击问题尚未解决。开源模型还是闭源模型的讨论亦涵盖其中。报告末尾还附了一张很有帮助的词汇表，我个人计划在研究AI安全或撰写相关文章时将之用作大语言模型（LLM）的附加‘语境’。这样可以确保LLM和我都按特定于该领域的相同定义行事。”
EchoMark公司通过在文档和消息中嵌入不可见取证水印来保护敏感信息，该公司创始人兼首席执行官Troy Batterberry也评论道：“NIST的对抗ML报告有利于开发人员深入了解AI攻击。其中的攻击分类和防御建议凸显出不存在通用威胁解决方案的事实，但了解对手运作方式并做好相应准备是缓解风险的关键。”
“作为一家利用AI和LLM的公司，我们深知必须保护AI发展安全，也鼓励投身AI安全领域，确保AI系统稳健可信。了解AI攻击并为此做好准备不是技术问题而是战略必需，我们有必要保证日渐AI化的业务解决方案依然可信且完整。”
Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations（NIST.AI.100-2）
《对抗机器学习：攻击与缓解的分类及术语》获取方式如下：
1、关注“数世咨询”公众号
2、后台回复“对抗机器学习”获取下载链接或点击阅读全文下载
* 本文为nana编译，原文地址：https://www.securityweek.com/nist-no-silver-bullet-against-adversarial-machine-learning-attacks/
图片均来源于网络，无法联系到版权持有者。如有侵权，请与后台联系，做删除处理。
更多推荐
原文始发于微信公众号（数世咨询）：对抗机器学习（AML）攻击没有万能解决方案
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论