网络安全人士必知的人工智能对抗模型MITRE ATLAS

MITRE ATLAS™（人工智能系统的对抗威胁格局）是一个关于机器学习 (ML) 系统的对手战术、技术和案例研究的知识库，基于现实世界的观察、ML红队和安全小组的演示，以及学术研究的可能性状态。ATLAS 是仿照MITRE ATT&CK ®框架建模的 ，其策略和技术与 ATT&CK 中的策略和技术是互补的。

ATLAS 使研究人员能够了解机器学习系统面临的威胁 。机器学习越来越多地应用于各个行业。机器学习中的漏洞越来越多，其使用增加了现有系统的攻击面。ATLAS 是为了提高人们对这些威胁的认识，并以安全研究人员熟悉的方式呈现它们。

ATLAS 矩阵包括侦察、资源开发、初始访问、机器学习模型访问、执行、持久化、权限提升、防御规避、凭证访问、发现、收集、机器学习攻击阶段、渗透、影响共14个阶段。

侦察包括搜索受害者的公开研究材料、公开的对抗性漏洞分析、受害者拥有的网站、应用程序商店及主动扫描。

资源开发包括获取公开的ML项目成果或资产（例如数据集、模型配置、参数等）、获得能力（对抗性机器学习攻击实施、软件工具）、开发对抗性机器学习攻击能力、获取基础设施（机器学习开发工作空间【例如集成开发环境、深度学习框架、可视化工具、版本控制系统等】、消费类硬件）、发布中毒数据集、毒训练数据、建立账户。

初始访问包括机器学习供应链威胁（GPU硬件、机器学习软件、数据、模型）、有效账户、规避机器学习模型、利用面向公众的应用程序、LLM即时注入、网络钓鱼。

机器学习模型访问包括ML模型推理API访问、支持ML的产品或服务、物理环境访问、完整的ML模型访问。

执行包括用户执行（不安全的机器学习工件）、命令和脚本解释器、LLM插件威胁。

持久化包括毒数据训练、后门机器学习模型（毒ML模型、注入有效负载）、LLM即时注入。

权限提升包括LLM即时注入、LLM插件威胁、LLM越狱。

防御规避包括规避机器学习模型、LLM即时注入、LLM越狱。

攻击者可能会搜索受感染的系统以查找并获取不安全存储的凭据。

发现包括发现ML模型本体、探索ML模型系列、发现机器学习结果或副产品【特征工程、超参数调整、模型评估指标等】、LLM元提示提取。

收集包括ML相关数据和信息、来自信息存储库的数据、来自本地系统的数据。

机器学习攻击阶段包括创建代理ML模型（通过收集的ML数据和信息训练代理模型、通过复制训练代理模型、使用预先训练的模型）、后门机器学习模型（毒ML模型、注入有效负载）、验证攻击、制作对抗性数据（白盒优化、黑盒优化、黑匣子传输、手动修改、插入后门触发器）。

渗透包括通过ML Inferene API进行渗透（推断训练数据成员资格、反转机器学习模型、提取机器学习模型）、通过网络手段进行渗透。

影响包括规避机器学习模型、拒绝机器学习服务、向ML系统提供假数据或干扰数据、破坏机器学习模型的完整性、增加机器学习成本、机器学习知识产权盗窃、系统滥用造成外部影响。