1、简介
机器学习（ML）已迅速成为支撑无数应用的基础技术，从自然语言处理和计算机视觉到欺诈检测和个性化推荐.近年来，人们对如何在安全环境中使用ML的理解越来越多，从而开发了用于检测和预防恶意活动的高级工具和技术。有兴趣了解AI安全知识的读者可以参考相应的CyBOK主题指南。然而，机器学习本身的安全和隐私方面仍然知之甚少，这给研究人员和从业者带来了新的挑战和机遇。
![网络安全知识体系：人工智能安全隐私之简介]( "网络安全知识体系：人工智能安全隐私之简介")
本网络安全知识体系（CyBoK）知识指南（KG） 旨在描述破坏 ML 模型 的安全性和隐私的攻击和防御，这些模型定义了对抗性机器学习领域。我们关注的是在这个快速发展的领域中，在保护和保护机器学习模型隐私的背景下出现的关键挑战、开放问题和有前途的解决方案。
传统上，机器学习研究的主要重点是提高性能，通常根据准确性、精确度、召回率和其他与性能相关的传统指标来衡量。然而，随着机器学习系统越来越多地部署在具有重大安全和隐私影响的现实世界环境中，越来越需要考虑其他目标。这些目标可能包括对抗性攻击和分布变化的鲁棒性，决策过程的公平性，以及确保模型的可解释性和可解释性。平衡这些经常相互竞争的目标，是开发可信赖的机器学习系统的核心挑战。
![网络安全知识体系：人工智能安全隐私之简介]( "网络安全知识体系：人工智能安全隐私之简介")
此外，随着机器学习模型在大量数据上进行训练，其中可能包括敏感或机密信息，隐私问题变得越来越重要。为了透明度和协作而发布或提供对数据和模型的访问的需要与保护数据机密性以及个人和组织隐私的要求之间存在着内在的紧张关系。从ML模型推断敏感信息的技术越来越复杂，即使模型本身被认为是“黑匣子”，这种紧张关系也进一步加剧。
可信机器学习领域的研究正在迅速发展，新技术和方法被提出并定期进行评估。因此，本CyBoK KG并非旨在提供对该领域的详尽调查，而是提供当前 趋势、开放问题和有前途的解决方案的概述，这些解决方案正在塑造对抗性机器学习的格局，特别关注人工智能系统的安全性和隐私性。通过探索这些主题，我们为计算机科学家、从业人员和研究人员提供了宝贵的资源，以更好地理解和解决与机器学习系统相关的安全和隐私挑战。
在KG的其余部分，我们将深入研究对抗性机器学习的各个方面，涵盖规避攻击、中毒和后门攻击、可实现和问题空间攻击、推理攻击以及对抗性攻击和隐私保护技术等主题。我们希望这个KG的未来扩展将更详细地涵盖可信机器学习的更广泛背景，包括与公平性、可解释性和可解释性相关的问题，以及相关的供应链安全、新兴趋势和这个令人兴奋和快速发展的领域的研究方向。
原文始发于微信公众号（河南等级保护测评）：网络安全知识体系：人工智能安全隐私之简介
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
点赞
https://cn-sec.com/archives/2963826.html
复制链接
复制链接
-
左青龙
- 微信扫一扫
-
-
右白虎
- 微信扫一扫
-
评论