通过网盘分享的文件:LLM_AI_Security_and_Governance_Checklist-v1.1.pdf
链接: https://pan.baidu.com/s/1MLF0TxcbyG9_A6ggior2Iw?pwd=fdaa 提取码: fdaa
如果如果你从事网络安全工作,那么人工智能安全可能是 2025 年及以后最重要的技能之一
无论你是否相信这种炒作,你都无法否认人工智能对全球几乎所有行业都产生了多大的影响
Gartner 预测,到 2026 年,超过80% 的企业将以某种方式使用 GenAI 应用程序
随着人工智能越来越接近企业数据,大多数公司还没有准备好应对新的风险
更不用说《EI AI 法案》等新法规,该法案要求公司对高风险的 AI 系统实施安全控制,能够学习和实践这项技能的专业人士将会很抢手,但是从哪里开始呢?
在本文中,我将介绍五个简单的步骤,供您学习人工智能安全并在这一新兴领域取得领先地位
步骤 1:了解机器学习
为了确保人工智能的安全,你必须首先了解它的工作原理
机器学习 (ML) 是推动大多数 AI 实现的引擎,它作为起点至关重要
了解 ML 的核心概念以及它与普通应用程序的区别。
我建议对以下主题有深入的了解:
-
监督学习和无监督学习
-
神经网络和深度学习
-
强化学习
-
特征工程
-
模型评估和验证
您不必成为专家或深入了解不同类型的机器学习算法。
但你应该对机器学习所基于的概念有深刻的理解
原因在于许多针对人工智能的攻击都试图利用这些概念!
第 2 步:了解人工智能系统中的偏见
人工智能系统最危险的风险之一是引入偏见,从而导致不公平或歧视性的决策。
想象一下,在执法或医疗领域使用的人工智能系统是否存在对特定民族或种族的偏见?!
要成为人工智能安全专家,您必须知道如何识别和减轻这些偏见。
以下是需要研究的内容:
-
偏见的类型(例如,抽样偏见、测量偏见和算法偏见)
-
有偏见的人工智能系统的伦理影响
-
减轻偏见的技术(例如重新采样、重新加权和对抗性训练)
步骤 3:了解 AI 特定攻击
第三步是了解针对人工智能的特定攻击。
随着人工智能系统变得越来越普遍,它们成为恶意行为者的目标。
为了保护这些系统,您需要了解各种攻击及其影响。
一些常见的攻击包括:
-
对抗样本
-
数据中毒
-
模型反演与提取
-
成员推断攻击
第四步:学习人工智能风险管理
人工智能安全并非凭空而来,需要适当的框架才能正常运作。
了解正在出台的规范人工智能的新法规以及它们所需的控制类型。
学习这些主题:
-
人工智能治理框架和最佳实践
-
人工智能风险评估方法
-
威胁建模 AI 系统
-
遵守相关法律法规
-
人工智能系统的事件响应和恢复计划
我建议使用以下框架来更全面地了解这个主题
1——NIST AI风险管理框架
NIST 网络安全框架已成为公司用来评估其安全态势是否符合最佳实践的行业基准。
NIST AI 风险管理框架 (RMF)将相当于 AI 风险。
这是一项与技术无关的指导,旨在帮助公司负责任地设计、开发、部署和使用人工智能技术。
NIST 框架在业界备受信赖,因为它们经过了全球专家的严格验证
无论人们的技术背景如何,这个框架都是一个很好的起点。
2 - AWS GenAI 安全范围矩阵
如果您对保护 GenAI 应用程序感兴趣,那么我强烈推荐这个框架
我承认自己有点偏见,因为我目前在 AWS 工作,但我真的相信AWS GenAI 安全范围矩阵是最好的资源之一
本系列文章由三部分组成,可帮助您了解评估生成式人工智能风险的不同方法,以及它们如何根据贵公司选择的模型而发生变化
这些概念不仅限于 AWS,还可以应用于任何提供商
强烈推荐给那些想要深入研究 GenAI 风险的人!
第 5 步:了解特定于 AI 的安全控制
现在你已经对人工智能的基础知识有了扎实的了解,你可以开始学习人工智能特定的安全控制
大多数网络安全专业人士都会犯一个错误,他们直接跳到这一步,而不是先打下坚实的基础!
要学习的几个关键主题是:
-
数据保护(例如加密、匿名化和访问控制)
-
安全模型训练和部署
-
稳健性测试和验证
-
人工智能系统的监控和审计
这方面的两个重要资源是 MITRE ATLAS 框架和 OWASP Top 10
1 — MITRE ATLAS 框架
我之前强调的框架很棒,但对于喜欢深入研究人工智能攻击技术细节的人来说,它们可能太高级了。
这就是ATLAS(人工智能系统对抗威胁形势)的作用所在。
根据他们的网站
ATLAS 是一个全球可访问的动态知识库,其中包含针对人工智能系统的对手战术和技术,这些战术和技术基于现实世界的攻击观察以及来自人工智能红队和安全小组的真实演示。
如下图所示,ATLAS 展示了攻击者如何在每个阶段攻击 AI 以及使用了哪些技术。
如果你想成为一名 AI 渗透测试员,这是一个绝佳的资源!
2 — OWASP 大型语言模型排名前 10
OWASP Top 10 是 Web 应用程序安全的另一个行业基准。
因此,当他们发布前 10 名时,这并不令人意外,这次他们重点关注大型语言模型应用
根据 OWASP
OWASP 大型语言模型应用 Top 10 项目旨在教育开发人员、设计人员、架构师、管理人员和组织了解部署和管理大型语言模型 (LLM) 时的潜在安全风险。
与之前的前 10 名类似,该文档列出了 LLM 应用程序中发现的最严重的漏洞。
它展示了它们的影响、被利用的难易程度以及现实世界的例子
如果您是 CISO 或承担安全领导职责,它还附带一个很好的配套工具,即LLM 安全与治理清单。
该清单可帮助您了解如何评估人工智能风险并实施监督计划以减轻风险
原文始发于微信公众号(KK安全说):如何快速掌握AI安全
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论