生成式AI，需要以安全为中心

随着时间的推移，安全团队试图通过某些策略来控制影子 IT，以减轻其引入带来的过多风险和挑战，但事实上因为各种因素，安全风险往往难以消除。

IT研究与顾问咨询公司Gartner的数据显示，2022年，41%的员工在IT部门之外获取、修改或创建了技术，而Capterra的2023年影子IT和项目管理调查发现，57%的中小型企业在其IT部门职权范围之外发生了影响力很大的影子IT事件。

虽然生成式AI与影子IT是截然不同的东西，但生成式AI的起飞速度比影子IT快得多。我们可以预见的教训是，随着新技术使用的增长，应该在早期阶段制定以安全为中心的策略，而不是在达到无法管理的规模之后才被迫去制定相关策略。

然而，雪上加霜的是，如果不受管理，生成式AI可能会潜入到企业之中，增加企业的潜在安全风险，且这些风险目前仍在探索和发掘之中。

在过去的几个月里，大多数组织一直在以某种方式尝试使用生成式AI，但现在他们真的需要考虑安全政策的影响，NetSkope CISO Neil Thacker说：“我们正处于希望看到生成式AI为企业服务的真正价值的阶段，但很快，我们将不得不开始考虑控制它。

Salesforce最近对500多名高级IT领导者进行的一项调查显示，尽管大多数人（67%）在未来18个月内优先考虑为其业务提供生成式AI，但几乎所有人都承认，在成功利用该技术的同时，必须采取额外措施解决安全问题。

Thacker说，问题在于，大多数组织，无论规模或行业如何，在如何控制和管理生成式AI的安全使用方面，都面临着同样的挑战。比如：生成式AI在政策集和政策框架中处于什么位置？是关于访问控制吗？是围绕数据的加密吗？是围绕恶意软件等威胁元素吗？

Thacker说，生成式AI不断发展的能力复杂性及其日益普遍性表明，其将在众多领域触达更多的影响力，因而首席信息安全官和安全团队要试图领先于生成式AI。他补充说，有效的生成式 AI 安全策略可以建立在人员、流程和技术的可信安全三要素之上，但生成式 AI 的独特性更加强调与业务范围、潜在风险和策略应用相关的持续交互关系。

业务协调，可能是首席信息安全官面临生成式AI安全政策最大的挑战，也可能是最大的机会。这是一个相当大的挑战，因为大多数组织将购买而不是构建生成式AI，许多组织甚至可能不直接购买生成式AI，而是通过捆绑集成将之纳入。

因此，这需要投入大量时间来理解尽可能多的生成式AI业务应用，以及生成式AI本身的扩展功能，并将其制定成策略。这是一个机会，因为这意味着针对生成式AI的安全控制可以从一开始就融入企业运营实践中，以期符合业务需求和目标。

最终目标是创建一个自上而下的、适合业务的安全策略，该策略几乎可以自主地在整个公司内被理解和运转。它不能是孤立在安全性中的东西，不同的业务功能应该能够将其应用于生成式AI的安全使用，而无需由安全团队人为干预。

（ISC）首席信息安全官Jon France说：“这归结为经典的风险管理。应当了解什么对业务很重要，并了解开发或使用这项技术与业务相关的风险。”

生成式AI实践，因此安全策略，不仅因业务而异，而且可能在部门之间有所不同（这是需要充分理解的另一个原因）。处理特别敏感信息的组织，或在强监管的行业中，可能会试图完全禁止使用人工智能。

一些公司已经这样做了：三星在使用生成式AI时意外泄露了敏感的公司信息后便禁止使用。但是，这种严格、全面禁止的方法可能存在问题，扼杀安全、创新的使用，并产生影子IT中普遍存在的策略解决方法风险类型。更复杂的实践风险管理方法可能更加有效。

“例如，开发团队可能正在处理不应上传到生成式AI服务的敏感专有代码，而营销部门可以使用此类服务以相对安全的方式完成日常工作”。Hornetsecurity的安全传播者Andy Syrewicze说。

有了此类认知，首席信息安全官可以就策略做出更明智的决策，平衡实践与安全风险。

除了了解不同的业务实践外，首席信息安全官还需要了解生成式AI的功能，这些功能目前仍在不断迭进发展。

France认为：“这将需要一些技能，安全从业者将不得不学习什么是生成式AI的基础知识，什么不是。”

埃维诺全球网络安全卓越中心负责人Jason Revill表示，首席信息安全官已经在努力跟上现有安全功能的变化步伐，因此，在围绕生成式 AI 提供高级专业知识的基础上，将具有挑战性。

Jason Revill补充说：“他们通常落后于曲线几步，我认为这是由于技能短缺和监管滞后，但也因为安全迭进技术呈指数级增长。首席信息安全官可能需要考虑尽早引入外部专家帮助，以领先于生成式AI，而不仅仅是让项目业务继续开展下去。”

Syrewicze说：“至少，企业应该制定内部政策，规定允许哪些类型的信息与生成式AI工具一起使用。”

与使用先进的自我学习的人工智能算法共享敏感业务信息相关的风险是有据可查的，因此围绕哪些数据可以进入并被生成式AI系统使用的适当指导方针和控制肯定是关键。

France强调：“对于你放入模型中的内容，以及是否会用于训练以便其他人可以使用它，存在知识产权问题。”

Iterate.ai 联合创始人兼首席技术官Brian Sathianathan认为：“围绕数据加密方法、匿名化和其他数据安全措施的强有力的政策，可以防止未经授权的访问、使用或传输数据，人工智能系统经常大量处理这些数据，使技术更安全，数据可以得到有效保护。”

Revill说，数据分类、数据丢失预防和检测功能是内部风险管理的新兴领域，成为控制生成式AI使用的关键。“你如何缓解或保护、测试和沙盒数据？测试和开发环境通常很容易成为目标，并且可以从中导出数据，因为它们往往不像流水线生产那样具有严格的质量控制。”

除了控制哪些数据进入生成式 AI 外，安全策略还应涵盖生成式 AI 生成的内容。这里的主要问题与“幻觉”有关，即生成式AI聊天机器人（如 ChatGPT）使用的大型语言模型 （LLM） 会反刍看似可信但实际错误的不准确之处。

因此，如果关键决策过度依赖输出数据，而没有进一步分析其准确性，特别是与业务关键事项有关，这将成为一个重大风险。

例如，如果一家公司依靠LLM来生成安全报告和分析，并且LLM生成的报告包含公司用于做出关键安全决策的错误数据，则由于依赖不准确的LLM生成的内容，可能会产生重大影响。

Thacker认为，任何有价值的生成式AI安全策略都应该包括明确的流程，用于手动审查生成内容的准确性以进行合理化，并且永远不要认为可以在这方面节省投入。

这时还应考虑未经授权的代码执行，当攻击者利用 LLM 通过自然语言提示在底层系统上执行恶意代码、命令或操作时，就会发生这种情况。

Deep Instinct首席信息官兼花旗全球基础设施防御和CISO前负责人Carl Froggett认为，生成式AI增强攻击也应该纳入安全策略的范围，特别是在企业如何应对这些攻击方面。

例如，组织如何处理冒充和社会工程学，将需要重新审视，因为生成式AI可以使虚假内容与现实模糊不清。

Carl Froggett补充说：“从CISO的角度来看，使用生成式AI来攻击公司，更加令CISO们担忧。”

Froggett 引用了一个假设场景，其中恶意行为者使用生成 AI 来创建自己的逼真录音，伪造他独特的表达和俚语，以用于欺骗员工。他说，这种情况使得传统的社会工程控制（例如检测电子邮件中的拼写错误或恶意链接）变得多余。员工会相信他们真的和你说过话，听到过你的声音，并觉得这是真实的。

因此，从技术和意识的角度来看，安全策略需要根据生成式AI引入的增强的社会工程威胁进行更新。

要使任何安全策略取得成功，都需要得到良好的沟通和可访问性。“这是一个技术挑战，但它也关乎我们如何沟通它”，Thacker说。他补充说，安全策略的沟通需要改进，利益相关者管理也是如此，首席信息安全官必须从业务角度调整安全策略的呈现方式，特别是与流行的新技术创新相关的东西。

这还包括培训员工了解生成式AI所暴露的新业务风险的新政策。Revill说：“教员工如何负责任地使用生成式AI，阐明一些风险，但也让他们知道，企业正在以经过验证的、负责任的方式实现这一目标。”

生成式 AI 安全策略不应忽略供应链和第三方管理，应当采用相同级别的尽职调查，来衡量外部生成式 AI 的使用情况、风险级别和策略，以评估它们是否对组织构成威胁。“供应链风险并没有随着生成式AI而消失——有许多第三方集成需要考虑”，Revill说。

云服务提供商也面临这样的问题。Thacker认为：“我们知道，组织拥有数百甚至数千种云服务，而且它们都是第三方供应商。因此，需要对大多数各方进行相同的尽职调查，这不仅仅是你首次登录或使用服务时的注册，还必须不断进行审查。

Thacker说，广泛的供应商调查问卷尽可能多地详细说明任何第三方的生成AI使用情况是目前要走的路。比如要囊括的一些重要问题：你输入了哪些数据？如何保护？会话如何受到限制？如何确保数据不会在其他组织和模型训练之间共享？

Thacker认为，许多公司可能无法立即回答这些问题，尤其是在他们使用通用服务方面，但重要的是尽快进行这些对话，以获得尽可能多的洞察力。

最后要考虑的是，使生成式AI安全策略尽可能令人兴奋和互动的好处，Revill说：“我觉得这是一个如此大的转折点，任何没有向员工展示他们正在考虑如何利用生成式AI来提高生产力并使员工的生活更轻松的组织，都可能发现自己处于一个尴尬和棘手的境地。

Revill补充说，下一代数字原住民无论如何都会在自己的设备上使用这项技术，所以你不妨教他们在工作生活中对这项技术负责，这样你就保护了整个企业。“我们希望成为业务中的安全促进者——使业务运转更加安全，而不是阻碍业务创新。

某世界500强国内金融公司安全总监Daker认为，生成式AI带来的风险是毫无疑问的，并且越来越多的企业需要接纳生成式AI，而不是排斥或抗拒，而应当主动去学习和接纳，以及学会以彼之道还施彼身，即CISO必须利用生成式AI来加强企业的网安策略，并开发出更为强大的防御措施，以抵御此起彼伏的更为复杂的恶意攻击。

我认为，CISO目前面临的最大挑战是网安技能和网安视野相对于生成式AI技术突飞猛进的差距，对于安全管理者而言，以往生成式AI产生的风险威胁远没有现在以及以后剧烈，并且这种剧烈程度是超乎很多人想象的，所以，作为企业安全的负责人，应当主动去学习生成式AI相关的前沿知识，掌握最新信息，并确保能够有效地传达给团队人员。因为安全团队的成员没有跟上新技术新理念，则无法在操作层面保护企业免受生成式AI所带来的实际威胁。

我们要清醒地认识到，现在整个社会已经进入了生成式AI的时代，这是大势所趋，不可逆转。因此，更加频繁和复杂的网络攻击势必会随之而生。对于CISO来说，这是一个挑战，也是一项机遇。因为如果没有新的风险威胁，CISO的价值可能就无法更好地体现出来。

因此，CISO们首先必须接受这一新的现实，并善于利用AI的力量来对抗生成式AI所带来的网络攻击。实际上，网安本质就是一个猫捉老鼠的游戏，老鼠的反捕捉技能突飞猛进的话，猫想要生存，只能保证自己的捕捉技能永远凌驾于老鼠的反捕捉技能之上。

华为高级开发工程师Gfeng认为，管理好生成式AI所带来的风险问题，需要从监管层面、技术层面和企业管理层面来进行。

在监管层面，需要建立和健全生成式AI相关的监督管理制度与标准，比如算法分级分类管理、算法推荐服务安全管理、AI 滥用风险上报渠道等等，并定期或经常针对 AI 应用安全合规性评估审查与处置。

在技术层面，则要大力研究生成式AI赋能网安技术，比如针对复杂网络攻击的防御能力，还要研究利用生成式AI技术提升企业在网安攻击检测、数据资产识别与风险监测、业务风控、恶意信息识别、威胁分析、伪造识别等方面的能力。

在企业管理层面，企业要制定生成式AI整体安全策略，编写生成式AI标准规范与技术指南，并培养或招揽生成式AI安全领域专业人才，针对性地进行生成式AI安全新技术新业务安全风险评估和技术研发，强化安全技术手段建设，建设涵盖网络安全、算法安全、数据安全与隐私保护等功能的生成式AI安全管控能力。此外，安全与人息息相关，还要对企业员工业务开展和日常工作中使用各类生成式AI进行规范培训。