AI疲劳了？让我们来看看真正的AI 安全要点

unsetunset0x00 前言unsetunset

趋势科技美国企业首席风险官 David Roth 与特邀演讲嘉宾 Forrester 副总裁兼首席分析师 Jeff Pollard 最近就人工智能炒作与现实以及如何在工作场所保护人工智能进行了讨论。

Jeff Pollard 说：“我不敢说我们已经到达了人工智能炒作的顶点。但我觉得我们可能已经接近了，否则我们整个行业可能会面临困境，因为现在有太多不切实际的承诺和期望被提出，而这些承诺和期望目前并没有得到兑现。”

unsetunset0x01 警惕人工智能炒作unsetunset

Jeff Pollard：“你生成报告的速度越快，你处理事件的时间就越多。”

对网络安全领域生成式人工智能的炒作，并非仅仅是因为人们对新奇事物的迷恋。

安全团队迫切需要缓解压力，他们承受着巨大的压力，资源匮乏，长期面临技能短缺的问题，同时还要应对不断增加和变化的威胁。

在讨论生成式人工智能（genAI）技术的兴起，许多人对其抱有幻想，认为它可以自动化并完全接管安全运营中心（SOCs）的工作，甚至像《终结者》里的角色那样，有一种强大的、具备自主决策能力的恶意软件狩猎代理。

miao2sec：

恶意软件狩猎代理（malware-hunting agents）指的是一种专门用于检测、识别、追踪和消除恶意软件的自动化工具或系统。在网络安全中，这些“代理”可以是基于人工智能或自动化规则的程序或服务，负责在系统或网络中主动寻找和应对恶意软件威胁。

然而，今天的生成式人工智能系统还不足以在没有人类干预和监督的情况下有效运行。

它远非神奇地解决技能短缺问题，反而可能在短期内通过引入新的培训需求而加剧这一问题。

文化因素也不容忽视。虽然经验丰富的从业者可能很快就能学会新的 AI 工具，但他们仍然需要几周或几个月的时间来改变他们的习惯，并将这些工具整合到他们的工作流程中。

尽管如此，当前的生成式人工智能系统在安全领域仍然有很多有吸引力的应用案例。

通过增强现有能力，人工智能可以帮助团队用更少的苦差事做更多的事情，并获得更好的结果，特别是在应用开发、检测和响应等领域。

unsetunset0x02 把握快速见效的机会unsetunset

David Roth：“虽然它并不像电影《少数派报告》中预防犯罪部门那样神奇，但至少你能够通过分析海量数据，洞察到潜在攻击路径的可能性和特征。”

在生成式人工智能的帮助下，安全团队能迅速获得成效的一个领域是文档生成。

行动总结、事件记录等报告的编写既枯燥又耗时，但却是必不可少的工作。

生成式人工智能能够即时生成这些文档，从而让安全专家有更多时间和精力去处理更多的安全事件。

需要注意的是，安全专家在履行职责时需要具备良好的沟通技巧。

虽然人工智能生成的报告可以节省时间，但这不应该以牺牲个人职业发展为代价。

此外，生成式人工智能还能推荐下一步的最佳行动，并能比人类更快地从现有知识库中检索出可用信息。

在这种情况下，关键是要确保人工智能的输出与组织的需求和方法论保持一致。

例如，在一个预定的流程中有七个步骤，而 AI 助手只建议完成其中的四个步骤时，那么人类操作员就需要确保所有七个步骤都被遵循 —— 这样才能达到预期的效果，并确保所采取的行动既符合公司政策也符合外部法规。

无意间采取的捷径可能会带来严重后果。

miao2sec：

虽然捷径看似节省时间或简化流程，但如果这些捷径不是有意设计的，可能会导致关键步骤被忽略，从而引发严重的问题。例如，在安全操作或复杂的业务流程中，跳过必要步骤可能导致漏洞、错误或系统失败。

unsetunset0x03 利用 AI 主动出击unsetunset

David Roth：“如果你的企业使用了企业级软件，那么它很可能已经集成了人工智能技术。无论是 SAP 的 Joule、集成了 Einstein GPT 的 Salesforce、还是与 Copilot 合作的 Microsoft 等其他许多类似的产品。这又是一个你需要关注的问题，因为这些变化会改变用户与公司数据互动的方式。”

生成性人工智能（GenAI）有望将 “大数据难题” 转化为大数据机遇，通过识别攻击面的变动和模拟攻击路径，让安全团队比现在更加主动。

虽然它可能无法精确预测未来，但它可以帮助安全团队提前防范那些可能被忽视的威胁。

这一策略在实际应用中的有效性，取决于组织对其系统、配置和当前状态的了解程度。

如果存在盲点，AI 也会有盲点。

遗憾的是，这些盲点在今天很常见，即使是大型企业，数据和文档也可能分散记录在不同计算机的多个电子表格中。

这凸显了良好的、AI 友好的数据管理习惯和标准化的数据管理方法的重要性。原始数据的质量越高，AI 能做的事情就越多。

unsetunset0x04 注意影子 AIunsetunset

David Roth：“这让我回想起了早期云计算的超速增长时期…… 当你跟不上业务发展的速度时，通过治理和安全控制来实施就变得更加困难。”

企业对 AI 可能泄露敏感的公司或客户信息感到担忧是有道理的。

这种情况可能通过员工使用未经授权的工具，或者通过那些越来越多集成了 AI 功能的获批准的企业软件发生。

在过去，恶意行为者需要懂得如何侵入 ERP 系统才能获取里面的未授权数据；而有了 AI，一个恰当的提示可能过于轻易地暴露了同样的信息。

企业需要防范员工私自使用未经批准的 AI 工具（即“影子 AI”）以及不当使用已获批准的 AI 工具，以确保其安全和合规。

miao2sec：

影子 AI（Shadow AI ）指的是在企业或组织内部，未经正式批准或 IT 部门监管，由员工或团队私自使用的人工智能工具或服务。这类 AI 工具没有经过组织的安全、合规或治理流程审查，类似于“Shadow IT”的概念。

在使用大型语言模型（LLM）为自己构建应用程序时，也需要格外小心。不仅需要保护正在构建的应用程序，底层数据、LLM 本身以及提示系统都需要得到保护。

这些风险基本上可以归结为三类新问题：AI 本身的问题、企业应用问题以及产品安全或创新问题。

每种问题都需要专门的保护措施，并且会影响首席信息安全官（CISO）的责任 —— 尽管 CISO 并不直接负责相关项目。

unsetunset0x05 制定你的 AI 战略unsetunset

影子 IT 应用的热潮与云计算的起步阶段和当前 AI 的发展状况之间有着相似之处。

安全领域的领导者将未经批准的应用称为 “影子 IT”，而商业领袖和投资者则将其视为 “产品驱动增长”。安全团队很快意识到，他们无法禁止这些创新：任何试图压制的尝试都只会将使用推向地下，那里根本无法进行管理。

安全团队需要接受并适应 AI 的现实。即使 AI 目前还没有完全实现其最热心支持者的所有期望和梦想 ，即使它遇到了一些挫折 ，因为在接下来的两到三年内，AI 将比现在更加成熟和强大。组织不能等到采用 AI 之后再去考虑安全问题。

这意味着现在是准备的最佳时机，开发以安全为导向的 AI 战略，了解这项技术，并为 AI 真正起飞时做好准备。许多观察者认为，尽管安全团队有足够的时间准备，但他们在云计算上还是措手不及。鉴于 AI 的潜力和复杂性，他们不能再犯同样的错误。

unsetunset0x06 总结：持保留态度，但要认真对待unsetunset

GenAI 可能还没有达到其变革潜力的宣传，但它在网络安全方面仍然具有有意义的应用。

它不会在短期内解决技能短缺的问题，但可以减轻安全团队的一些负担，而且组织管理和维护 IT 数据的能力越好，随着时间的推移，人工智能就越能够检测甚至预防。

通过汲取近期影子 IT 和云采用的经验教训，安全团队可以为人工智能真正开始实现其更远大梦想的那一天做好有效准备，并确保企业安全。

👇点击【阅读原文】，获取博客链接👇