人工智能是生产力神器还是安全噩梦？

生成式人工智能 (GenAI) 已迅速成为企业环境的核心，但随着其日益普及，随之而来的是严重的安全问题。最近的一份报告强调，过去一年中，输入 GenAI 应用程序的数据量（包括敏感的公司信息）增长了 30 倍。研究结果强调，随着人工智能驱动的工具逐渐融入日常工作流程，企业迫切需要重新评估其安全策略。

　　报告显示，企业用户越来越多地与 GenAI 应用程序共享源代码、受监管信息、密码和知识产权等敏感数据。

　　更棘手的是，72% 的企业用户使用个人账户而非公司管理的平台访问GenAI 应用。这种日益增长的“影子 AI”趋势（类似于早期的影子 IT 现象）给安全团队带来了重大的治理难题。如果没有适当的监督，企业就无法了解正在共享哪些数据以及这些数据流向何处，从而为网络威胁创造了潜在的切入点。

    该报告对工作场所的人工智能使用情况进行了全面分析，显示 90% 的组织已采用专用的 GenAI 应用程序，98%组织使用集成人工智能功能的软件。尽管只有 4.9% 的员工使用独立的人工智能应用程序，但高达 75% 的员工与其他企业工具中的人工智能功能进行交互。

　　安全团队现在面临着一个不断演变的新挑战：无意的内部威胁。员工可能没有意识到与人工智能驱动的平台共享公司信息的风险，因此组织必须实施严格的数据安全措施。

　　该报告的主要发现之一是，影子人工智能已成为组织的主要影子 IT 问题。员工使用个人账户与人工智能模型交互意味着企业几乎无法控制其数据如何被第三方提供商处理、存储或利用。人工智能工具的不受监管的使用使公司容易受到数据泄露和监管不合规的影响。

　　越来越多的组织采用严格的政策来降低这些风险，许多组织选择完全阻止未经批准的 AI 应用程序。安全团队还实施了数据丢失防护 (DLP) 解决方案、实时用户指导和访问控制，以限制暴露风险。

　　该报告指出了敏感企业数据进入 GenAI 应用程序的两种主要方式：

　　1. 摘要请求：员工依靠 AI 工具来压缩大型文档、数据集和源代码。这增加了将专有信息暴露给外部 AI 系统的可能性。

　　2. 内容生成：人工智能应用程序通常用于生成文本、图像、视频和代码。当用户将机密数据输入这些工具时，他们可能会暴露可用于训练外部模型的敏感信息，从而导致意外的数据泄露。

　　人工智能应用的快速普及带来了难以预测的安全形势。报告发现，几乎每家企业都有新人工智能工具的早期采用者，91% 的组织都有用户尝试使用新发布的 GenAI 应用程序。这带来了安全风险，因为员工可能会在不知情的情况下与未经审查的平台共享专有数据。

　　为了解决这个问题，许多企业采取了“先阻止，后问问题”的方法。他们没有试图跟上不断涌入的新 AI 工具，而是选择先发制人地阻止所有未经批准的应用程序，同时只允许经过审查的 AI 服务。这种主动方法可以最大限度地降低敏感数据泄露的风险，并允许安全团队在批准新工具之前进行适当的评估。

　　报告中强调的一个显著趋势是企业内部越来越多地部署 GenAI 基础设施。在过去一年中，在本地运行 AI 模型的组织数量从不到 1% 跃升至 54%。虽然这种转变有助于减少对第三方云提供商的依赖并减轻一些外部数据泄露风险，但它带来了新的挑战。

　　本地 AI 部署本身也存在安全问题，包括供应链漏洞、数据泄露、数据输出处理不当以及与快速注入攻击相关的风险。为了解决这些问题，组织必须通过实施以下框架中概述的最佳实践来加强其安全态势：

　　- OWASP 大型语言模型应用 Top 10

　　- 美国国家标准与技术研究院 (NIST) 人工智能风险管理框架

　　- MITRE ATLAS 人工智能威胁评估框架

　　随着人工智能驱动的网络威胁不断演变，首席信息安全官 (CISO)越来越多地寻求利用现有的安全工具来降低风险。几乎所有企业现在都在实施政策来控制人工智能工具的访问，限制哪些数据可以共享以及哪些用户可以与特定的人工智能应用程序交互。

　　报告建议各组织应采取以下战术步骤来加强其人工智能安全策略：

　　- 评估 AI 的使用情况：确定正在使用哪些 GenAI 应用程序和基础设施、谁在使用它们以及如何使用它们。

　　- 实施强大的 AI 控制：定期审查安全策略、阻止未经授权的应用程序、执行 DLP 措施并提供实时用户指导以最大限度地降低风险。

　　- 加强本地人工智能安全：确保任何内部人工智能部署都符合行业安全框架，以防止数据泄露和网络威胁。

　　虽然人工智能在生产力和效率方面带来巨大好处，但它也带来了组织必须应对的新挑战。本报告的研究结果强调了安全政策、持续监控和主动风险缓解策略对于在人工智能驱动的世界中保护敏感企业数据的重要性。

🎉 大家期盼很久的#数字安全交流群来了！快来加入我们的粉丝群吧！

🎁多种报告，产业趋势、技术趋势

这里汇聚了行业内的精英，共同探讨最新产业趋势、技术趋势等热门话题。我们还有准备了专属福利，只为回馈最忠实的您！

👉 扫码立即加入，精彩不容错过！

😄嘻嘻，我们群里见！

原文始发于微信公众号（数世咨询）：人工智能是生产力神器还是安全噩梦？