“生成式AI应用可以让企业用户访问并使用大量内部和外部信息源，这意味着生成式AI的快速采用将极大地促进企业知识和技能的全民化。”10月17日，Gartner正式发布了2024 年十大战略技术趋势，作为今年最炙手可热的技术趋势之一，生成式AI与大模型当仁不让占据了第一名的位置。
据Gartner预测，生成式AI或将迎来全民化时代，到2026年，将有超过80%的企业使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，而在2023年初这一比例还不到5%。
奇安信大模型卫士产品负责人刘岩认为，大模型应用除了训练数据、输出数据时可能引发隐私数据泄漏外，还可能面临法律合规、内容违规、知识产权、非法使用等风险。
为此，Gartner将“AI信任、风险和安全管理”摆在了第二的位置。Gartner写到，AI的全民化使得对AI信任、风险和安全管理（AI TRiSM）的需求变得更加迫切和明确。在没有护栏的情况下，AI模型可能会迅速产生脱离控制的多重负面效应，抵消AI所带来的一切正面绩效和社会收益。
根据Gartner的解释，AI TRiSM提供用于模型运维（ModelOps）、主动数据保护、AI特定安全、模型监控（包括对数据漂移、模型漂移和/或意外结果的监控）以及第三方模型和应用输入与输出风险控制的工具。除此之外，AI TRiSM 还有助于满足全球范围内激增的人工智能法规。
而这正是奇安信大模型卫士一直在做的事情。
具体而言，GPT-Guard提供了“应用发现、风险评估、合规管控、数据保护、安全检测、溯源处置”6大核心功能，实现对大模型应用的全程监控、安全闭环管理。
-
第一是应用发现。GPT-Guard可支持多种类型的大模型应用识别及发现，除传统的问答类大模型应用外，还可识别检测多种类型的大模型应用，包括图片处理、编程助手、文档撰写、音频编辑、视频编辑等各种类型应用，从而全面掌握企业中大模型使用情况。与此同时，GPT-Guard大模型应用库具备实时的动态更新能力，从而保证新应用第一时间可见可控。
-
第二是风险评估。GPT-Guard能够基于流量实时分析企业大模型应用使用情况，通过多维度评估企业大模型应用风险；另一方面，基于应用自身的风险属性变化，及企业的风险应用使用情况，及时感知企业的大模型使用风险情况，并动态对风险进行调整。
-
第三是合规管控。GPT-Guard遵循最小必要权限原则，限制可访问GPT应用的组织及人员，对API进行监控，避免未上报应用的投喂训练，限制私搭代理、在GPT网站上传文件及图片等高危行为。
-
第四是数据保护。GPT-Guard能够检测并保护聊天、API及文件上传等途径的外发内容，能够实时发现并阻断包含敏感信息的问题及上传的文件。除此之外，大模型卫是还搭载了奇安信自研的智能分析引擎，支持毫秒级数据检索，实现“以人追数”和“以数找人”。通过分析引擎实时分析违规异常行为，并进行告警上报。
-
第五是安全检测。GPT-Guard能够监控并记录终端和网络侧的所有的GPT访问行为，检测各种异常使用，帮助客户满足《网络安全法》、《数据安全法》、《个人信息保护法》等相关法律法规要求。
-
第六是溯源处置。违规行为产生告警后，客户通过查看详情可进行追溯，一键追溯到原始日志，并查看完整事件链，精准定位到风险源头。
根据国外机构调研显示，2023年6月监测到的ChatGPT同类应用超过600个，相比2022年底增长400%。而随着国内《生成式人工智能服务管理暂行办法》正式实施，国内多款大模型产品陆续通过备案“持证上岗”，奇安信大模型卫士GPT-Guard也将迎来更为广阔的舞台。
原文始发于微信公众号（奇安信集团）：Gartner预测生成式AI将迎全民化，AI风险难题该如何破解？
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论