目前大模型非常火热,很多企业也在大力投资大模型赋能企业的业务发展。但是大模型应用在企业到底从什么地方切入,存在哪些安全问题都是摸着石头过河。笔者听说有些企业CTO做大模型一年半载没任何效果就被解散了。
大模型应用虽然是个趋势,但在落地中也面临场景切入点、数据源质量、预训练和大模型本身安全等问题。为了探讨大模型在安全场景中的实际应用效果,笔者和李维春先生一起组织了一场小范围安全大模型应用的闭门研讨会,邀请了来自金融、科技制造、物流、城市服务等各大公司的9位CIO/CSO朋友一起,讨论企业对于大模型应用诉求、大模型在企业应用的实践效果,以及大模型应用中本身存在的安全风险。
首先,来自百度的林道正先生、深信服游建舟先生、VIVO张栋先生分别介绍了大模型在各自公司的应用实践、大模型自身安全风险和思考。
林道正先生分享了百度大模型在自动驾驶的应用以及大模型运营阶段的安全威胁及应对
游建舟先生介绍了深信服GPT大模型在安全检测、运营、钓鱼等场景的应用实践,以及大模型构建运营过程中的安全应对
张栋先生介绍了大模型易受攻击的根本原因及防御方法
会议过程中,大家讨论最多的几个话题是大模型在钓鱼、攻击检测、安全运营等方面的实际效果;大模型是否可以在数据安全、溯源、泄密、行为异常分析、开发安全等发挥作用;大模型本身有哪些安全问题,如何应对;大模型的定价,企业投资大模型的ROI等。
最后,现场CIO和CSO就以下两个问题,分别从各自视角表达了对安全大模型的看法和诉求:
Q1:CIO从企业业务视角,目前关注安全的哪些问题?
-
在安全场景中投资大模型,CSO会考虑前期的投资回报ROI,比如在违规泄密方面,能否帮助更多地准确地发现几个违规泄密人员。
-
个人对于大模型在安全领域应用更加谨慎,会多观察。如果大模型对安全有质的变化,比如数据安全的分类分级,会考虑投入。
-
企业内有很多图片视频类的审计日志,比如堡垒机的视频记录,大模型是否能在视频记录的查询方面提效。
-
对于企业科技方面的生产事件复盘,我们会跟运维写分析报告,半年一次,大模型如何根据企业过往的大量事件报告做分析提效。
-
大模型如何更快、精准识别核心敏感信息。
-
对于大模型在安全场景的应用持比较开放和乐观,安全有很多问题,比如目前剩下的问题,在HW常态化下,在处置效率方面,堆人也解决不了,如何降本提效。
-
大模型如何解决规则下的漏报问题,如何解决未知威胁的预判问题。
-
关注大模型部署后是否真正能产生效果。之前有费时间精力去训练大模型,结果一年下来什么都没有监测到的经历,担心大模型实际的识别效果不全,如果在多次测试中都能够防住,那就会信任并考虑使用大模型。
-
更加关注基本问题,比如核心信息会不会丢,关键系统会不会停,第一时间能不能发现并恢复,让大模型对于企业数据有更好的保护。
-
关心安全大模型的响应速度,比如在HW场景,人力追溯不到的某些顶级攻击,大模型可以更快检测到,就会对大模型产生信任。
-
关注大模型检测未知威胁的能力,比如攻防对抗和内部用户异常行为的分析,希望可以通过训练更加海量的数据,做到比人更加可靠和高效。
-
基础模型是辨别式还是生成式?安全厂商的大模型没有甲方数据、行业数据等基础数据训练怎么做?
-
训练一个垂直的行业大模型大概需要多少数据体量和人力成本?
-
钓鱼邮件提供训练的三个要素以及训练逻辑是什么?视觉大模型对于视频的研究水平如何?需要输入的训练素材很多已有的样本素材很少不能满足怎么办?
从以上表达来看,企业的CIO们特别关注大模型如何助力企业业务,帮助业务提效,同时也特别关注大模型投入的ROI。
Q2:CSO愿意在哪些安全场景下投资大模型应用?
-
在安全场景中投资大模型,CSO会考虑前期的投资回报ROI,比如在违规泄密方面,能否帮助更多地准确地发现几个违规泄密人员。
-
个人对于大模型在安全领域应用更加谨慎,会多观察。如果大模型安全有质的变化,比如数据安全的分类分级,会考虑投入。
-
企业内有很多图片视频类的审计日志,比如堡垒机的视频记录,大模型是否能在视频记录的查询方面提效。
-
对于企业科技方面的生产事件复盘,我们会跟运维写分析报告,半年一次,大模型如何根据企业过往的大量事件报告做分析提效。
-
大模型如何更快、精准识别核心敏感信息。
-
对于大模型在安全场景的应用持比较开放和乐观,安全有很多问题,比如目前剩下的问题,在HW常态化下,在处置效率方面,堆人也解决不了,如何降本提效。
-
大模型如何解决规则下的漏报问题,如何解决未知威胁的预判问题。
-
关注大模型部署后是否真正能产生效果。之前有费时间精力去训练大模型,结果一年下来什么都没有监测到的经历,担心大模型实际的识别效果不全,如果在多次测试中都能够防住,那就会信任并考虑使用大模型。
-
更加关注基本问题,比如核心信息会不会丢,关键系统会不会停,第一时间能不能发现并恢复,让大模型对于企业数据有更好的保护。
-
关心安全大模型的响应速度,比如在HW场景,人力追溯不到的某些顶级攻击,大模型可以更快检测到,就会对大模型产生信任。
-
关注大模型检测未知威胁的能力,比如攻防对抗和内部用户异常行为的分析,希望可以通过训练更加海量的数据,做到比人更加可靠和高效。
-
基础模型是辨别式还是生成式?安全厂商的大模型没有甲方数据、行业数据等基础数据训练怎么做?
-
训练一个垂直的行业大模型大概需要多少数据体量和人力成本?
-
钓鱼邮件提供训练的三个要素以及训练逻辑是什么?视觉大模型对于视频的研究水平如何?需要输入的训练素材很多已有的样本素材很少不能满足怎么办?
从以上表述看,大企业的CSO也表达了跟CIO同样的关注,比如大模型的ROI。不同的是,CSO对于安全的具体场景、实现方式(如:攻击检测响应、用户异常行为分析、数据保护、安全提效)提出了更加具体的期望。
《企业安全的变与不变》的文章中提到:高质量单品+融合的安全平台(比如:安全ERP)+带身份的安全日志/数据+小模型+大模型是后续企业安全团队的新菜单,其中大模型就是其中一道重要的创新菜。
但任何创新技术的普及都需要找到产品市场契合点。这个过程非常不易,安全厂家需要不断在垂直领域找到更多细分的场景,不断训练积累更多专家大模型,解决客户更多场景的安全痛点。企业安全人员也需要发出自己的声音,持续思考还有哪些痛点可以用大模型技术去解决。毕竟提质提效已经是很多企业安全工作下一个阶段的重点。
本次会议是个开始,后续我们会邀请更多甲乙双方专家来分享安全大模型的应用实践,以及自己的意见和建议,让企业安全人员能够更快了解大模型、拥抱大模型,用大模型技术解决安全管理中的实际问题,为企业安全建设提质提效降本赋能。
全文完。
原文始发于微信公众号(阿肯的不惑之年):企业CIO/CSO如何看待安全大模型?
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论