【大模型安全】大模型建设思路

大模型建设思路

从23年初ChatGPT的惊艳亮相，引爆了LLM和相关应用的想象空间，人必称大模型，虽然99%的人可能连个梯度下降的公式都看不懂，好像作为IT从业人员不谈这个就显得很落伍，缺乏技术视野一样，充斥着浮夸与喧嚣。作为一个从2010年就开始手搓机器学习算法的老码农，结合过去一年的和行业朋友的交流分享，写一点自己的理解和看法，相对来说比较悲观一点。

要不要训练自己的大模型（私有大模型）？

直截了当的表达我的观点，不要尝试！不要尝试！不要尝试！不管是通用大模型、还是垂直领域的大模型（行业模型）、还是企业内部的私有大模型，统统都不值得投入精力去训练。大模型从供给端已经极化，需要的算力、数据、人才、资本要求极高，世界上只有少数几家公司可以做这个事情。不要指望玩票性质的投入能产生超越通用大模型的水平，哪怕是在一个非常细分的领域都没有可能性，而且差距会越来越大。一般企业没有任何优势，算力、数据、人才都不支持，搭现有大模型的便车，充分享受行业发展红利，专注在外挂知识库的整理和提示词工程技巧的积累。在行业内应用效果的差异会体现在对知识工程的管理和提示词的使用经验积累，算力和模型无法体现差异性。

要不要用开源大模型Fine Tuning自己的大模型？

有人说我们没有能力从零到一训练自己的大模型，那我们用开源的大模型来精调一个自己的大模型，站在巨人的肩膀上，弯道超车，从而实现遥遥领先。基于现有大模型做精调好像也不需要那么多算力，把我们私域的数据加进去做二次训练，现在也有很多精调的算法（Lora、P-tuning等）。看起来算力、数据、算法都不是问题了，只要有懂大模型精调的人就能训练成自己的私有大模型，好像是一条捷径。如果觉得这条路可行的同学，可以再想想，如果真的可行，为什么几乎看不到哪家企业的私有大模型？为什么很多厂商所谓的垂直领域大模型在专业领域的表现还不如ChatGPT效果好？理论上的可行不等于具有现实意义，利用现有的开源大模型精调私有大模型，想把行业知识、私有数据融入大模型的想法非常朴素，是一个所有人都能想到的idea。但这里面有非常多的工程问题需要解决，有没有足够多、质量足够好的私有数据？数据的分布是否合理？如何保证二次训练过程不会导致大模型“遗忘”已学到的知识？有没有懂精调大模型的工程经验的人才？有没有足够的数据工程的能力？怎么做人工对齐？这里面的细节太多了，随便哪个环节没做好，就功亏一篑，精调成一个“弱智”大模型出来。

有人会说你太消极了，“想”都是问题，“干”才有答案！道理是这样的，希望大家好运。

坚持平台化建设还是烟囱建设？

好像这个问题就有价值取向了？平台化好像天然政治正确，烟囱系统总是带有原罪。现在不管什么IT项目，都要云原生、中台、平台化，好像没有按照这种方式去做就会失败，就是落后于技术趋势。

现在很多企业业务场景都没有找到，也不知道要解决什么具体的业务问题，更不知能达到什么效果。开始就买一堆GPU服务器建算力底座；引入一堆开源、商业大模型打造模型底座，解耦应用与大模型绑定关系，使上层应用无感切换底层模型；建设向量数据库、知识工程管理、提示词管理、API管理、Agent编排一堆功能的能力平台；加上训练平台、应用市场等等...看起来好先进、好全面、好牛逼，在领导和同行面前可以口吐莲花说三小时。

先建平台后找应用”的思路投入风险极大，建议先找到一个具体业务场景，定义清楚能解决什么问题，能做到什么效果，和业务一起探讨是否值得投入，做一个垂直领域应用，打造典型应用。在技术实现的过程中，尽量解耦，做好分层。在实现了多个应用后，再逐步抽象出公共能力。

自研还是外购？

如果是想清楚了要用大模型的能力解决一个具体业务场景的问题，接下来要面临的一个问题就是，是自己做还是外购一个系统？这个问题没有标准答案，需要根据每家企业的情况具体分析。比如企业的定位、资源、人才、业务场景价值等等都有关系。目前观察到很多企业其实都在做各种类型的问答系统，简单来说就是部署一个开源大模型，导入一些文档（用一些开源工具做了简单的文档分片、向量化）到向量数据库，利用LangChain框架搭建一个问答系统，做的精致一点的，甚至还有知识库管理和提示词模板管理等功能，好像技术难度也不大，花了1-2个月就搞完了，给领导演示一下还像模像样的，挺唬人，让领导有了蜜汁自信，觉得我们自研能力很强，好像也可以做大模型应用。

很多没有参与过一个真正商用产品的同学，往往不能理解什么叫产品原型和好用的产品之间的差距，不能评估要从一个原型到好用的产品之间的工作量有多少。产品原型用来验证技术可行性没有问题，但离一个可用的产品还有非常多的工作需要做。举几个例子，比如文档如何分片，简单粗暴按字数或者标点符号分割从PDF/Word中抽取出来的文本，效果极差。文档抽取和分片都有各种优化技巧和算法，甚至能养活一家公司。分片后的文本，如何向量化，用什么去向量化，直接用通用大模型去向量化，这里又是各种奇技淫巧。好不容易把文本向量化了，存到向量数据库，又怎么去检索用户的query，怎么做文本相似度的匹配，用向量数据库的默认的余弦相似度么？怎么召回？怎么精排？如果做过搜索引擎或者推荐系统同学就知道这里有多少工作要做。后面还有怎么去构建提示词，用什么大模型。。。一个接一个问题需要去解决。

当然每个问题都有开源工具，甚至每个步骤都有现场的解决方案，但那些都是一个应对通用场景的默认方法，效果只能差强人意，每步都不是最优解，可能只能有80%的效果，这么多环节，每个环节都只能到达80%，都学过数学，哪怕只有五步，0.8 * 0.8 * 0.8 * 0.8 * 0.8 = ？最后的效果一定十分的感人。

在没有非常成熟的平台工具支撑的情况下，靠两三个人的手工作坊想手搓一个成熟的产品，几乎是痴人说梦，当然如果你是Linus这样的大神，请略过。

那难道只能去采购厂商的产品么？目前这个阶段，无论是大厂还是AI创业公司，都不能盲目相信，当前市场鱼龙混杂，绝大部分是PPT产品，吹的天花乱坠，实际也是草台班子的手搓产品，和你自研的效果半斤八两。

当前这种全民狂热的状态下，真正有能力、能解决具体问题的产品凤毛麟角，即使要外购，也要充分POC，踏踏实实去和需求方一起在真实业务场景验证，是否能解决问题。

算力焦虑，买不到英伟达GPU，国产GPU是不是可以？

由于需求旺盛和禁售的影响，现在想买到先进的GPU算力非常难，即使有途径成本也非常高。现在国内有一些信创企业有国产GPU，这个只能说如果有ZZ任务，该买就买吧。如果没有，还是不要去浪费时间了，生态不是短时间能建立起来的。至少当下，生产系统还是要依赖英伟达GPU算力，信创方案只能作为备选的小规模探索的投入，不要报太大期待。业务几年以后，国内的生态慢慢做好了，才有可行性。

困难这么多，那怎么办？

这其实是一个“投入时机与节奏”的问题，已经超出了一个中基层技术人员能决定的范畴，这里会有决策层的直接干预、部门利益、角色等很多因素的影响。如果你不是一家大模型创业企业，如果业务暂时不感兴趣或者觉得没有投入产出价值，先hold住，不要急于投入，采取跟随策略，多跟踪行业应用情况。

遵循“探索→可用→好用”三步走”，通过探索掌握基本技术原理和技术可行性；再找准场景建设可用的产品，解决一个特定场景的业务问题；最后通过运营不断完善产品功能和优化产品体验。

有没有公司有关于等保测评，密码测评，软件测试，风险评估的项目，可以联系利刃信安，我们有资质，可以接项目！密评仅限北京！其他不限！

温馨提示：

如果你需要投标安服项目+申请安服资质，可报考️CISP（国家注册信息安全人员认证），这个证书在国企央企事业单位和政府机关非常有用！

如果你是银行证券等金融行业，可报考CISA（国际注册信息系统审计师）、CISSP（国际注册信息安全专家）、CISM（国际注册信息安全经理）、CISP（国家注册信息安全人员认证）。

如果你是安全技术支持、技术售前、工程师，可报考 CISSP（国际注册信息安全专家）、CISP（国家注册信息安全人员）。

如果你专注于渗透测试，可报考 CISP-PTE（国家注册渗透测试工程师）、CISP-PTS（国家注册渗透测试专家）、CISSP（国际注册信息安全专家）。

如果你专注于信息安全管理，可报考 CISSP（国际注册信息安全专家）、ISO27001（信息安全管理体系认证）。

如果你专注于云安全领域，可报考CCSK（云安全认证）。

如果你是一名学生或安全入门级选手，可报考NISP二级。

有兴趣考证的可以联系我，不考的也可以白嫖资料！

原文始发于微信公众号（利刃信安）：【大模型安全】大模型建设思路