【大模型安全】大模型建设思路

大模型建设思路

要不要训练自己的大模型（私有大模型）？

要不要用开源大模型Fine Tuning自己的大模型？

坚持平台化建设还是烟囱建设？

如果是想清楚了要用大模型的能力解决一个具体业务场景的问题，接下来要面临的一个问题就是，是自己做还是外购一个系统？这个问题没有标准答案，需要根据每家企业的情况具体分析。比如企业的定位、资源、人才、业务场景价值等等都有关系。目前观察到很多企业其实都在做各种类型的问答系统，简单来说就是部署一个开源大模型，导入一些文档（用一些开源工具做了简单的文档分片、向量化）到向量数据库，利用LangChain框架搭建一个问答系统，做的精致一点的，甚至还有知识库管理和提示词模板管理等功能，好像技术难度也不大，花了1-2个月就搞完了，给领导演示一下还像模像样的，挺唬人，让领导有了蜜汁自信，觉得我们自研能力很强，好像也可以做大模型应用。

很多没有参与过一个真正商用产品的同学，往往不能理解什么叫产品原型和好用的产品之间的差距，不能评估要从一个原型到好用的产品之间的工作量有多少。产品原型用来验证技术可行性没有问题，但离一个可用的产品还有非常多的工作需要做。举几个例子，比如文档如何分片，简单粗暴按字数或者标点符号分割从PDF/Word中抽取出来的文本，效果极差。文档抽取和分片都有各种优化技巧和算法，甚至能养活一家公司。分片后的文本，如何向量化，用什么去向量化，直接用通用大模型去向量化，这里又是各种奇技淫巧。好不容易把文本向量化了，存到向量数据库，又怎么去检索用户的query，怎么做文本相似度的匹配，用向量数据库的默认的余弦相似度么？怎么召回？怎么精排？如果做过搜索引擎或者推荐系统同学就知道这里有多少工作要做。后面还有怎么去构建提示词，用什么大模型。。。一个接一个问题需要去解决。

当然每个问题都有开源工具，甚至每个步骤都有现场的解决方案，但那些都是一个应对通用场景的默认方法，效果只能差强人意，每步都不是最优解，可能只能有80%的效果，这么多环节，每个环节都只能到达80%，都学过数学，哪怕只有五步，0.8 * 0.8 * 0.8 * 0.8 * 0.8 = ？最后的效果一定十分的感人。

在没有非常成熟的平台工具支撑的情况下，靠两三个人的手工作坊想手搓一个成熟的产品，几乎是痴人说梦，当然如果你是Linus这样的大神，请略过。

那难道只能去采购厂商的产品么？目前这个阶段，无论是大厂还是AI创业公司，都不能盲目相信，当前市场鱼龙混杂，绝大部分是PPT产品，吹的天花乱坠，实际也是草台班子的手搓产品，和你自研的效果半斤八两。

当前这种全民狂热的状态下，真正有能力、能解决具体问题的产品凤毛麟角，即使要外购，也要充分POC，踏踏实实去和需求方一起在真实业务场景验证，是否能解决问题。

这其实是一个“投入时机与节奏”的问题，已经超出了一个中基层技术人员能决定的范畴，这里会有决策层的直接干预、部门利益、角色等很多因素的影响。如果你不是一家大模型创业企业，如果业务暂时不感兴趣或者觉得没有投入产出价值，先hold住，不要急于投入，采取跟随策略，多跟踪行业应用情况。

遵循“探索→可用→好用”三步走”，通过探索掌握基本技术原理和技术可行性；再找准场景建设可用的产品，解决一个特定场景的业务问题；最后通过运营不断完善产品功能和优化产品体验。

有没有公司有关于等保测评，密码测评，软件测试，风险评估的项目，可以联系利刃信安，我们有资质，可以接项目！密评仅限北京！其他不限！

温馨提示：

如果你需要投标安服项目+申请安服资质，可报考️CISP（国家注册信息安全人员认证），这个证书在国企央企事业单位和政府机关非常有用！

如果你是银行证券等金融行业，可报考CISA（国际注册信息系统审计师）、CISSP（国际注册信息安全专家）、CISM（国际注册信息安全经理）、CISP（国家注册信息安全人员认证）。

如果你是安全技术支持、技术售前、工程师，可报考 CISSP（国际注册信息安全专家）、CISP（国家注册信息安全人员）。

如果你专注于渗透测试，可报考 CISP-PTE（国家注册渗透测试工程师）、CISP-PTS（国家注册渗透测试专家）、CISSP（国际注册信息安全专家）。

如果你专注于信息安全管理，可报考 CISSP（国际注册信息安全专家）、ISO27001（信息安全管理体系认证）。

如果你专注于云安全领域，可报考CCSK（云安全认证）。

如果你是一名学生或安全入门级选手，可报考NISP二级。

有兴趣考证的可以联系我，不考的也可以白嫖资料！

原文始发于微信公众号（利刃信安）：【大模型安全】大模型建设思路