这半年多的AI经验杂谈

2022年11月左右看到一篇关于openai的ai起飞的文章，我开始关注openai 注册了账号搞了api测试gpt3.5的水平，那时候的gpt3.5虽然不能写的很好，运行经常报错，但是改改就可以用了。也可以快速提升我的编程能力，那时候就震惊了 这个效果也太强了。我写一个任务一般1-2天，现在花2小时debug下就搞定了！？

然后就开始学习，研究api，发现让llm用json返回它就会返回，那时候就想着能不能学习js的callback思想？这样不就可以让api调用本地的python了？然后再深入学习了下发现有一个框架叫llamaindex，然后学习了向量数据库，检索，封装metadata。在2023年1-2月的时候编写了一个脚本测试用ai实现检测代码。帖子可以大家自己搜搜，最后的结论就是在当时，还做不到用rag来实现检测代码。

后来随着深入学习才发现原来中间很多环节存在问题。比如结构化数据，只是把文件丢到向量数据库是不行的，你得拆分成ast等结构 然后用图的方式关联起来，并且封装好更语义化的metadata；还要注重chunk大小，因为会涉及到检索；还要设计好检索的查询算法，考虑语义和关键词兼容；还要考虑rag的窗口大小，上下文；

感觉学到这里 直接看下langchain的rag 架构差不多了。但是这样最多也就60分。离工业级别使用还很远

后来又学习了prompt tuning ，学习了微调。感觉又可以提升20分，但是这个比较依赖数据，数据的生成又要依赖一些rlhf和自动化的数据pipeline，pipeline你又要去看一些hugginface的框架来实现数据合成的自动化能力

这样的话大概可以到80-89分级别了。

最后再动态优化一下可以接近94分的能力。以为这样已经接近行业top水平了吧？是的理论上再当时应该是这样的，。

但后来又发现了美国一些小公司，不得不说一句美国的AI公司是真多！！！！而且规模就10-20这样的最多，很有特色！！这个是关键！然后这个公司做的RAG是用给企业的程序员开发的帮助文档，有点像大企业的helpdesk中心，什么文档都有，包括公司内部的编程框架的开发手册，关键是你可以让它用最新框架的语法帮你编写正确的代码和解决报错问题。我也实践过类似的rag，重点是如何把框架代码让llm学会，方法用微调 或者外部知识库，但是微调就很麻烦，所以你需要自动化的pipeline能力。至于其他的技术细节因为不公开 也没办法知道，你只能猜测，但是根据我的推理：它的自动化能力很强，这意味着这个公司有很强的ai思想，它什么事情都是基于ai 去思考的，这点很重要，就和你打LOL和war3一样。你没意识，你是不可能赢的，别人卡着2级和3级打你先手，你连经验值都不会计算，怎么能赢？所以这家公司可怕的就在这里，ai思维好强，。

cohere是做worflow的，一家公司做workflow本地化部署，提升公司的ai能力，这样的公司就是ai团队的外包，而且有自己的大模型，最火的是它的mutil languages的embedding模型，所以它的业务估计也是rag很多。

还有海泽，海泽做安全的。jailbreak玩的6的起飞 我的都是跟着它学。国内的公司做jailbreak也就是杭州一个韩老师的公司做的最标准，其他的都是小孩子瞎玩，把网上的开源越狱数据集搞一下就说自己能检测了，其实毛用没有。海泽的思路一直都是通杀、稳定。就这么2个词语。

随着看的多了，学习的多了，大脑里对一个应用的架构不停的调整和理解。当然其中也要自己写代码 实践 你才会有很多领悟，比如常见的coze dify的一些架构上的缺点，他们为什么不适合大型的工业级别的产品设计？不适合做为基座？agent如何设计？coze很强 但是目前还是不具备很高的灵活度 在工业产品设计的时候还是差了点

以上之外还有离线硬件成本，这块优化和部署又是一个大的学问，因为底层的基座上的优化，有的可以提升100%的效果，节省1倍的成本。

除了这些以外还有模型的选择 大 小B的特点和优缺点 适合的场景，以及基座的模型如何迭代 

总之你搞ai一定要有ai思维，不能像一个农业文明的人看待蒸汽机一样，像慈禧太后那样去用马牵引火车前进。大部分人还没理解这个思维

就简单点来说，你能不能用ai 来实现ai产品的自举、企业的管理就是你具备不具备ai思维，例如coze的战略是在基于当前的agent workflow数据，作为few shots来自动化构建更多的agent，从而实现定制企业的agent是它的战略目标，agent生态层有了，基于这层搭建的应用层（app层）就都是它的天下了。它可以快速迭代任何一个CRM，且能力比传统的强很多，开发周期只要1天，而且还是给这个企业定制的。你能想象吗？你当然不能，因为你还在农业时代，先让脑子进入工业时代，提升自己的MBTI中的N属性。

原文始发于微信公众号（xsser的博客）：这半年多的AI经验杂谈