2023洞见微信年终总结

2023洞见微信年终总结

又到了一年一度的总结了，嗯，和去年一样啊，每年的年底都会对公众号的文章进行一次总结，今年我想对平台的一个总结评价是：拥抱大模型。

回忆起在22年末立的Flag，要全面抄袭Aminer，在当时我认为爬虫，爬一爬文章展示给用户就到头了，同行业的公众号平台数据展示也就那回事，什么数据分析、什么情感分析、什么分词，好像对安全圈的文章没什么帮助，直到我无意间看了Aminer的网站，让我对数据分析又多了一层认识，有一个词很新奇，叫“”溯源树“，虽然我没会员，但从他的介绍上来看，应该是上传文档后，然后平台给你彻彻底底分析文档，使用了什么机器学习，人工智能的算法来搞的。

于是在心中萌生了一种想法，使用机器学习来去分析文章。无奈看不懂呀，机器会学习，可我不是机器，我也学不会呀，用了一些简单的算法后，验证效果不理想，遂卒。

在23年初大模型的”平价“开源产品如雨后春笋，让普通用户也能在一般性能的服务器上体验到GML。在此让我在笔记本上平价的体验到了一些龟速模型：chatglm-6b、Llama2、chatglm2-6b。发现Aminer用的就是chatglm，为了能用上大模型，想尽办法租资源，但是实际使用的效果不太明显，遂卒。

又回到chatgpt上，他的分析结果是相当的满意，但是用api分析大量的文章，金钱上也是撑不过去的。PandoraNext与ninja开源项目，帮助我节省很多钱。

一代祖龙的神器Pandora与PandoraNext的Chat2API可以帮助将chat的回话转成api，同时支持多账号session的轮询使用，关键是他内置的帮你解决了绕过验证、绕墙等一系列内容。but友好的使用到年底不再提供服务。

与PandoraNext相比ninja更加的自由，它只是一个中转服务，你可以用session连接中转服务，他不会主动帮你绕墙，需要一些底子才能搭建成功。同时他的api比较固定没有限制，这就导致了我们可以批量采用公网上已经搭建好的服务进行使用。

quake搜索语法 response:"Ninja" AND http_path:"/auth/login"

通过阅读项目文档，我们解决了chatgpt的api免费使用的方式，接下来就是我们构造prompt的验证了，为了更加全面的分析文章，我们验证了以下的内容的结果服务于网站。

请你扮演一个文章分析器，严格按照如下规定执行：
1. 要求你遵循我的指示，要求不要输出任何解释，除非我提出疑问或要求。
2. 要求提取出文章的详细摘要，字数不能小于100字，字数在200-400字之间。
3. 要求提取出文章中的实体、关系、关键词、高频词等，用于构建完整的关系图谱，以结构化输出。 
4. 要求分析文章的内容和结构，提炼出关键信息、要点、词汇、概念解释，帮助快速理解文章的核心内容，以json输出。 
5. 要求总结文章的要点、并生成详细的多层级的文字版思维导图，输出到mind字段，markdown格式如下：# Central Topic  ## Main Topic 1 ### Subtopic 1 - Subtopic 1 - Subtopic 2 - Subtopic 3 ### Subtopic 2 - Subtopic 1 - Subtopic 2 - Subtopic 3 ## Main Topic 2 ### Subtopic 1 - Subtopic 1 - Subtopic 2 - Subtopic 3
6. 要求将文章中的攻击重要信息，如攻击原因、攻击方式、攻击过程、攻击技术、攻击工具、进程、造成影响、防御建议与策略等，并生成markdown文字版思维导图，输出到attack_mind字段
7. 要求将文章中泄露的个人信息，包括不限于姓名、地址、手机号、身份证号码、邮箱、公司、ip地址、url等，输出到leakage_information字段。
8. 要求请提取文章中包含的所有url链接，url中移除<、>。
9. 要求分析文章的作者的观点、论证思路和论证论据，输出到argumentative。
10. 要求根据文章的文章标题、关键词和内容,以小红书的多表情格式，多运用比喻、举例的形式，自动生成一篇让0基础的人可以理解的文章。
11. 我是初级网络安全人员，请对文章中不易理解的关键字进行知识点查询，输出到wiki。
12. 如果要让你给文章进行网络安全标签分类，你会分出哪些类型，依据是什么。输出到tags。
13. 要求将结果以严格的json格式输出，json的格式以后都不要改变，json的格式如下:

pandora-next/deploy: Pandora Cloud + Pandora Server + Shared Chat + BackendAPI Proxy + Chat2API + Signup Free = PandoraNext. New GPTs(Gizmo) UI, All in one! https://github.com/pandora-next/deploy

gngpp/ninja: 🦀 Reverse engineered ChatGPT proxy https://github.com/gngpp/ninja

在日常中，偶尔有人问我说能不能帮我做一个单独的订阅开始、后能不能帮我们做一个单独的RSS、能不能做一个导出数据功能呢、有没有xx功能，有没xx的想法。每个建议我都认真思考，并且给开发了相对应的功能。

接下来说一下在过去的一年里，对公众号平台都有了哪些的更新与改进。

主要功能更新

极阅-->AI极阅

极阅是在22年构想的，最初想通过机器学习，让每篇文章都有自己的摘要总结，每段也都有自己的摘要。分词、高频词等。但后来发现效果并不是很理想，摘要的方式采用开源的jieba、textrank4zh、snownlp、jiagu、FastTextRank等组合。摘要摘的乱七八糟，无法灵活转换。

在23年的使用，借助了chatgpt的api开始尝试生成自动摘要，效果出奇的好，对于安全专业的分析更智慧了。后来在研究如何转换突破api限制。也就是用到上面讲解的开源工具。

AI极阅大概成功做了以下摘要、思维导图、文章转换、结构分析、观点分析、智能标签的分析。

同时做到了在速度上的提升，出现一篇文章在3-5分钟内就可以从头到尾的完成分析。解决了文章与分析滞后的问题。

cve提取与github漏洞库关联

当一篇文章中包含有漏洞cve名称的时候，如果github上有开放的漏洞的仓库，将会直接与cve进行关联，高亮展示，未来会加入nuclei的模版信息匹配。

个性化支持

在最开始，我是排斥个性化开发的，仅仅想着完成一个通用的模版。无奈被各路大佬吐槽催更。便开发了一套前台的个人系统。

为了减少注册，使用的是国内的gitee认证注册，github的认证注册服务器墙太慢，给下掉了。

删文通知

当发现一篇文章被删除后，将通过后台通知到用户，通知的途径目前仅支持站内信，未来将主意完成第三方通知：钉钉、飞书、tg、微信、邮箱。

关键字监控

在这里可以完成对一部分关键字的监控，当最新的文章中包含关键字后，将通过通知的方式告知到用户。

个人订阅、关注、收藏、RSS

在这个可以订阅公众号、关注作者、收藏文章，并接受、阅读对应的文章列表，同时开启了个人的RSS

数据导出

模仿quake的后台，导出用户关心的数据任务，包括各个字段、甚至原文html，支持zip、excel、json的格式。设置了积分策略，每月上限50000积分导出。

主要的性能更新

CDN

在网络上，关键接口、页面上了CDN和缓存。访问和加载速度更加快。

ES

在数据处理上，又有部分数据有mysql迁移到es处理，增加速度。

Celery

在任务处理上，由于个性化的加入，处理的任务更加的多，模块拆分的更加的细，普通的任务调度切换到Celery上做监控。

Chatgpt

引用了多账户、多服务的chatgpt，加快了文章的分析，同时剩余的价值用于追赶历史文章的分析。

未来优化方向

知识图谱-cve图谱

咨询了一些图谱大佬，在以前想做图谱的时候发现数据太匮乏，只有文章数据，实体关系的提取模型没地方抄，实在做不太起来。在有了chatgpt的加持，github、cve仓库的补充。希望做到理想丰富的链条。

文章-cve-github-author，在这样的主链条中，可加入的实体还是很多的。希望在未来的一年内能够做出一个酷炫的效果，实不实用就另当别论了。

超长文本分析的解决

在chatgpt的3.5上还是有字数限制的，尝试了一些分段分析的思路，整体效果差强人意。能找到更合适的方法不被字数限制。

总结

今年做了不少实践，核心上有所落地。最明显的变化是在几处高峰期的流量比原来增加了2-3倍。感谢大家的捧场。

有人用才是我坚持下去的动力。

原文始发于微信公众号（洞见网安）：2023洞见微信年终总结