SecGPT是由云起无垠推出的,全球首个针对网络安全设计的开源大模型。该模型基于13亿个参数构建,融合了大量安全相关数据集。经过在8台A100 GPU上超过一周时间的全量微调,这一模型于2023年底正式发布并开源。
自发布以来,该模型已在GitHub上获得超过800个star,引起了行业内的广泛关注。在与社区研究者交流时,我们注意到许多研究者指出,大模型的微调需要较高的计算资源,他们希望能够在有限的计算资源下也能体验安全模型。为此,云起无垠的云腾AI实验室在近期探索并实践了一种新方法,在小型模型上进行增量安全数据的预训练,目标是通过减少模型的参数量,使模型能在CPU上运行,从而提高模型的灵活性和可用性,并从小模型训练中探索大模型的训练方法,沉淀经验。经过数天的训练,该款命名为SecGPT-Mini的模型问世,训练参数量为500M,且融入了大量的安全数据。研究员表示SecGPT-Mini的推理可在一般性能的笔记本电脑上进行,无需在GPU支持的运行环境,并且该模型在执行安全任务的能力上也展现出了不凡的效果。
模型使用方法
1.下载模型和源码 (关注“云起无垠”公众号,回复SecGPT-Mini下载)
2.安装python3.7 和依赖 pip install -r requirements.txt
3.运行 python3 webdemo.py --base_model models
4.输入指令就可以了
为了支持Web形式的指令交互,如果用户对答案满意,可以选择“选这个”选项。系统将自动生成用于强化学习从人类反馈中学习(RLHF)的数据,这些数据可以用于后续的RLHF训练。
让大模型做面试问题
问题15:简述一下SSRF中DNSRebind的绕过原理及修复方法 ?
问题17:如何通过sql注入写shell,写shell的前提条件是什么 ?
问题18:介绍一下XSS漏洞的种类,DOM型XSS和反射XSS的区别是什么 ?
问题19:如何防范XSS漏洞,在前端如何做,后端如何做,哪里更好,为什么?
写在最后
以上内容展示了SecGPT-Mini在实际应用中的表现,如果你是面试官,会给SecGPT-Mini打几分呢?接下来,云起无垠将逐步分享有关该模型的训练方法、如何在最小资源下进行训练以及训练过程中积累的相关经验。欢迎大家继续关注,并敬请期待接下来的分享。
原文始发于微信公众号(云起无垠):SecGPT-Mini,一个在CPU上可体验的开源网络安全大模型
- 左青龙
- 微信扫一扫
- 右白虎
- 微信扫一扫
评论