![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
DeepSeek作为中国人工智能领域的重要代表，于2024年12月26日发布DeepSeek-V3模型，随后2025年1月20号发布DeepSeek-R1推理模型（简称R1），1月27日在苹果应用商店中美英等 157 个国家登顶下载榜，1月31日日活2215万成为全球增长最快的大模型应用。其优秀的性能，成为全球最强开源大模型，并且在测试中持平甚至超过OpenAI-o1系列（在数学和编码方面测试R1优于OpenAI-o1-1217版本），在全球AI竞争中引起广泛关注。
截至今日我们注意到大量用户对DeepSeek到底好在哪，如何部署DeepSeek以及如何在生产用正确应用DeepSeek提升生产力等方面还有很多疑问，特借此机会面向企业技术决策者、网络安全团队负责人及企业AI与业务融合相关角色，从DeepSeek相关概念展开，借助奇安信在模型训练过程的经历和经验总结，与大家分享我们在“使用大模型提升网络安全生产力”方面的一些心得体会。
我们首先聚焦在1月20号DeepSeek发布的R1系列推理模型，发布时共包含8个模型，分别是：DeepSeek-R1-Zero、DeepSeek-R1、DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B。通常大家把DeepSeek-R1称之为“满血版”，其他的“Distill”版本称为“轻量版”。
DeepSeek-R1-Zero和DeepSeek-R1是两个参数量671B的大模型（与之前发布的V3版本参数量一致）。DeepSeek团队先是基于DeepSeek-V3进行一系列RL（强化学习，通过不断试错和反馈来优化模型）得到了DeepSeek-R1-Zero，这个模型在不断的强化学习过程中展现了强大的推理能力，但是伴随着语言混杂等一些影响人类阅读的问题。
随后，DeepSeek团队通过在RL阶段前增加多阶段训练和冷启动数据进一步解决了Zero中的问题，并将R1模型性能提升到了与当时世界上最先进的OpenAI-o1-1217同等水平。这也是大家愿意称呼这个671B的DeepSeek-R1为满血版的原因。随后，为了支持开源社区对推理模型的技术研究，DeepSeek团队进一步使用R1蒸馏数据对Qwen和Llama系列开源模型进行微调，显著提升了此类小参数量稠密模型的推理能力。
看到这里可能会有疑问，为什么已经有了满血版R1还要搞蒸馏？蒸馏又是什么技术？模型蒸馏（Model Distillation）是一种源自教育领域"知识传递"理念的技术，它的核心思想是将一个大型且复杂的模型（教师模型）的知识"传授"给一个小型且简单的模型（学生模型）。这种技术允许我们利用大型模型的输出来微调较小的模型，使其能够在特定任务上实现类似的性能，同时显著降低计算成本和推理延迟。模型蒸馏技术的理论基础在于，大型模型通过复杂的网络结构和参数学习到了丰富的知识表示，这些知识不仅包括最终的分类结果，还包括中间层的特征表示、类别间的关系以及泛化能力等。通过蒸馏技术，这些隐式知识可被提取并迁移至小型模型中，从而使小型模型能够在推理时表现出接近大型模型的能力，而计算复杂度却大幅降低。
模型蒸馏的方法大致可以分为白盒蒸馏和黑盒蒸馏两大类，白盒蒸馏对算力和技术要求更高（需要在训练过程中开放教师模型的权重和激活等信息从而使得学生模型能够学习到教师模型丰富的表征信息），因此目前更多人使用的是黑盒蒸馏（也称知识蒸馏），即通过教师模型的推理生成高质量的数据作为学生模型的训练数据来提升学生模型的性能。社区之所以关注蒸馏技术，更多是因为参数量巨大的模型并不适合直接用于生产环境。如671B的DeepSeek-R1虽性能卓越，但对GPU显存和算力的需求极高。部署未量化版本至少需要两台配备8张A800 GPU（每张80G显存）的服务器，且性能仅勉强可用（未考虑量化等推理加速技术）。试想在生产环境中，面对高并发、长上下文输入的场景，用户或任务能否接受等待几分钟甚至十几分钟才能得到模型答案？DeepSeek-R1同步发布的几个Qwen和Llama系列蒸馏模型的意义就在于，通过技术探索，验证了：第一，使用一个很强大的教师模型，可以把推理模式“蒸馏”到小模型，而不需要对小模型重新进行完整的强化学习。第二，使用通过教师模型得到的高质量数据对小模型进行微调，能够有效提升小模型的基准性能。以上两点总结也均有在DeepSeek-R1的技术报告中专门提到（Distillation: Smaller Models Can Be Powerful Too）。
说到这里可能有小伙伴会想到模型不是还能通过量化等方式进行推理加速吗？诚然，量化技术对模型推理计算时需要的算力资源、显存空间都有很大的优化，但同时，量化会导致模型精度损失也必然会导致模型推理性能的损失。说到这里还需要提一下现在随处可见的“DeepSeek一体机”，很多客户看到一体机的宣传会误以为单台或者少数几台一体机就可以将DeepSeek全面用于生产环境。实际上对于DeepSeek-R1这样的大参数量MoE架构（混合专家架构，通过分工协作提升效果，类似多个专家团队各司其职）的模型，更适合算力集群式的部署方式。
在大语言模型的输入处理阶段也就是常说的Prefill阶段，这个阶段模型需要一次性处理全部的输入内容，得到原始输入的kv cache，生成第一个推理token，这个过程可以通过GPU并行来提高效率，DeepSeek-V3的论文中提到“Prefill阶段最小部署单元由4个节点32张GPU组成”，同时采用了32路专家并行的方法充分发挥了MoE架构的计算效率。
在Decoding阶段，模型需要以自回归的方式反复计算并更新kv cache，这个机制导致模型需要大量的内存访问同时也限制了并行计算能力，所以这个阶段DeepSeek-V3论文提到“最小部署单元由40个节点320张GPU组成”。除了GPU数量之外还包含GPU集群常用的IB（IfiniBand, Nvidia公司推出的构建GPU集群的专用高速高带宽网络方案）和DeepSeek自身的多种优化技术，可见真正将满血版DeepSeek用于生产环境的算力需求绝不是什么一体机能够满足的。单台或少量的一体机其实更适合Qwen和Llama等（包括R1蒸馏的系列）稠密模型的部署，尤其最近Qwen正式发布了QwQ-32B，常用测试集结果几乎持平了DeepSeek-R1的性能，单机部署相对满血版R1更具“性价比”。
那么作为最终使用者，如何正确的向先进技术要生产力呢？这其实是DeepSeek带给我们的深层次的思考——通过训练一个能力强大的老师，再通过知识蒸馏赋能专业、高速的小参数量模型，来实现面向生产力的性价比方案。就好比大家都是硕士毕业，找工作时会发现企业更愿意找专业对口的，就因为培养成本低、能快速上岗，也就是对于具体工作岗位更具“性价比”。同样的思路来应用大模型到具体任务场景就是在能够完成任务的前提下，尽可能的减少资源需求和计算时间，更充分的将模型推理结果体现在支撑智能体完成业务流程，才是提升生产力的关键所在。总结下来，生产应用需要务实，针对场景选择合适的模型才是正道。
本节我们聚焦大模型能力边界的讨论。DeepSeek-R1最核心的优势在于解决需要多步骤推理的复杂问题。从技术报告中测评结果可以了解到模型特别擅长通过中间步骤解决谜题、高级数学和编程挑战等类型的任务。例如，我们从报告中提到的AIME数学竞赛测试集中选取一个问题对DeepSeek-R1提问（Latex语法表示）：
Let $x,y$ and $z$ be positive real numbers that satisfy the following system of equations: [log_2left({x over yz}right) = {1 over 2}] [log_2left({y over xz}right) = {1 over 3}] [log_2left({z over xy}right) = {1 over 4}] Then the value of $left|log_2(x^4y^3z^2)right|$ is $tfrac{m}{n}$ where $m$ and $n$ are relatively prime positive integers. Find $m+n$.
换成更方便人看的懂的格式：
DeepSeek-R1的推理过程：
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
可以看到R1经过很长的思考推理过程，最终得到了正确的答案。上面这个例子很好的说明了为什么产业界如此推崇推理模型或者说慢思考模型。此类模型会自发的将问题按照一定逻辑进行展开，思考推理的过程也会不断形成长思维链（CoT）推理过程，通过更长的计算过程，得到更准确的答案，也因此更适合作为各类复杂推理任务的辅助工具，帮助人类在复杂任务中进行思考。
在继续讨论大模型转化生产力之前，我们再来看一个例子，这次是一个简单问题，同样是在DeepSeek官网，先使用DeepSeek-Chat（非推理模型）来回答：
再使用DeepSeek-R1回答：
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
可以发现R1使用了几倍的token得到了相同的答案。如果我们把这个问题看成一个需要精确答案的具体业务场景，在同样能够得到正确答案的前提下，越快得到结果，模型在固定时间内能完成的任务数量就越多。也就是说，在支撑具体生产任务时，我们希望模型越快越好，这样才能在单位时间内完成更多的工作。
我们换一个网络安全领域的问题，“解释一下双尾蝎”:
DeepSeek-R1的回答：
可以看到模型会从生物、传说、文化甚至隐喻等角度进行推测，但是其实都不正确。
下面我们再看安全专业大模型的回答：
可以看出，相较于通用大模型，经过专业安全知识训练的模型在专业领域问题上的表现差异十分明显。
另外，我们在通过大模型赋能具体场景任务的过程中通常都会接触到智能体、RAG等技术。其中，相对来说RAG更容易落地一些，但是近两年的一些RAG初创团队更多经历的是“3天立项，一年了还没完成交付”就是对RAG技术落地的一个真实写照。RAG虽然可以把模型没有掌握的信息通过向量化的方式存储在独立于模型的独立数据库中，能够在模型回答问题时检索与问题相关的内容进行答案生成，可以很好的解决模型在专业领域知识不足和幻觉的问题。但是理论与实现的差距就在于，RAG并没有改变模型自身的技术局限，尤其是模型自身上下文长度的限制。就导致有些场景问题，相关内容分散且总长度超过模型上下文长度时，就会导致在回答问题时信息缺失，最终体现在用户使用感受上就是专业性缺失或内容较片面。我们来看下面的例子：
例子中我们可以看到RAG系统可以根据用户的提问在向量数据库中检索语义相关的内容来作为模型上下文来让模型生成回答。通常这类系统会将原始数据切分或通过大模型转化为问答对形式后存储至向量数据库，并对向量存储的检索设置一个top_k，也就是数据库只返回最相关的top_k条内容提供给模型作为上下文。示例中可以看到左侧跟踪信息显示就是向量数据库根据用户问题返回的原文的部分内容。但是读过DeepSeek-R1技术报告的同学就会发现，其实在R1-Zero在生成R1冷启动数据时也是使用了Zero生成的数据。类似这种隐含表达的内容，因为没有经过训练阶段，所以在RAG检索的过程中很容易丢失，导致最终的回答显得“并不是很专业”。
另外一个让大模型实现场景化应用的技术是智能体开发，核心思想是让模型像一个能自主行动的助手来帮助或替代人类完成任务。通常一个智能体开发的完整过程需要考虑如何让模型正确感知任务状态、获得任务所需的数据来进行推理，过程中能够根据模型自身储备的知识自主思考、规划任务完成的路径，并正确的使用工具来完成过程中无法依靠模型推理直接完成的步骤，是一个相对复杂的工程设计过程。通过这些技术结合大模型的推理能力，就能够让模型长出“手脚”，真正的帮人干活。在这个工程化过程中，除了要求模型有海量的知识储备和很强的指令遵循能力外，一个关键的技术点是function call或tool call能力，可以支持模型调用外部工具实现与外部数字环境的交互，才能代替我们去自主的完成任务。下图是DeepSeek官网的API文档说明，可以明确的看到，目前的DeepSeek-R1是不支持function call的。
同时DeepSeek团队在发布模型的仓库中提到了下面一段话：
我们先来看第一点，温度要求较高。温度是指模型在推理下一个token时如何选择最终输出的token，温度越高模型的选择就越随机，温度越低模型就越偏向概率最高的下一个token。所以较高的温度通常适用于文学创作这种需要创造性输出的场景，但是对于生产环境，则恰恰相反——需要更精确更一致的输出。此外，在频繁测试和使用过程中发现，即使采用官方推荐的温度范围，模型在复杂推理时仍可能陷入无休止的重复或不连贯输出。这对于智能体来说就意味着任务的中断和GPU算力资源长时间满载。
第二点，所有提示词都应当包含在用户提示符中，对应DeepSeek-R1所使用的提示词模板来说，就是所有的提示词都应当跟随在<|User|>后，这也会造成一些已经开发好的智能体通过系统提示词来限定模型背景约束，通过用户提示词来提出问题的开发范式被打破。之前开发好的智能体需要更新后才能支持DeepSeek-R1，如果涉及多模型的兼容，也需要智能体支持不同模型切换不同的提示词体系，对用户会有一定的新增开发成本。
综合上面的结论，我们可以发现，DeepSeek-R1的定位确实如梁文峰所说，其更多是通过低成本高效率的架构设计，通过创新技术大幅降低计算资源消耗，同时坚持开源策略，旨在推动整个AI生态系统的发展，而非具有商业目的的突破。DeepSeek-R1并没有颠覆大语言模型的能力边界，训练-应用成本还是很高，通用模型相较专业模型在领域应用的场景尤其是与专业知识强相关的场景下，差距明显；DeepSeek-R1虽然性能强大，但对智能体应用开发仍存瑕疵。
通过前面的章节我们探讨了DeepSeek-R1这样强大的推理大模型爆火引发的一些普遍性讨论，也聊到了一些背后的技术问题，不难得到一个较为确定的结论，即未来一段时间仍然会是通用大模型和领域专业大模型共存的状态。
回到网络安全这一细分领域，如何让通用大模型具备网络安全专业知识，如何通过网络安全大模型实现安全智能体，又如何转化为生产力的这个过程，我们通过下面的内容来探讨网络安全专业大模型：
首先，网络安全是一个专业性很强的细分领域，虽然依托于信息化技术，但本质是攻防思想驱动的技术对抗。这就导致很多专业的知识只能在一些很小众的圈子里分享。我们知道大模型是通过海量的互联网数据梳理、标注形成训练数据集，通过预训练过程才让模型掌握了远超常人所能记住的海量知识。也恰恰因为网络安全的特殊性，导致真正有行业深度的安全知识基本只掌握在安全专业公司手里，直接结果就是通用大模型的任务泛化能力看起来很好，但是具体到比较专业的网络安全知识效果立马大打折扣。下面是一个告警研判的例子，在实际的安全运营过程，告警研判是最消耗专家资源的工作：
R1打开互联网搜索得到的结果：
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
R1进行了大量分析，并且尝试从互联网寻找相关信息，但是安全数据尤其是安全运营数据基本不可能在互联网上暴露具体细节，致使R1等依赖互联网数据训练的大模型无法获取到所需信息，也就无法给出准确的答复。可以看到甚至模型出现了幻觉：
本地部署的开源满血版R1效果相对DeepSeek公网版本还额外误判了测试内容，当成了代码混淆。
我们再来看学习过相关信息的安全大模型的回答：
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
可以看到模型能够根据所学知识按照专业的分析逻辑进行分析，并且可以给出如果攻击成功会有何种表现的准确信息。
其次，是如何正确的使用微调技术增强模型专业能力，目前业界主要的微调方式有全参数微调、高效参数微调和冻结层微调技术。全参数微调是最经典且直接的微调方法，通过在特定任务数据上调整模型的所有参数来适应新任务，但是在小数据集上容易导致过拟合问题，让模型失去通用任务的泛化能力，同时还可能导致灾难性遗忘，即模型可能会丢失预训练过程中学到的一些通用知识。其他两种，参数高效微调（常见的如LoRA）和冻结层微调的原理都是固定大量原有预训练参数来实现少量资源的快速微调，但缺点相对都比较明显，会对原本预训练模型在通用任务能力上产生较明显的影响。所以，微调更合适的用法是对经过网络安全知识充分预训练的模型上，按照具体的网络安全任务进行微调，来突出模型完成具体任务的能力。不好的微调，包括数据量不够、标注质量不好等因素都可能引起微调后对模型产生负面影响，下面的例子就是早期我们在某次训练过程中一次失败的微调，导致模型极易发生循环输出。（时间久远，图片没有保存高清版本）
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
可见，要真正玩转大模型训练，能够按照自己的需求准备正确的数据进行正确的训练，最终得到自己期望的结果，这中间需要很多经验技术的积累，并非想象中的“只要我有数据，脚本跑一遍，模型就学会了”。
总结经验：正确的获得一个能够高效完成网络安全生产任务的模型，前提是有足够的算力，深厚的经验积累；按照正确的路径：基于一个通用性能超强的大模型，使用尽可能全面且充足的网络安全数据进行增量预训练；再梳理出网络安全具体场景的任务数据，对模型进行全参数微调；通过强化学习提升模型的思考逻辑和解决领域问题的方法；最后使用知识蒸馏赋能小参数量的高速模型用于生产部署，最终实现先进技术向生产力的有效转化。
我们重新回顾了QAX-GPT从头训练经历的预训练、通用任务微调（SFT）、安全任务微调和RL（强化学习）几个阶段。在预训练阶段第一步需要进行数据处理，奇安信此前专门组织了资深专家作为知识工程团队，对包括互联网数据、学术论文、专业文献、报告、书籍等通用知识进行萃取。这个过程先是收集了大量常用的公开数据集，包括FineWeb、C4、FEVER、GSM8K-Train、Race等大量开放数据集，规模数百TB。之后通过自动分类打标后作为原始语料，结合模型+脚本的筛选、合成，形成基础的通用任务训练数据集。另一方面将奇安信多年积累的数百PB、涵盖1000余类别、8000多种字段的安全私有数据进行梳理、标注，形成了数千亿token的安全专业知识数据集。再通过一定的知识配比，得到模型预训练数据集。模型预训练过程是模型掌握语言规律、词汇语义、句法结构、语境理解等能力的过程，在这个过程中模型可以学会安全知识，理解安全工作方法。下图是一条预训练数据，需要海量的这样梳理好的数据才能开始预训练。
下面是通过预训练数据富化得到的数据集，可用于SFT或RL，模型迭代需要通过人工标注+机器合成得到大量这样的数据：
在通用任务微调、安全任务微调和RL阶段，主要通过大量标注过的高质量数据，强化模型的指令遵循能力；通过反馈学习，强化模型对特定场景任务的性能表现。这个阶段对数据的标注是关键，标注的好坏，直接影响模型对恶意软件活动、网络入侵、异常流量等类型的告警分析方法的掌握，也会影响模型对注入攻击手法、攻击源、攻击目标与告警分析之间的内在关系的理解。在标注阶段，奇安信投入了大量的人员精力，专门开发了数据标注系统和数据合成脚本，让整个标注流程在信息化系统上进行，减少人员与数据接触，同时通过隔离、抽检和多道审核来保证标注结果的质量。模型后训练阶段奇安信还采用RLHF（人类反馈强化学习）对模型进行对齐，过程中涵盖了常见的PPO、DPO、ORPO等算法。今年初始，通过学习DeepSeek的经验，也已经引入了GRPO算法，实现了可以根据不同任务灵活选择最高效最适合的算法进行对齐训练。
每一个版本训练结束后，还会进行包括安全性在内的全面测试，并通过与全世界优秀的模型的答案进行对比盲评来检测模型性能。
通过对比可以更为直观的看到一些有意思的内容，更凸显了专业模型和通用模型在领域问题上的差异。下面是一个业务数据触发了安全设备告警后研判结果的对比，首先是本地部署的DeepSeek-R1的结果，R1判断是一起成功的攻击事件：
回答中R1的研判结论是一次成功的攻击，但是实际是利用反序列化远程漏洞执行了命令但是根据返回其实执行结果是不成功的。最后给出关联的CVE漏洞也不正确，与反序列化漏洞无关（如下图）。
而具备安全知识的安全专业大模型经过专业知识的训练，掌握了安全分析方法、具备相关安全知识，能够准确分辨是有效攻击尝试、但是结果是失败的，同时可以简单明了的指出关键信息，研判人员一目了然：
在完成训练后，让模型通过增量的方式能够持续学习到新的知识，还需要增量预训练，通过特定配比的数据集对模型进行增量预训练是模型补充专业知识的一种有效方法。相对微调，增量预训练数据要求和资源需求更高，但不容易发生过拟合以及灾难性遗忘等风险。通过探索、总结经验，在过去的2023年-2024年QAX-GPT大模型通过增量预训练、微调、强化反馈学习的范式进行了多个版本的迭代，在模型的通用任务能力和安全专业能力上相对早期版本取得了明显的进步。但是如果想要调整模型架构从底层优化，需要从基础模型开始训练。而训练基础模型的成本非常高（即使DeepSeek基于自己的技术积累，训练v3版本的成本也超过了500万美元）。在过去的迭代过程中我们也想到并且尝试了通过RAG配合智能体开发，以期可以让智能体在安全任务过程中可以通过外部知识赋能，提升模型在任务上的表现。
经过尝试，RAG配合智能体在对话场景以及一些对语境要求不高的任务中确实可以提升模型完成任务的表现，但如本文前面提到RAG对于语境和内含在上下文中的潜在语义的局限性，导致RAG配合智能体其实更适合解决一些特殊场景，如知识完全无法通过训练和微调来赋能模型的需求，常见于涉密场景。所以，最终我们在坚持QAX-GPT基础模型继续迭代的同时，决定尝试另外一条路——与DeepSeek进行全面融合。
![深度分享：安全行业大模型落地的正确路径]( "深度分享：安全行业大模型落地的正确路径")
QAX-GPT2.0-DeepSeek版正是基于这个思路，同时在技术方面和模型方面进行双融合，在预训练阶段和后训练阶段吸收学习DeepSeek提出的先进技术，提升模型训练效果、降低训练成本；在模型方面基于DeepSeek训练新一代的超级安全大模型；最后通过蒸馏技术，得到一个安全任务能力不下降，通用任务能力基本不下降的，用于生产环境的高速安全大模型。最终带给客户的是一个更专业、更智能的安全机器人，在高效安全运营任务之外，还可以通过通用能力辐射更多业务场景，帮助客户加速智能化发展。
最后，感谢众多人工智能领域的先行者们，尤其是DeepSeek这样无私的开源团队，他们的成果铺设了通往知识殿堂的高速通道，使我们在这一领域的探索与学习之旅变得更加迅捷与高效。谨以此文向他们致敬，愿在前辈们智慧光芒的照耀下，我们能进一步提振网络空间的安全生产力，共绘人工智能与网络安全领域的壮丽蓝图。
张卓，奇安信集团合伙人、副总裁，高级工程师，中国计算机学会(CCF)委员。拥有十多年国内知名网络安全公司的技术研发、架构、产品和项目管理经验，对网络安全攻防对抗、高级可持续性威胁（APT）攻击检测、恶意域名分析与检测等有深刻的研究。目前致力于人工智能技术在网络安全领域的应用与研究，领导团队进行QAX-GPT及相关产品的研发工作。
原文始发于微信公众号（虎符智库）：深度分享：安全行业大模型落地的正确路径
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
点赞
https://cn-sec.com/archives/3883952.html
复制链接
复制链接
-
左青龙
- 微信扫一扫
-
-
右白虎
- 微信扫一扫
-
评论