开源网络安全大模型Foundation-Sec-8B

介绍：

Dimu是资深的安全大模型专家，专注于AI在网络安全领域的应用。Yaron Singer是Foundation-Sec的主要负责人，带领团队开发了Foundation-Sec-8B，这是一个专门为网络安全任务优化的大语言模型。今天，他们将深入探讨Foundation-Sec-8B的开发历程、数据收集和技术实现。

Dimu: “Yaron，非常高兴能和你进行这次对话。Foundation-Sec-8B在网络安全领域引起了很多关注。首先，能否简要介绍一下这个项目的背景以及它的目标？”

Yaron Singer: “谢谢，Dimu。Foundation-Sec-8B是一个专为网络安全任务设计的大语言模型，基于Llama 3.1-8B架构。我们的目标是解决网络安全领域中两个主要问题：一是缺乏高质量的专门数据，二是当前的安全模型无法处理复杂的安全知识和任务。通过继续预训练，我们使Foundation-Sec-8B在网络安全领域的表现超越了许多传统的通用模型。”

Dimu: “听起来非常有前景。你们在数据收集方面采取了哪些策略？我知道这部分对你们来说非常重要。”

Yaron Singer: “是的，数据收集是Foundation-Sec-8B开发中的一个巨大挑战。网络安全数据相对较为稀缺，我们的解决方案是采用双重策略。一方面，我们使用了广泛的通用爬虫工具来收集数据，另一方面，我们也构建了专门的定制爬虫，聚焦于那些不容易通过常规URL爬虫抓取的高质量网络安全来源。”

Dimu: “那么，这些爬虫如何保证收集到的数据质量呢？”

Yaron Singer: “我们在数据收集后进行了严格的质量筛选。首先，使用了基于关键词匹配的过滤器，筛选出包含网络安全相关术语的页面。但这种方法存在误报的风险，因此我们进一步开发了一个基于transformer的小型分类器，来提升过滤的精确度。最终，我们从4TB的原始数据中提取出大约25GB的高质量数据。”

Dimu: “你们的筛选机制非常先进。那么，除了数据筛选，数据预处理的过程中有做哪些关键的工作？”

Yaron Singer: “数据预处理是确保模型能够有效学习的关键步骤。在这一阶段，我们对收集到的文档进行了格式化、去重、清理等操作。我们使用了n-gram Bloom过滤器来消除重复内容，并通过正则表达式和其他技术，去除了个人可识别信息（PII）。这些预处理步骤确保了训练数据的质量和隐私保护。”

Dimu: “那么，Foundation-Sec-8B的训练过程是如何进行的？是否采用了与其他大语言模型不同的方法？”

Yaron Singer: “在训练过程中，我们使用了DeepSpeed来加速训练，并采用了AdamW优化器和余弦衰减学习率调度策略。模型的训练数据主要来源于我们经过精心挑选和预处理的数据集。我们使用了4096个token的训练序列，确保了每次训练的效率和准确性。”

Dimu: “训练过程中有遇到什么难题吗？尤其是在优化模型的安全性和准确性方面。”

Yaron Singer: “训练过程中最具挑战性的问题之一就是如何避免模型出现‘幻觉’，即生成不准确的内容。为了应对这个问题，我们对模型进行了多轮微调，并在基准测试中进行了严格评估，确保它在面对安全特定任务时，能够给出准确的答案。”

Dimu: “我注意到你们使用了多个基准测试来评估模型性能。能否详细谈谈这些测试以及Foundation-Sec-8B的表现？”

Yaron Singer: “我们选择了几个网络安全领域的标准基准测试，包括CTIBench、CyberMetric和SecBench。Foundation-Sec-8B在这些测试中表现出色，尤其是在CTIBench-RCM测试中，它比Llama 3.1-70B和GPT-4o-mini高出了6.1分，表现非常强劲。此外，Foundation-Sec-8B在CyberMetric和SecBench的测试中也展示了强大的推理和知识保持能力。”

Dimu: “从结果来看，Foundation-Sec-8B的表现超过了许多大型模型，尤其是在专门化任务上。你们如何确保它的推广和实际应用？”

Yaron Singer: “我们非常注重将Foundation-Sec-8B应用于实际的网络安全工作中。例如，它目前已经在安全运营中心（SOC）中被用来自动化警报处理、生成案例报告以及丰富安全事件的上下文。此外，Foundation-Sec-8B还在主动威胁防御中表现优异，它能够提取攻击者的战术、技术和程序（TTP），并预测攻击路径。”

Dimu: “这些应用案例非常有前景。那么，Foundation-Sec-8B是否有跨行业应用的潜力？”

Yaron Singer: “我们认为Foundation-Sec-8B不仅在网络安全领域有着广泛的应用潜力，还能够在其他需要高度专业知识的领域发挥作用。例如，随着网络安全与医疗、法律等行业的交叉融合，Foundation-Sec-8B未来可以为这些行业提供智能辅助，提升效率和决策准确性。”

Dimu: “从技术的角度来看，Foundation-Sec-8B的微调和继续预训练的策略是什么？”

Yaron Singer: “在继续预训练方面，我们使用了大量来自网络安全领域的文献和研究报告，这些数据包含了大量的威胁情报、漏洞信息以及安全标准。通过对这些数据的深度训练，我们提升了模型在网络安全领域的知识深度和推理能力。微调方面，我们结合了具体的任务需求，针对CTI（网络威胁情报）和CVE（公共漏洞）等任务进行了专门的优化。”

Dimu: “在继续预训练的过程中，数据的质量与多样性扮演了什么样的角色？”

Yaron Singer: “数据的质量和多样性至关重要。由于网络安全任务的复杂性，我们需要保证模型能够理解不同类型的安全问题，并进行有效的推理。例如，模型需要理解不同类型的漏洞描述、攻击模式以及它们在安全防护中的关联。”

Dimu: “你们的模型评估标准是如何设定的？尤其是在安全任务的评估中，模型的准确性和可靠性如何保证？”

Yaron Singer: “我们的评估标准严格遵循了行业内的主流方法，尤其是针对多选题回答（MCQA）和根本原因分析（RCM）任务。我们通过多次测试和比较，确保模型在这些任务中的准确率，并且特别关注模型在处理复杂、具有挑战性的安全问题时的稳定性和可靠性。”

Dimu: “很显然，Foundation-Sec-8B已经在多个安全领域取得了优异的成绩。那么，未来你们有没有计划进一步提升它的能力？”

Yaron Singer: “当然，我们计划在未来进一步提升Foundation-Sec-8B的规模和处理能力，尤其是在支持更大规模安全任务时的效率。此外，我们还希望扩展它的应用场景，包括处理网络安全编程任务，比如安全代码生成和漏洞修复。”

Dimu: “这对于网络安全社区来说无疑是巨大的进步。你们是否有考虑将Foundation-Sec-8B开放给更广泛的开发者和研究人员使用？”

Yaron Singer: “是的，我们已经将Foundation-Sec-8B的训练检查点发布在Hugging Face平台上，供研究人员和开发者下载使用。通过开放源码，我们希望激励更多的安全研究和工具开发，推动AI在网络安全领域的普及。”

Dimu: “这将为全球安全专家提供巨大的帮助。那么，你们有没有考虑在未来将Foundation-Sec-8B与其他安全工具集成，以增强其应用能力？”

Yaron Singer: “我们正在积极探索将Foundation-Sec-8B与其他安全平台和工具进行集成。例如，结合现有的威胁检测工具和自动化响应系统，Foundation-Sec-8B能够提供实时的安全决策支持，进一步提高整个网络安全操作的效率和精确度。”

Dimu: “听起来Foundation-Sec-8B在推动网络安全智能化方面的潜力无穷。感谢你今天与我们分享这些精彩的内容，Yaron。”

Yaron Singer: “谢谢Dimu，能够与大家分享Foundation-Sec-8B的进展非常高兴。希望这个模型能为网络安全领域带来更多创新和进步。”

原文始发于微信公众号（AI简化安全）：开源网络安全大模型Foundation-Sec-8B