大模型之网络安全分析

随着各类大模型与经济社会的深度融合，其技术局限和潜在恶意使用不仅威胁大模型系统自身的安全稳定运行，也可能为使用大模型的各行各业带来非预期安全影响。为尽可能全面应对大模型领域的基础共性安全挑战，本文优先对语言、多模态等各类基础大模型系统的安全风险进行系统梳理。与此同时，参考 ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准，将基础大模型系统抽象为训练数据、算法模型、系统平台和业务应用四个重要组成部分，并通过描绘这四个组成部分面临的重要和一般安全风险，形成大模型安全风险地图，其中，重要风险是发生概率高和影响程度大的风险，一般风险则反之。

2. 险识别 (Identify)

大模型在风险识别环节拥有显著应用潜力。重点介绍大模型在智能威胁情报生成整合、自动化漏洞挖掘、自动化代码审计、智能网络攻击溯源等场景的商业化应用情况。

智能威胁情报生成整合

威胁情报旨在为面临威胁挑战的资产所有者提供全面、精确、高度针对性的威胁知识与信息，以辅助资产所有者制定有效的安全保护决策。

目前高质量威胁情报生成整合领域缺乏能从各类威胁情报来源中准确抽取关键信息的自动化工具。

大模型拥有信息提取能力、自然语言理解能力和情报生成能力，可以准确便捷的从 CVE 漏洞信息、安全论坛讨论、 暗网聊天记录等各类公开和私有的安全信息中，准确提炼出恶意 IP 地址、恶意 URL、恶意文件哈希值等各类 高价值威胁指标进而生成威胁情报，供安全人员后续分析。而且，大模型具有关联分析能力和数据整合与可视 化能力，能对多类数据源进行关联分析，将看似无关的信息片段拼接成完整的威胁全景图。例如，大模型能将 IP 地址、域名、文件哈希值、攻击签名等散乱数据点关联起来，从而揭示出隐藏的攻击链路和攻击者意图。

自动化漏洞挖掘

漏洞挖掘旨在识别尚未被软件开发商或安全研究者发现并公开披露的软件漏洞。

目前漏洞挖掘面临着严重依赖安全专家经验、缺乏自动化工具的挑战。

大模型在此领域展现了强大的代码和文本理解分析能力，能自动审查海量源代码、二进制文件和系统日志，并通过运用模式识别与异常检测技术来发现未公开的零日漏洞。例如，在实际运行环境中大模型可监控程序的行为特征，通过检测识别出显著偏离正常行为模式的异常行为，来预测零日漏洞的存在。此外，大模型还可依据对程序内部结构的理解、通过已知漏洞特征来推测未知漏洞特征，并通过生成高质量测试数据集达成有效触发和识别潜在零日漏洞的目标。    

自动化代码审计

代码审计旨在检查程序源代码中是否存在编码错误、逻辑错误等安全缺陷，并提供相应的修复方案与改进建议。

目前代码审计面临自动化工具误报漏报率高难以实用的挑战。大模型通过学习海量的优质代码和编程错误案例，可学习掌握各种编程语言的语法、库函数用法及常见问题解决策略。

大模型凭借强大的上下文理解能力，可精准识别代码的功能意图和逻辑流程，并准确发现编码错误、调用错误、逻辑错误等多类型的已知和未知安全漏洞。在检测识别出安全漏洞后，大模型利用其代码生成能力，提供漏洞修复建议，可帮助开发者快速定位并解决问题，减少人为错误率。

智能网络攻击溯源

网络攻击溯源旨在通过技术手段追踪与分析网络攻击的源头及其发起者。

目前网络攻击溯源的主要挑战在于，已有自动化工具难以满足对高隐蔽性网络攻击行为溯源的及时性和准确性要求。

大模型凭借意图识别、信息整合等技术能力，可在攻击路径重建、攻击者画像等多个关键溯源环节发挥关键作用。    

一是攻击路径重建方面。大模型能够利用事件日志、防火墙记录、终端遥测等数据，复原攻击者从初始突破点到目标系统的完整攻击链，展示攻击者如何绕过安全防御、进行权限提升并在系统中扩散的详细过程。

二是攻击者画像方面。大模型通过综合分析攻击手法、攻击工具、IP 地址、域名、注册邮箱等信息，能推测出攻击者技术水平、组织归属、攻击偏好等关键信息，进而建出攻击者的详细画像。三是恶意基础设施追踪方面。

大模型通过分析 C&C (Command and Control) 通信流量、DNS 查询记录、IP 信誉数据库等信息，追踪攻击者所使用的 C&C 服务器、恶意域名和僵尸网络节点等恶意基础设施。

动态策略管理

策略管理旨在根据本机构安全目标制定、实施、监控和持续优化安全政策的过程。

目前策略管理面临着主要依赖专家经验，自动化工具难以满足策略制定精准性和及时性要求等挑战。大模型凭借其突出的自然语言理解和意图识别能力，能深刻洞察实际应用场景中的安全需求，并能结合时刻变化的安全威胁和风险演变情况，动态地推荐和调整安全策略，以强化安全防御能力。例如，当检测到特定 IP地址发起可疑扫描活动时，大模型能够即时推荐添加对该 IP 的封锁策略；或者在检测到某个端口被频繁用于攻击时，大模型能够设置临时关闭该端口访问的策略。而且，对于复杂的安全策略集，大模型能深入理解每一条策略蕴含的安全意图，进一步对策略集进行梳理、筛选、整理与合并，达到优化精简安全策略的目标。

自动化告警分析

告警分析旨在从海量告警中快速识别和响应真正的安全威胁。但是，目前告警分析面临海量告警、误报率高等挑战。

大模型凭借多源信息融合、关联分析等技术能力，可在攻击路径还原、告警过滤与降噪等多个关键告警分析环节发挥关键作用。

一是攻击路径还原方面，通过整合告警信息，大模型能精准识别并关联同一攻击事件中的告警，构建出黑客的攻击轨迹，从而直观呈现其从入侵、权限提升、横向移动直至目标达成的连贯行动链。

二是告警过滤与降噪方面，大模型深入分析疑似误报，融合上下文和历史数据，精确辨识真实威胁，有效降低安全团队对无效告警的响应。

三是告警解释方面，大模型综合告警详情与相关上下文信息，如环境、用户行为和工具使用情况，能够生成详尽的解释报告，助力分析师快速把握告警本质并采取恰当响应措施。

四是警情评估方面，大模型有助于实现动态的警情评估，当告警与高危威胁情报匹配，例如 APT 活动或零日漏洞，大模型将提升告警级别并触发应急响应，指导安全团队迅速采取防护措施，确保及时应对潜在威胁。

智能报文检测

报文检测旨在通过监控与深度分析网络中传输的数据包发现潜在的恶意活动、异常流量、漏洞利用或其他安全威胁。    

目前报文检测面临着从网络流量中识别安全攻击的准确率低等挑战。大模型凭借其强大的自学习能力，能够从海量数据中自动提取关键特征，有效识别出异常报文，例如，它能通过语义分析出看似正常的 JavaScript 代码中隐藏的 SQL 注入攻击。结合威胁情报，大模型还能对网络流量进行深度包检测，识别出与 APT 攻击相关的报文，如发现伪装成合法通信的 C&C 通信，揭示正在进行的高级持久威胁活动。此外，大模型通过分析报文中新颖或未知的特征，结合机器学习算法预测潜在的零日攻击，如在大规模扫描活动中识别出可能利用未公开漏洞的探测性攻击。

智能钓鱼邮件检测

钓鱼邮件检测旨在识别并拦截那些含有欺诈信息、企图盗窃用户敏感信息或诱使用户执行恶意操作的电子邮件。

目前钓鱼邮件检测面临着难于准确识别出高隐蔽性钓鱼邮件等挑战。大模型凭借其强大的自然语言理解能力，深入解析电子邮件内容，从邮件标题和正文抽取关键信息，并结合上下文进行深入分析，以精准识别出钓鱼邮件。例如，大模型能够识别邮件中紧迫的语气、逻辑上的矛盾、链接与邮件内容的不一致以及使用同音异形词构造的 URL 等典型的钓鱼邮件特征，从而判断邮件的真实意图。此外，大模型的文本生成能力可以清晰地呈现钓鱼邮件的判断逻辑，帮助用户提升对钓鱼邮件的认知理解，有助于他们在未来遇到类似情况时做出更准确的判断。

智能未知威胁检测    

未知威胁检测旨在主动识别和分析那些尚未被明确定义、分类或广泛认知的潜在安全威胁，以便及早采取预防和应对措施，减少未知攻击可能造成的损害。

目前该技术主要面临高隐蔽性、复杂性、多变性攻击难以被准确检测等挑战。

大模型凭借代码理解、意图识别等技术能力，可在新型恶意软件检测、零日漏洞利用检测等多个关键未知威胁检测环节发挥重要作用。

一是新型恶意软件检测方面，大模型能够分析网络流量中的异常文件下载行为，即使这些文件未被传统反病毒软件标记，也能够通过其网络行为，如隐蔽通信、自我复制、加密数据交换，识别出潜在的新型恶意软件。

二是零日漏洞利用检测方面，当监测到系统进程异常崩溃，大模型能够通过分析发现崩溃前的内存访问和系统调用序列，基于模式识别技术，预测可能存在的零日漏洞利用。

三是内部威胁预警方面，通过分析员工账号的行为模式，大模型能够发现与常规行为显著偏离的活动，如在非工作时间的异地登录和异常数据导出，即使这些行为不违反任何明确的策略，也会触发内部威胁预警。

四是供应链攻击检测方面，大模型监控软件供应链环节，能够识别出软件更新包的数字签名微小差异，通过深度学习模型判断签名伪造的可能性，并进一步分析确认该更新包是否携带后门。

五是网络隐身攻击识别方面，在网络流量分析时，大模型能够识别出看似正常但具有微妙差异的 TCP 连接，揭露利用网络协议特性进行隐身的新型攻击。

2.4 安全响应 (Response)

智能响应

旨在及时检测和应对网络威胁、安全违规行为或攻击，其目标是在威胁造成影响前进行有效预防，并最大限度降低攻击导致的成本损失与业务中断。但是当前智能响应面临着着高度依赖于专家经验，难以快速形成联动应对方案等挑战。

大模型利用其决策能力，根据当前网络风险状况，为安全专家提供自动化的响应策略与处置流程建议。它能自动生成响应脚本，并与多种安全工具（如防火墙、入侵防御系统、终端安全等）集成，直接调整设备策略或执行必要的修复操作，如隔离受感染设备、阻断恶意流量、更新防火墙规则等。通过与各种安全工具的集成，大模型能够跨工具进行任务编排，确保整个安全体系的响应和处置既快速又协调，极大提升了安全事件的响应效率。

智能事件报告生成

旨在迅速记录、报告、分析和处理可能影响资产安全、运营连续性、员工安全或组织声誉的意外事故、违规行为、系统故障或潜在威胁。

当前事件报告面临着高度依赖专家撰写、报告内容不够全面等挑战。大模型凭借数据理解、摘要总结、文本生成等能力，可在自动化数据收集与初步分析、攻击过程可视化等方面发挥重要作用。

一是自动化数据收集与初步分析。大模型自动搜集来自防火墙、入侵检测系统和日志服务器的相关数据，通过初步的关联分析、识别异常行为、可疑 IP 地址、恶意文件等关键信息，为报告编写提供基础素材。    

二是攻击过程可视化。大模型通过攻击矢量图、系统状态变迁图等图表或图形方式，直观地呈现攻击者的活动、受害系统的响应、安全防护措施的触发等，使读者快速把握事件的全貌。

三是根源分析与风险评估。大模型深入分析攻击成功的根本原因，并量化评估事件对业务、数据和系统安全等方面的潜在影响。

四是应对措施总结与教训提炼。大模型总结应急响应、系统恢复、漏洞修复等措施，评估有效性，并从事件中提取安全运营、风险管理、员工培训等方面的教训和改进建议。五是合规性评估。大模型确保报告内容满足法律法规的相关的要求，包括事件通报时限、数据泄露通知义务和记录保存标准等，并提出改进建议。

智能应急策略制定

智能应急策略制定是一种先进的安全恢复方法，结合自动化工具和大模型技术，旨在当网络遭受故障或攻击导致非正常状态时，迅速采取行动恢复网络的正常运行。

当前应急策略制定面临着过度依赖已有恢复方案，难以根据复杂安全事件快速生成定制化的有效恢复策略。大模型利用其丰富的安全知识库与最佳实践案例库，为制定应急策略提供了坚实的理论基础。通过持续的学习与优化，大模型能够及时捕捉最新的威胁动态与技术进展，保证应急策略的时效性与针对性。

面对安全威胁，大模型利用其卓越的数据洞察、语言理解和推理能力，根据组织的特定环境和业务需求，智能生成定制化的应急策略，并协助执行。在紧急安全事件发生时，大模型能够迅速制定应急响应策略，涵盖隔离受影响系统、封锁攻击源、恢复关键服务、收集证据等关键步骤，确保响应措施的及时性和有效性。

“资料来源：阿里云计算有限公司与中国信息通信研究院”

原文始发于微信公众号（安全架构）：大模型之网络安全分析