随着 ChatGPT 等大语言模型(LLMs)在各类任务中大放异彩,越来越多的场景开始依赖它们来提供服务。然而,由于 LLM 在推理阶段对算力的需求极为显著,一个潜在但被忽视的安全威胁也悄然浮现:恶意...
OWASP发布生成式AI安全治理清单
随着OpenAI、Anthropic、Google和微软等公司的生成式AI及大语言模型(LLM)用户量呈指数级增长,企业IT安全决策者正努力跟上AI技术的快速发展步伐。非营利组织OWASP最新发布的《...
云上LLM数据泄露风险研究系列(二):基于LLMOps平台的攻击面分析
一. 引言在上一篇系列文章《云上LLM数据泄露风险研究系列(一):基于向量数据库的攻击面分析》中,笔者对几款业内常用的向量数据库的暴露面、数据泄露风险进行了介绍,最后给出了一些针对向量数据库数据泄露...
大模型10大网络安全威胁及防范策略 | ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
大模型10大网络安全威胁及防范策略OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提...
大模型10大网络安全威胁及防范策略
OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提示词注入:用户通过特殊输入改变模型...
【论文速读】| 软件安全的大语言模型 (LLM):代码分析、恶意软件分析、逆向工程
基本信息原文标题:Large Language Model (LLM) for Software Security: Code Analysis, Malware Analysis, Reverse ...
SWE-agent:利用大语言模型修复GitHub仓库问题
这款名为SWE-agent的开源工具通过将GPT-4o和Claude Sonnet 3.5等强大语言模型与现实世界工具连接,使其能够自主执行复杂任务:从修复GitHub实时仓库中的错误、解决网络安全挑...
USENIX Sec 2025:大模型越狱防御框架——JBShield
随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱...
专题解读|利用结构化知识增强大语言模型的推理能力
利用结构化知识增强大语言模型的推理能力一、简介知识图谱(Knowledge Graphs, KGs)和表格等结构化数据在表示和分析现实世界中的复杂关系方面发挥着重要作用。这些结构化数据能够以一种清晰且...
原创 Paper | MCP 安全探讨系列(一)—— MCP 概述
作者:Hcamael@知道创宇404实验室时间:2025年4月18日1. 前言参考资料近些年,人类在生成式人工智能的道路上一路狂奔,ChatGPT的横空出世、多模态模型的发展、Agent浪潮开启、De...
潜藏在AI工作流程中的数据泄露风险
随着人工智能技术深度融入日常业务流程,数据暴露风险正持续攀升。提示词泄露已非偶发事件,而是员工使用大语言模型(LLM)过程中的必然产物,首席信息安全官(CISO)必须将其视为核心安全问题。为降低风险,...
企业软件与AI原生应用
在传统企业软件领域,AI 往往作为一种补充性能力被整合到现有系统中。但随着 ChatGPT 在 2022 年底的惊艳亮相,一种全新的软件形态开始崭露头角,即AI 原生应用(AI-native Appl...
30