大模型10大网络安全威胁及防范策略OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提...
大模型10大网络安全威胁及防范策略
OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提示词注入:用户通过特殊输入改变模型...
【论文速读】| 软件安全的大语言模型 (LLM):代码分析、恶意软件分析、逆向工程
基本信息原文标题:Large Language Model (LLM) for Software Security: Code Analysis, Malware Analysis, Reverse ...
专题解读|利用结构化知识增强大语言模型的推理能力
利用结构化知识增强大语言模型的推理能力一、简介知识图谱(Knowledge Graphs, KGs)和表格等结构化数据在表示和分析现实世界中的复杂关系方面发挥着重要作用。这些结构化数据能够以一种清晰且...
2025年LLM应用十大安全风险!OWASP最新指南
近年来,大型语言模型(LLM)如ChatGPT、文心一言等已渗透到各行各业,但随之而来的安全问题却暗藏“杀机”。OWASP(开放全球应用安全项目)近期发布了《2025年大语言模型应用程序十大安全风险》...
RAG 受到攻击:LLM 漏洞如何影响真实系统
在第一部分中,我们展示了如何欺骗大语言模型(LLM)来执行数据。这一次,我们将了解这在现实世界的检索增强生成(RAG)系统中是如何发挥作用的 —— 在现实世界中,被污染的上下文会导致网络钓鱼、数据泄露...
MCP基本概念与核心原理详解
本文主要介绍 Anthropic 推出的开源协议MCP(Model Context Protocol,模型上下文协议),旨在让读者快速了解该协议,实现大语言模型与外部数据源和工具的无缝集成。将从以下方...
LLM Agent安全风险
0x01 LLM Agent 为了丰富LLM程序功能, 激发更多LLM的潜力, 开发人员提出了LLM Agent的概念(又叫智能体/LLM代理等), 使LLM程序突破文本生成局限, 实现更多操作, 如...
对抗性机器学习-攻击和缓解的分类和术语(三)
3.生成性人工智能分类GenAI是人工智能的一个分支,它开发的模型可以生成与训练数据具有相似属性的内容(例如图像、文本和其他媒体)。GenAI包括几种不同类型的人工智能技术,它们具有不同的起源、建模方...
慢雾:AI 安全之 MCP 安全检查清单
我们出这个安全检查清单的背景是因为过去一段时间我们安全审计了一些 MCP(Model Context Protocol) 案例,尤其是加密货币领域的。当时安全团队的 Aro 发现了 MCP MITM ...
AI幻想出的代码依赖构成新型软件供应链风险
聚焦源代码安全,网罗国内外最新资讯!专栏·供应链安全数字化时代,软件无处不在。软件如同社会中的“虚拟人”,已经成为支撑社会正常运转的最基本元素之一,软件的安全性问题也正在成为当今社会的根本性、基础性...
AI防御措施
AI防御措施首先,防御提示词注入非常难(攻击路径一条有效就行,防御人想把所有路径都堵上,不现实不现实),目前没有什么特别好的防御方法。下面的措施是一些常规的防御措施。没有完美的防御方法,可以考虑多层次...
44