Web LLM攻击为了提升在线客户体验,各大机构纷纷集成大型语言模型 (LLM)。然而,这也使其面临 Web LLM 攻击的风险,这些攻击利用了模型对攻击者无法直接访问的数据、API 或用户信息的访问...
不要停,继续说下去!——针对大语言模型的推理成本攻击:Engorgio
随着 ChatGPT 等大语言模型(LLMs)在各类任务中大放异彩,越来越多的场景开始依赖它们来提供服务。然而,由于 LLM 在推理阶段对算力的需求极为显著,一个潜在但被忽视的安全威胁也悄然浮现:恶意...
AI安全-提示词注入
攻击技术分类高级 Prompt Injection 技术绕过与混淆策略防御机制与对抗策略攻防手册靶场练习一攻击技术分类类型描述Prompt Injection利用精心设计的提示词操控模型行为,绕过安全...
OLLVM 攻略笔记
在现代软件保护技术中,控制流混淆(Control Flow Obfuscation)是一种常见且有效的手段,用于增加逆向工程的难度。OLLVM 是基于 LLVM 编译器框架的一个扩展,它通过插入复杂的...
浅聊一下,大模型的前世今生 | 工程研发的算法修养系列(一)
在算法主导的创新范式下,工程师该如何构建面向未来的核心能力?为大家带来《工程研发的算法修养》系列文章,开篇以大模型技术演进为主线,剖析该领域七十年来的关键技术及理论。第一章 NLP进化史规则时代(19...
大模型设施的安全风险框架
编者荐语本文首次系统性拆解大模型全生命周期安全框架,揭秘从数据采集到模型落地的4大核心威胁,并提出零信任架构、同态加密、智能水印等前沿防护方案。无论是防范生成式数据偏见,还是破解社会工程攻击,文章以真...
小样本学习简介
Few-Shot Learning 问题概述小样本学习:通过很少的样本做分类或者回归正常人都能根据两个样本学习到正确的分类,计算机能不能学习得到?Support Set : 非常小的数据集,不足以支撑...
浅聊AI模型的自动化安全评估工具及技术
介绍传统安全工具是为具有可预测行为的确定性系统设计的。相比之下,人工智能系统是概率性的(非确定性的),能够从数据中学习,并且可以随着时间的推移而发展。这种根本性的差异带来了新的攻击面和安全挑战,而传统...
云上LLM数据泄露风险研究系列(二):基于LLMOps平台的攻击面分析
一. 引言在上一篇系列文章《云上LLM数据泄露风险研究系列(一):基于向量数据库的攻击面分析》中,笔者对几款业内常用的向量数据库的暴露面、数据泄露风险进行了介绍,最后给出了一些针对向量数据库数据泄露...
大模型10大网络安全威胁及防范策略 | ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
大模型10大网络安全威胁及防范策略OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提...
MCP协议的威胁建模,基于MAESTRO框架
上一篇我们介绍了MAESTRO的威胁建模方法,本篇看一个MCP的场景应用。MAESTRO框架在七层上列出了威胁全集,具体到场景上,有些威胁不会产生影响,只需要考虑有影响的威胁,对威胁分析的定级,并做消...
大模型10大网络安全威胁及防范策略
OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》,大语言模型人工智能应用中存在的十大安全风险,相比2023版有一些变化,10大安全威胁如下:1、提示词注入:用户通过特殊输入改变模型...
72