点击蓝字 关注我们LLM越狱防御术Defending LLMs against Jailbreaking序言当前,越狱注入漏洞已成为 LLM 应用程序中备受关注且攻击手段迭代迅速的关键漏洞。从攻击者角...
G.O.S.S.I.P 阅读推荐 2025-01-03 勿做工具审稿人
最近几年,各行各业的打工人都在担心要被AI取代,新年第一次正经的阅读推荐,我们要给大家介绍一篇来自上海交通大学学霸(本科排名1/150)作为一作的论文 Are We There Yet? Reveal...
新型 AI 越狱方法Bad Likert Judge将攻击成功率提升 60% 以上
导 读网络安全研究人员揭示了一种新的越狱技术,该技术可用于突破大型语言模型 (LLM) 的安全护栏并产生潜在的有害或恶意响应。这种多回合(又称多次攻击)攻击策略被Palo Alto Networks ...
2024年AI安全五大热点回顾
在ChatGPT推出两年后,生成式AI已成为网络安全领域的重要力量。2024年生成式AI技术的影响无处不在,从深伪欺诈到“影子AI”的风险,再到AI安全法规的出现和AI驱动的漏洞研究潜力。以下,我们将...
SinkFinder:闭源系统半自动漏洞挖掘工具,针对 jar/war/zip 进行静态代码分析
闭源系统半自动漏洞挖掘工具,针对 jar/war/zip 进行静态代码分析,增加 LLM 大模型能力验证路径可达性,LLM 根据上下文代码环境判断该路径的可信分数 更新啦~ SINK规则方法名支持正则...
小型语言模型:AI领域的新热点
多年来,谷歌等科技巨头和OpenAI等初创公司,一直在不遗余力地利用海量在线数据,打造更大、更昂贵的人工智能(AI)模型。这些大型语言模型(LLM)被广泛应用于ChatGPT等聊天机器人中,帮助用户处...
大语言模型加速供应链攻击,只是时间问题
聚焦源代码安全,网罗国内外最新资讯!编译:代码卫士既然犯罪分子已经意识到无需训练自己的大模型 (LLMs) 实现任何恶意目的,因为窃取凭据之后破解现有凭据更便宜快捷,那么使用生成式AI的大规模供应链攻...
【AI安全】AI安全之提示词注入攻击
背景介绍近年来随着人工智能技术,尤其是大模型(例如:GPT类模型、BERT类模型等)的不断发展,这些模型已被广泛集成到各类应用中,从数字助手到AI驱动的新闻产业,几乎覆盖了各行各业。大模型的应用逐渐成...
AI安全 | 用文字攻击 AI
扫码领资料获网安教程来Track安全社区投稿~ 赢千元稿费!还有保底奖励~(https://bbs.zkaq.cn)什么是提示(Prompt)?提示是用户或程序向 LLM AI 提供的输入或查询,用...
来和大模型斗智斗勇(四)(完结)
大模型提示词工程是一个技术活,可以让大模型更好的输出你想要的内容。甚至可以通过prompt来让大模型输出不能输出的内容。继续对之前发现的项目LLM Riddles进行解谜,本篇为完结篇。系列历史文章来...
AI 生成恶意软件变种,安全检测面临新挑战
安全最新动向:近日,网络安全研究人员发现,利用大型语言模型(LLM)可以大规模生成恶意 JavaScript 代码的新变种,从而更有效地逃避检测。Palo Alto Networks Unit 42 ...
AI+Security系列第4期(三):基于大模型的漏洞挖掘技术与实践
近日,“AI+Security” 系列第 4 期线下活动在北京顺利举行,主题聚焦于 “洞” 见未来:AI 驱动的漏洞挖掘新范式,吸引了众多安全领域专家参与。奇安信安全研究员尹斌先生围绕 “基于大模型的...
41