近日,“AI+Security” 系列第 4 期线下活动在北京顺利举行,主题聚焦于 “洞” 见未来:AI 驱动的漏洞挖掘新范式,吸引了众多安全领域专家参与。奇安信安全研究员尹斌先生围绕 “基于大模型的...
AI+Security系列第4期(三):基于大模型的漏洞挖掘技术与实践
近日,“AI+Security” 系列第 4 期线下活动在北京顺利举行,主题聚焦于 “洞” 见未来:AI 驱动的漏洞挖掘新范式,吸引了众多安全领域专家参与。奇安信安全研究员尹斌先生围绕 “基于大模型的...
红队如何暴露人工智能模型中的漏洞
随着生成人工智能 (gen AI) 成为信息安全最前线,红队在识别其他人可能忽视的漏洞方面发挥着至关重要的作用。2024 年,数据泄露的平均成本达到历史最高水平,达到 488 万美元,企业需要确切了解...
AI+Security系列第4期(二):LLM辅助的模糊测试增强技术
近日,“AI+Security” 系列第 4 期线下活动于北京成功举办,聚焦 “洞” 见未来:AI 驱动的漏洞挖掘新范式,汇聚了安全领域的众多专家。水木羽林技术专家张强博士以“LLM辅助的模糊测试增强...
专题解读 | 多模态模型和图大模型的词元化(Tokenization)问题
Tokenzation: Beyond Tokenizers of LLMs1 什么是TokenizationTokenzation,指的是将数据转换为离散序列的过程。例如,我们在阅读英语时,我们是一...
面向GPTs的提示词注入攻击分析
在去年的时候OpenAI推出了可以为特定目的创建的定制版ChatGPT——称为GPTs。GPTs是任何人都可以创建一个定制版本的ChatGPT,以帮助他们在日常生活中、特定任务、工作或家庭中更加有用,...
【ADLab】以大模型为目标的威胁攻击与安全思考
更多安全资讯和分析文章请关注启明星辰ADLab微信公众号及官方网站(adlab.venustech.com.cn)一、概 述自2023年以来,以ChatGPT为代表的大语言模型(LLM)向人们展现出...
学术 | 大语言模型的幻觉问题研究
图片由AI模型生成大语言模型的幻觉问题研究综述摘要:随着以Transformer为代表的预训练模型等深度学习技术的发展,大型语言模型(LLM)日益展现出强大的理解力和创造力,对抽象摘要、对话生成、机器...
来和大模型斗智斗勇(三)
大模型提示词工程是一个技术活,可以让大模型更好的输出你想要的内容。甚至可以通过prompt来让大模型输出不能输出的内容。继续对之前发现的项目LLM Riddles进行解谜。系列历史文章来和大模型斗智斗...
GPT小越狱技巧
关于GPT已经发展了有几年的时间,但是有时候当我们问起一些事情的时候,由于system prompt的限制一些敏感或危险操作就会有如下的回应,但是有一些小技巧可以让GPT仍然可以回复我们想要的...
大模型用于代码扫描,论文一
从软件工程的角度说,漏洞(BUG)发现越早,解决的成本越低,所以,很多问题倾向于在代码阶段就解决,伴随着这个需求,产生了一系列的应用,这里边,SAST(Static Application Secur...
强制解码越狱大模型
文章首发奇安信社区:https://forum.butian.net/share/3966前言安全对齐(Safety Alignment)在人工智能(AI)和大规模语言模型(LLM)的研究中,指的是确...
63