最近在搞AI自动化渗透的时候刷到了一些资料,关于越狱攻击和防御的。一个是gray swan提出的短路机制,也就是实现类似lora的方式,在推理的过程中记录和观察活跃的节点部分,然后找到共性部分,然后当...
G.O.S.S.I.P 阅读推荐 2024-10-16 LLM帮你理解安全补丁
我们今天介绍的这篇论文Pairing Security Advisories with Vulnerable Functions Using Open-Source LLMs来自2024年的DIMVA...
未来发起网络攻击或许是机器人
近期一篇关于康奈尔大学关于LLM代理可自主入侵网站的论文是值得网安同学关注。这篇论文的研究展示了 LLM 代理可以自主入侵网站,通过使用GPT-4模型在没有人工反馈的情况下执行像盲数据库架构提取和 S...
国内外AI安全分析
国内的安全厂商目前没有一家正常的,我说的正常是指有预训练的,正儿八经的采集了很多和安全相关的数据来做的,拥有正儿八经的安全研究团队的。国外的LLM安全公司很多,大部分都是在研究jailbreak,因为...
LangChain 框架介绍及关键模块分析
1. 简介LangChain 是一个开源的编排框架,旨在将大型语言模型(LLM)与外部数据源无缝连接,助力开发者构建基于 LLM 的应用程序。该框架由 Harrison Chase 于 2022 年 ...
G.O.S.S.I.P 阅读推荐 2024-10-14 通过逻辑推理捉住大模型说胡话:一个基于蜕变测试的大模型幻觉检测方法
近年来,大型语言模型(LLM)的飞速发展彻底改变了自然语言处理的格局。然而,伴随着其令人瞩目的成就,大模型也面临着诸多挑战,尤其是在安全性、隐私保护以及输出准确性方面。其中,模型幻觉(Hallucin...
大模型榜单还能信吗?一个假模型就能登顶排行榜
大模型榜单还能信吗?一个假模型就能登顶排行榜发布时间:2024 年 10 月 09 日Cheating Automatic LLM Benchmarks: Null Models Achieve Hi...
威胁狩猎新挑战——LLM时代如何解码黑客攻击
1 大模型攻击预测自网星大模型取得较大进展之后,便将多年积累的攻击数据及目前最主流的攻击手法和案例用在了对于大模型微调上,在模型前段添加P-tuning层解决了输入限制,在模型旁路增加AdaLoRA ...
为什么保护大型语言模型 (LLM) 如此重要?
大型语言模型 (LLM) 是一种复杂的机器学习模型,旨在理解、生成和解释人类语言。这些模型基于使用 Transformer 架构的神经网络构建,可以从大量文本数据中学习,从而能够生成与人类写作风格和模...
Google新研究:适用于百万级单元格的TableRAG
Google新研究:适用于百万级单元格的TableRAG发布时间:2024 年 10 月 07 日RAG Text2Code NL2CodeTableRAG: Million-Token Table ...
ai安全漏洞挖掘初探
分享几个案例,简单的看一下ai关于内容上的一些漏洞LLM提示词注入我们篡改了他的数据库,可能通过给他大量发消息,自己创建个博客写的自己很权威让他检索到,直接对话让他记住等等会产生一个提示词的注入类似这...
ASB:LLM智能体应用攻防测试数据集
ABS:LLM智能体应用攻防测试数据集发布时间:2024 年 10 月 03 日Agent应用Agent Security Bench (ASB): Formalizing and Benchmark...
42