由清华大学、北京航空航天大学、上海交通大学和RealAI联合研究的MultiTrust框架[1]是一个针对多模态大模型的可信评估基准,从真实性、安全性、鲁棒性、公平性和隐私性对多模态大模型安全进行综合...
如何组织搜索词可以搜的全面,大模型举一反三来帮忙
TL;DR:使用搜索引擎进行文献检索或资料收集时,由于操作者的背景不同,会使用不同的搜索词,从而导致搜索结果具有了差异性,因此搜索行为具有了一定的技巧性。使用大模型可以对搜索关键词进行同义枚举,增强知...
【AI安全】大模型多轮越狱技术分析与实现
背景介绍大语言模型的 “越狱” 是指用户通过一些巧妙设计的指令或手段,绕过语言模型预先设置的安全策略和使用规则,让模型生成不符合伦理道德、包含有害内容(如暴力、歧视、违法信息等)的内容。而 “多轮越狱...
使用LLM混淆恶意 JavaScript,88%的恶意样本可以逃避检测
基于大语言模型的对抗性攻击与防御:以恶意JavaScript为例我们开发了一种对抗性机器学习算法,利用大语言模型(LLM)来大规模生成恶意JavaScript代码的变体。通过这项研究,我们提升了对野外...
【ADLab】以大模型为目标的威胁攻击与安全思考
更多安全资讯和分析文章请关注启明星辰ADLab微信公众号及官方网站(adlab.venustech.com.cn)一、概 述自2023年以来,以ChatGPT为代表的大语言模型(LLM)向人们展现出...
学术 | 大语言模型的幻觉问题研究
图片由AI模型生成大语言模型的幻觉问题研究综述摘要:随着以Transformer为代表的预训练模型等深度学习技术的发展,大型语言模型(LLM)日益展现出强大的理解力和创造力,对抽象摘要、对话生成、机器...
强制解码越狱大模型
文章首发奇安信社区:https://forum.butian.net/share/3966前言安全对齐(Safety Alignment)在人工智能(AI)和大规模语言模型(LLM)的研究中,指的是确...
大语言模型攻击工具
https://github.com/RiccardoBiosas/awesome-MLSecOps 原文始发于微信公众号(网安守护):大语言模型攻击工具
KDD25 | 大语言模型能否提高图神经网络的对抗鲁棒性?
Can Large Language Models Improve the Adversarial Robustness of Graph NeuralNetworks?作者:张中健,王啸,周辉池,于...
专题解读 | 大语言模型上下文窗口扩展方法
大语言模型上下文窗口扩展方法一、简介上下文窗口(context window)是大语言模型(LLM)的一个重要概念,指模型在一次推理或生成过程中可以处理的文本长度。大语言模型的上下文窗口大小取决于预训...
AI机器人的头号威胁:大模型越狱
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球,越来越多的公司开始将这种技术引入机器人控制。然而,最新研究发现,黑客可以通过自动化方式轻松绕过AI系统的安全防护,甚至能够操控机器人...
专题解读 | 大语言模型辅助代码文档生成
大语言模型辅助代码文档生成随着大语言模型的广泛应用,LLM辅助进行代码文档生成在业界已逐渐成为趋势。代码文档的生成是软件开发中的一个关键环节,直接影响到代码的可读性、维护性以及团队协作的效率。传统的文...
30