摘要本研究系统地比较了大型语言模型和传统基于约束的符号执行工具在生成定向测试输入方面的性能。通过研究发现,大型语言模型(如ChatGPT)可以在测试数据集上媲美甚至优于经过工程验证的基于约束的工具,如...
【论文速读】| SEAS:大语言模型的自进化对抗性安全优化
本次分享论文:SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models基本信息原文作者: Muxi D...
深度分析 | AI语言模型应用中的数据安全挑战与应对策略
近年来,随着人工智能领域的迅猛发展,各种AI语言模型如雨后春笋般涌现。这些模型通过学习海量数据,能够生成高质量的内容。用户只需要输入具体需求或提供参考性文档资料,即可一键生成所需的文章,这在一定程度上...
大模型文件的中毒攻击与防护
大模型文件的 中毒攻击与防护 人工智能的安全性问题由来已久,大模型本质上作为人工智能系统,也存在相应的安全问题。OWASP Top 10 for Large Language Model Applic...
AI+Security系列第2期(三):面向LLM(大语言模型)的漏洞挖掘与对齐防御研究
近日,由安全极客、Wisemodel 社区和 InForSec 网络安全研究国际学术论坛联合主办的“AI+Security”系列第 2 期——对抗!大模型自身安全的攻防博弈线上活动如期举行。在此次活动...
来自大型语言模型的威胁
简介: 大型语言模型(LLMs)极易受到操纵,因此必须将其视为系统中的潜在攻击者。LLMs 在我们的日常生活中变得非常流行,并发挥着许多功能。有点想法的的软件公司都将人工智能(AI)整合到其...
美国网络司令部改善网络部队战备并试点利用人工智能能力
编者按美国网络司令部司令兼国家安全局局长蒂莫西·霍介绍美国网络司令部利用新权限改善网络部队战备进展、新成立的人工智能工作组工作情况以及美国家安全局开发人工智能能力情况。美国网络司令部利用美国国会授予的...
浅谈LLM应用中隐藏的安全风险
什么是LLM?通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型,称之为大语言模型(LLM)。GPT、LLaMA、Mistral、BERT等都是LLM,LLM是对训练文本信息的压缩...
ACL 2024 | Parrot(鹦鹉):增强大语言模型在多轮对话中的指令跟随能力
多轮对话是大语言模型与人类互动的主要方式,广泛应用于消费娱乐、生产力工具和创意生成等场景。然而,构建多轮对话能力所需的训练数据人工标注成本高,且难以控制质量和多样性。因此,如何增强大模型的多轮交互能力...
译文 | 美国国防工业基础网络安全战略
*转载自:网络安全罗盘随着工业4.0时代的到来,网络安全成为新工业时代的重要主题。国防工业是美国十六个关键基础设施部门之一,美国国防部发布《国防工业基础网络安全战略》(Defense Industri...
LangChain曝关键漏洞,数百万AI应用面临攻击风险
关键词安全漏洞LangChain是一个流行的开源生成式人工智能框架,其官网介绍,有超过一百万名开发者使用LangChain框架来开发大型语言模型(LLM)应用程序。LangChain的合作伙伴包括云计...
专题解读 | 大语言模型中的提示隐私保护
大语言模型中的提示隐私保护一、简介:大语言模型(LLM) 拥有庞大的规模、预先训练的知识和卓越的性能,被广泛应用于各种任务。提示学习(prompt learning)和指令微调(instruction...
30