由清华大学、北京航空航天大学、上海交通大学和RealAI联合研究的MultiTrust框架[1]是一个针对多模态大模型的可信评估基准,从真实性、安全性、鲁棒性、公平性和隐私性对多模态大模型安全进行综合...
大模型安全的漏洞
下文主要基于360 安全大模型代码分析能力,对多个开源项目进行代码梳理和风险评估,结合分析报告,快速审计并发现了近 40 个大模型相关安全漏洞,影响范围覆盖llama.cpp、Dify 等知名模型服务...
AISS专栏 | 模型越狱攻击手段与评估框架分析
前言模型越狱是指通过各种手段突破人工智能模型内置的安全性和内容政策,迫使模型执行一些原本被禁止的操作或生成敏感、违法及不当的内容。这类越狱行为通常会涉及绕过模型的过滤系统、道德规范或安全限制,使模型生...
Cross Plugin Request Forgery (CPRF):大模型安全的隐秘威胁
大语言模型(LLMs)如 ChatGPT、Claude 等的应用正在快速扩展。为了实现更多样化的能力,这些模型通过插件扩展与外部系统交互,比如数据库查询、调用外部 API、生成报告等。然而,这种灵活性...
360发布全球首份《大模型安全漏洞报告》,曝光近40个大模型相关安全漏洞
近年来,全球人工智能浪潮持续升温,大模型作为AI领域中的重要一环,其能力随着平台算力的提升、训练数据量的积累、深度学习算法的突破,得到了进一步提升。然而以大模型为核心涌现的大量技术应用背后,也带来...
AI 大模型安全实践指南
当前正处于人工智能飞速发展的黄金时期,以ChatGPT为代表的生成式人工智能技术极大地丰富了创意表达的方式,加速了知识的传播,并为社会变革注入了新的动力。在我国,大语言模型(Large Languag...
大模型安全挑战:全生命周期的原生构建与风险应对
11月15日,云安全联盟大中华区大会将在北京举行,欢迎扫码报名参会!如何在安全挑战中构建大模型稳健防线?如何在复杂生命周期中确保大模型安全无虞?如何在AI技术飞速发展中应对新型安全威胁?2024年11...
G.O.S.S.I.P 阅读推荐 2024-10-18 大模型安全新利器:ToxicDetector 高效检测有害提示词
今天想和大家分享一篇由上海科技大学和南洋理工大学合作并投稿的有趣研究Efficient Detection of Toxic Prompts in Large Language Models,目前已被...
专题·大模型安全 | 生成式人工智能对国家安全的挑战
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 西安交通大学法学院、人工智能与信息安全法律研究中心 副教授 王新雷;西安交通大学法学院硕士研究生 唐琳玲生成式人...
专题·大模型安全 | 生成式人工智能的数据安全风险与应对措施
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 中国信息安全测评中心 高松大模型技术的发展,掀起了生成式人工智能的新浪潮。该技术在各个行业、领域快速应用,催生出...
专题·大模型安全 | 大模型安全风险评估与防御技术综述
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 中国信息通信研究院人工智能研究所 黑一鸣 陈文弢 陈杰 呼娜英近年来,数据量、算力规模和模型参数持续增长,推动了...
专题·大模型安全 | 生成式人工智能的内容安全风险与应对策略
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 知道创宇联合创始人兼CTO 杨冀龙正如一枚硬币的两面,生成式人工智能大模型(以下简称“生成式大模型”)在助力内容...