模型能干的事情越多,干错事的风险就越大,所以必须给它们设置点规矩,就好比给孙大圣带上紧箍咒。如果一个模型能生成一个Envelope并调用REST API,听着是不是很牛?但这也意味着,如果有人想入侵我...
《大语言模型(LLM)攻防实战手册》第一章:提示词注入(LLM01)-概述
前言 从本周开始考虑连载关于大模型安全的文章名字就叫做《大语言模型(LLM)攻防实战手册》,主要基于owasp llm top 10所整理的框架进行编写,并辅以案例、代码进行完善,希望我能有精力持续更...
【论文速读】| MASTERKEY:大语言模型聊天机器人的自动化越狱
本次分享论文为:MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots基本信息原文作者:Gelei Deng, Yi Li...
【论文速读】| 大语言模型平台安全:将系统评估框架应用于OpenAI的ChatGPT插件
本次分享论文为:LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI’s ChatGPT Plugin...
【论文速读】| CHEMFUZZ: 大语言模型辅助模糊测试用于量子化学软件缺陷检测
本次分享论文为:CHEMFUZZ: Large Language Models-assisted Fuzzing for Quantum Chemistry Software Bug Detectio...
2024年最重要的AI趋势
文章来源:https://www.ibm.com/blog/artificial-intelligence-trends/本文翻译来自CSA翻译组:翻译:何伊圣,CSA大中华区专家审校:杨皓然,CSA...
蚂蚁牵头的大模型安全测评标准发布
第 27 届联合国科技大会(the 27th UN CSTD Annual Meeting)正在瑞士日内瓦召开。大会期间,世界数字技术院(WDTA)发布了两项国际标准:《生成式人工智能应用安全测试标准...
CSA大中华区牵头 | 生成式AI应用安全、大模型安全标准发布
4月16日联合国日内瓦总部万国宫,由世界数字技术院(WDTA)与云安全联盟大中华区(CSA GCR)联合主办第27届联合国科技大会AI边会上,世界数字技术院(WDTA)发布了两项具有重要意义的国际标准...
【论文速读】| TroubleLLM:与红队专家对齐
本次分享论文为:TroubleLLM: Align to Red Team Expert基本信息原文作者:Zhuoer Xu, Jianping Zhang, Shiwen Cui, Changhua...
【论文速读】| 大语言模型是边缘情况模糊测试器:通过FuzzGPT测试深度学习库
本次分享论文为:Large Language Models are Edge-Case Fuzzers: Testing Deep Learning Libraries via FuzzGPT基本信息...
AI安全:LLM的风险揭示与安全性评估
大语言模型(LLM)在当前社会中扮演着日益重要的角色,其广泛应用领域突显了其对社会和技术发展的重要性。然而,强大却也脆弱,大语言模型的这一特性,让我们看到了人工智能发展的双刃剑效应,如何确保大语言模型...
OWASP发布大语言模型网络安全与治理清单
当前人工智能技术面临的最大风险是大语言模型(LLM)和生成式人工智能技术的发展和应用速度已经远远超过了安全和治理的速度。OpenAI、Anthropic、谷歌和微软等公司的生成式人工智能和大语言模型产...
16