模型能干的事情越多,干错事的风险就越大,所以必须给它们设置点规矩,就好比给孙大圣带上紧箍咒。如果一个模型能生成一个Envelope并调用REST API,听着是不是很牛?但这也意味着,如果有人想入侵我...
AI | 基于 LangChain 的 AI Agent 智能体概述
1.人机协同三种模式 生成式AI的智能演化至今,人机协同呈现了三种模式: 嵌入(embedding)模式。用户通过与AI进行语言交流,使用提示词来设定目标,然后AI协助用户完成这些目标,比如普通用户向...
AI安全:生成式AI原理与应用分析
术语解释:机器学习ML:使AI从数据中学习并做出决策或预测,分为监督学习 无监督学习 强化学习监督学习=小时候你妈教你数学,通过大量正确的数学试题来指导你无监督学习=你刷短视频时候经常刷美女 一定程度...
AI安全:36种AI攻击手法与五种AI安全策略
前几天看到刺总公司发起了国内第一份AI安全法律的起草议案和两会也在谈论关于AI安全的研究培养,但发现有关AI安全攻击介绍的资料实在太少,索性自己翻阅国内外各大资料进行了分析总结在此介绍一系列针对AI模...
【大模型安全】大模型建设思路
大模型建设思路从23年初ChatGPT的惊艳亮相,引爆了LLM和相关应用的想象空间,人必称大模型,虽然99%的人可能连个梯度下降的公式都看不懂,好像作为IT从业人员不谈这个就显得很落伍,缺乏技术视野一...
【大模型安全】ChatGPT-Next-Web存在SSRF和反射型XSS
ChatGPT-Next-Web存在SSRF和反射型XSS随着生成式人工智能的出现,人工智能聊天机器人无处不在。虽然用户可以使用 OpenAI 等 SaaS 提供商与大语言模型 (LLM) 聊天,但也...
《大语言模型(LLM)攻防实战手册》第一章:提示词注入(LLM01)-概述
前言 从本周开始考虑连载关于大模型安全的文章名字就叫做《大语言模型(LLM)攻防实战手册》,主要基于owasp llm top 10所整理的框架进行编写,并辅以案例、代码进行完善,希望我能有精力持续更...
【论文速读】| MASTERKEY:大语言模型聊天机器人的自动化越狱
本次分享论文为:MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots基本信息原文作者:Gelei Deng, Yi Li...
GPT-4 只需阅读威胁通报即可利用大多数漏洞
导 读配备 GPT-4 的人工智能代理只需在线阅读相关信息,就可以利用影响当今现实世界系统的大多数公共漏洞。伊利诺伊大学厄巴纳-香槟分校 (UIUC) 的新发现(论文下载地址:https://arxi...
研究发现 AI 代理 GPT-4 大语言模型 (LLM) 代理利用相关CVE的安全漏洞
LLM客户端可以自主利用 One-day 漏洞LLMs无论是在良性用途还是恶意用途方面,都变得越来越强大。随着能力的提高,研究人员对他们利用网络安全漏洞的能力越来越感兴趣。特别是,最近的工作对LLM代...
《生成式人工智能服务安全基本要求》原文参阅
2024年3月1日,全国网络安全标准化技术委员会发布《生成式人工智能服务安全基本要求》。以下为文件原文。生成式人工智能服务安全基本要求(2024年3月1日,全国网络安全标准化技术委员会发布《生成式人工...
逆向ChatGPT4核心
摘要 本文从提示注入和任意代码执行、隐藏API发现、动态代码执行、数据序列化四个维度探索了ChatGPT4的安全性问题, 用另类的逆向手段对ChatGPT做了一系列安全测试。 2023年11月, Op...
12