前几天看到刺总公司发起了国内第一份AI安全法律的起草议案和两会也在谈论关于AI安全的研究培养,但发现有关AI安全攻击介绍的资料实在太少,索性自己翻阅国内外各大资料进行了分析总结在此介绍一系列针对AI模...
【大模型安全】大模型建设思路
大模型建设思路从23年初ChatGPT的惊艳亮相,引爆了LLM和相关应用的想象空间,人必称大模型,虽然99%的人可能连个梯度下降的公式都看不懂,好像作为IT从业人员不谈这个就显得很落伍,缺乏技术视野一...
【大模型安全】ChatGPT-Next-Web存在SSRF和反射型XSS
ChatGPT-Next-Web存在SSRF和反射型XSS随着生成式人工智能的出现,人工智能聊天机器人无处不在。虽然用户可以使用 OpenAI 等 SaaS 提供商与大语言模型 (LLM) 聊天,但也...
《大语言模型(LLM)攻防实战手册》第一章:提示词注入(LLM01)-概述
前言 从本周开始考虑连载关于大模型安全的文章名字就叫做《大语言模型(LLM)攻防实战手册》,主要基于owasp llm top 10所整理的框架进行编写,并辅以案例、代码进行完善,希望我能有精力持续更...
【论文速读】| MASTERKEY:大语言模型聊天机器人的自动化越狱
本次分享论文为:MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots基本信息原文作者:Gelei Deng, Yi Li...
GPT-4 只需阅读威胁通报即可利用大多数漏洞
导 读配备 GPT-4 的人工智能代理只需在线阅读相关信息,就可以利用影响当今现实世界系统的大多数公共漏洞。伊利诺伊大学厄巴纳-香槟分校 (UIUC) 的新发现(论文下载地址:https://arxi...
研究发现 AI 代理 GPT-4 大语言模型 (LLM) 代理利用相关CVE的安全漏洞
LLM客户端可以自主利用 One-day 漏洞LLMs无论是在良性用途还是恶意用途方面,都变得越来越强大。随着能力的提高,研究人员对他们利用网络安全漏洞的能力越来越感兴趣。特别是,最近的工作对LLM代...
《生成式人工智能服务安全基本要求》原文参阅
2024年3月1日,全国网络安全标准化技术委员会发布《生成式人工智能服务安全基本要求》。以下为文件原文。生成式人工智能服务安全基本要求(2024年3月1日,全国网络安全标准化技术委员会发布《生成式人工...
逆向ChatGPT4核心
摘要 本文从提示注入和任意代码执行、隐藏API发现、动态代码执行、数据序列化四个维度探索了ChatGPT4的安全性问题, 用另类的逆向手段对ChatGPT做了一系列安全测试。 2023年11月, Op...
【论文速读】| CHEMFUZZ: 大语言模型辅助模糊测试用于量子化学软件缺陷检测
本次分享论文为:CHEMFUZZ: Large Language Models-assisted Fuzzing for Quantum Chemistry Software Bug Detectio...
AI未来可能在网络安全的十大应用场景
GPT的发展让现在的职场人一天天陷入恐慌,生怕那天起来,自己的工作被AI代替了,其实这种恐慌不是没有依据,每隔一段时间就能看到GPT的一个大的发展。那AI的发展对网络安全从业者会有影响么?毫无...
【大模型入门】ollama + lobechat打造个人专属大模型助手
这是一系列教小白怎么使用大模型的文章,不讲原理和公式,就讲小白都听得懂的怎么安装使用。01—简介昨天介绍了在本地运行大模型的工具LM studio,他上手简单,但想要远程调用或者在手机上使用就不是很方...
72