3月21日,14:00,「AI大模型攻防安全」第15期安全范儿技术沙龙周五见~议题看点大模型产品攻防实践如何设计更安全的Prompt和模型交互机制来防止Jailbreak,Prompt 注入此类攻击掌...
模型安全测试基础:如何精确查找数据集
介绍在对模型进行内容安全方面的测试,或者是Prompt注入、越狱时,我们通常会询问一些不安全的问题,此时我们可以参考一些已有的用来测试的数据集,或者是参考最新的论文寻找一些最新的越狱手法,本篇就来记录...
LLM技术浪潮下,漏挖人能否保住饭碗?
大语言模型(LLM)近期成为安全研究和竞赛中的热门话题,涵盖了大模型在安全领域的应用以及自身的安全性等方向,这一趋势为许多非大模型安全研究领域的研究者提供了了解和探索的机会。得益于强大的上下文理解与模...
一次免费AI文字生图经历
我不属于追赶AI浪潮的人,确实心态不同于20岁时。个人聚焦比较单一,主要关注AI在二进制逆向工程方向的助力效果。像AI文字生图这种事儿,我是真没太多兴趣,也用不起。关于AI,日常比较关注「宝玉」、「黄...
T1003.003 - 操作系统凭证转储:NTDS
Atomic Red Team™是一个映射到MITRE ATT&CK®框架的测试库。安全团队可以使用Atomic Red Team快速、可移植和可重复地测试他们的环境。本文章为Atomic R...
Manus被扒光,Prompt都惨遭泄露
简单回顾一下这次这个事情,大概在3月初,3月6号的样子,Manus发布了号称第一个通用型的人工智能体。随后就被各种热炒,当然树大招风。随后在3月10号就在X(twitter)上被网友爆料出来其存在安全...
Postman加数据集实现模型安全测试自动化
说明本文所述内容仅供参考,旨在提供一种关于大模型安全性测试的新思路。我们鼓励读者分享您的见解和经验,欢迎您提出更好的方法或建议,共同促进这一领域的深入探讨与发展。介绍现在对于大模型的安全测试,基于黑盒...
针对邮件摘要生成器的 LLMs 钓鱼攻击研究
【翻译】Phishing LLMs Hacking email summarizersPhishing LLMs 是一个真实存在的威胁,我在这里特别针对邮件摘要生成器进行研究。你可以称之为 AI re...
【AI安全】探索Prompt在突破模型安全边界中的应用
0X01 引言 好久没有写文章了,这段时间也是一直在不断学习提升自己的技能,最近人工智能(AI)技术飞速发展,其在各个领域的应用日益广泛,从自动驾驶到医疗诊断,从金融分析到智能家居,AI正深刻改变着我...
G.O.S.S.I.P 阅读推荐 2025-03-10 LLM 在前,漏挖人能否保住饭碗(Yet?)
LLM 在代码理解上表现出了强大的能力,相信漏挖选手都已经对 LLM 跃跃欲试。今天我们介绍的这篇来自 IEEE S&P 2024 的论文LLMsCannot Reliably Identif...
学习笔记 | 用大模型来判断文档是否敏感
大模型发展如火如荼,我也一直在琢磨,这玩意除了日常知识问答和辅助写代码,还能对我的项目需求有啥助力。最近,有一个做知识社区的 PM 找到我,说最近有人把一些项目文档、述职报告发在公开的社区里了,希望能...
启发式防御大模型越狱攻击
免责声明:由于传播、利用本公众号所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,公众号及作者不为此承担任何责任,一旦造成后果请自行承担!如有侵权烦请告知,我们会立即删除并致歉。谢...
15