前言 在生成式AI和大语言模型(LLM)蓬勃发展的今天,如何确保模型的性能、鲁棒性和安全性成为开发者和企业关注的焦点。AI Verify基金会推出的 Moonshot(https://githu...
CAI:当前效果最好的开源AI辅助渗透测试工具
我们之前分析了一些讲AI辅助渗透测试的论文,开源的不多。最近看到一篇论文:CAI:一个开放的、可用于漏洞赏金计划的网络安全人工智能,(CAI: An Open, Bug Bounty-Ready Cy...
【论文速读】| 漏洞放大:针对基于LLM的多智能体辩论的结构化越狱攻击
基本信息原文标题:Amplified Vulnerabilities: Structured Jailbreak Attacks on LLM-based Multi-Agent Debate原文作者...
黑客利用简单的表情符号逃避微软、Nvidia 和 Meta 的 AI 过滤
一项新的研究表明,包括微软、英伟达和 Meta 在内的科技巨头部署的最新基于人工智能的防护系统,仍然极易受到相对简单且低成本的对抗技术的规避。值得注意的是,在文本中插入单个表情符号或细微的 Unico...
【工具推荐】reconftw_ai:与 AI 融合的信息收集工具
声明:该公众号分享的安全工具和项目均来源于网络,仅供安全研究与学习之用,如用于其他用途,由使用者承担全部法律及连带责任,与工具作者和本公众号无关。 项目背景 ReconFTW 是一款成熟的自动化信息收...
剖析DeepResearch及在Vuln Report上的实践
前言本文章只是分享一下目前 DeepSearch/DeepReseach 的原理介绍和自己对该技术在信息安全领域的垂直应用的一些思考和实现笔记。 上周末的 Jina AI 分享的会议上给我最大的感触就...
【论文速读】| 通过整体神经符号方法实现自动静态漏洞检测
基本信息原文标题:Automated Static Vulnerability Detection via a Holistic Neuro-symbolic Approach原文作者:Penghui...
Meta开源的AI防火墙:LlamaFirewall
Meta近期开源了LlamaFirewall框架,用于检测AI安全风险。 LlamaFirewall简介LlamaFirewall 是一套专为检测和防范AI安全风险设计的防护框架,支持对多种输入输出层...
LlamaFirewall:开源大模型AI安全防火墙
写在前面:大模型因自身技术原因存在提示词攻击、指令注入等各种安全风险,对于甲方企业来说,无论是开源大模型还是商用大模型,很多都是拿来即用,不再进行训练微调,因此,AI防火墙这种大模型外生安全技术成了企...
MCP:大模型时代的USB接口
Agent 现状及架构当前的 AI Agent,无论是和各种 Tools(各类业务服务接口)交互,还是和各类 Memory(各类存储服务接口)交互,亦或是和各类 LLMs(各类大语言模型)交互,都是通...
TensorRT-LLM高危漏洞可导致攻击者远程执行代码
关键词漏洞NVIDIA 在其 TensorRT-LLM 框架中披露并修补了一个高严重性漏洞,该漏洞可能允许具有本地访问权限的攻击者执行恶意代码、篡改数据并可能破坏 AI 系统。该漏洞被跟踪为 CVE-...
大模型提示词注入防护与安全评估(含代码)
写在前面:本文主要聚焦两部分内容,其一是通过代码实践来研究和验证基于llamafirewall在提示词注入防护的能力,通过学习此部分可以理解大模型自身防护中最关键的部分-提示词注入的防护方法;其二是了...