Garak - 是英伟达开源的大语言模型脆弱性扫描器。他们自己定义自己为“生成式 AI 红队和评估套件(Generative AI Red-teaming & Assessment Kit)”...
AI安全,AI系统主要的安全威胁有哪些?
点击上方“蓝字”关注我们了解更多精彩近年来,人工智能(AI)技术飞速发展,大型语言模型、图像生成模型、自动驾驶AI等系统在各行业得到广泛应用。然而,与此同时,这些AI系统也暴露出诸多安全漏洞和技术挑战...
NoCode技巧分享:巧用提示词,做一个赛博朋克风的网站
场景1:想制作一个博客网站,但文章分类、评论互动、SEO 优化这些功能搅成一团,不知该怎么拆解实现?场景2:想实现一个赛博朋克风界面,可除了 「霓虹灯」「机械感」 又说不出具体细节?别让模糊需求卡住你...
[Agentic Chunking] RAG系统智能体自主分块技术指南
1. 导言:挣脱固定尺寸的枷锁在传统的检索增强生成(RAG)系统中,文本分块(Chunking)是 foundational 的一步。然而,标准方法——如固定大小分块、递归字符分块——存在一个根本性的...
AI大模型安全评估指南:从理论到实践的全方位解析
引言随着人工智能(AI)技术的飞速发展,大型语言模型(LLM)如GPT系列、DeepSeek、Gemini、Grok等已在自然语言处理、内容生成和智能决策等领域展现出惊人潜力。然而,技术进步的同时,安...
大模型安全
最近对博客进行了重构和升级,欢迎大家进行聊天沟通,点击跳转原文可直达博客地址。大语言模型大语言模型(LLMs)是一种人工智能(AI)算法,它可以处理用户输入,并通过预测单词序列来生成合理的回复。它们在...
利用大模型检测钓鱼邮件:方法,效果及数据集
随着企业安全防范能力的增强,很多攻击方法逐渐变难,社工的方法开始活跃,尤其是钓鱼邮件,已经成为攻击的重要手段。针对钓鱼邮件的检测,有许多方法,这两年大模型的方法开始盛行。国内也有不少方案,有用通用模型...
最近都在传的大模型MCP到底是个啥
最近相信大家都被MCP给刷屏了,我这又是赶了个晚集。赶紧来研究研究这到底是个什么东西。Function Call起初,我们通过输入prompt的方式与大模型进行问答交流,慢慢的衍生成了AI类应用以及A...
黑客利用简单的表情符号逃避微软、Nvidia 和 Meta 的 AI 过滤
一项新的研究表明,包括微软、英伟达和 Meta 在内的科技巨头部署的最新基于人工智能的防护系统,仍然极易受到相对简单且低成本的对抗技术的规避。值得注意的是,在文本中插入单个表情符号或细微的 Unico...
【工具推荐】reconftw_ai:与 AI 融合的信息收集工具
声明:该公众号分享的安全工具和项目均来源于网络,仅供安全研究与学习之用,如用于其他用途,由使用者承担全部法律及连带责任,与工具作者和本公众号无关。 项目背景 ReconFTW 是一款成熟的自动化信息收...
Meta开源的AI防火墙:LlamaFirewall
Meta近期开源了LlamaFirewall框架,用于检测AI安全风险。 LlamaFirewall简介LlamaFirewall 是一套专为检测和防范AI安全风险设计的防护框架,支持对多种输入输出层...
大模型提示词注入防护与安全评估(含代码)
写在前面:本文主要聚焦两部分内容,其一是通过代码实践来研究和验证基于llamafirewall在提示词注入防护的能力,通过学习此部分可以理解大模型自身防护中最关键的部分-提示词注入的防护方法;其二是了...