Cyberark作为老牌的安全厂商,也积极投身大模型,这次他们发的是大模型测试工具,叫FuzzyAI,在Github上开源了。 01 为什么要进行大模型测试 我们自己使用大模型一般分三种情况: 直接使...
山石说AI|突破模糊测试极限:大模型驱动的软件漏洞深度挖掘
【山石说AI】•第15篇大模型在网络安全中的最新应用进展(四)软件漏洞的发现向来是一场与时间的赛跑,而大模型的引入为模糊测试注入了全新的智慧动力。跳脱传统随机变异的局限,大模型精准的语言和逻辑推理能力...
FuzzyAI:用于自动化 LLM 模糊测试的开源工具
FuzzyAI Fuzzer 是一款功能强大的自动化 LLM 模糊测试工具。它旨在帮助开发人员和安全研究人员识别和缓解其 LLM API 中的潜在安全漏洞。 FuzzyAI 为组织提供了一种系统化的方...
山石说AI|如何构建面向网络安全领域的大模型
【山石说AI】•第3篇如何构建面向网络安全领域的大模型网络安全领域正面临日益加剧的威胁,亟需智能高效的解决方案来应对复杂且不断演变的攻击。大模型为网络安全社区提供了新的机会。通过对海量数据的训练,大模...
G.O.S.S.I.P 阅读推荐 2024-10-18 大模型安全新利器:ToxicDetector 高效检测有害提示词
今天想和大家分享一篇由上海科技大学和南洋理工大学合作并投稿的有趣研究Efficient Detection of Toxic Prompts in Large Language Models,目前已被...
带你认识微信多模态大模型 POINTS
作者:bensenliu始于数据,但不局限于数据POINTS: Improving Your Vision-language Model with Affordable Strategiespaper...
G.O.S.S.I.P 阅读推荐 2024-09-23 大模型越狱,攻防战谁更胜一筹
今天给大家推荐的是一篇和大模型安全相关的有趣研究,名为A Comprehensive Study of Jailbreak Attack versus Defense for Large Langua...
专题解读 | 混合专家模型在大模型微调领域进展
混合专家模型在大模型微调领域进展前言:随着大规模语言模型(LLM)的快速发展,人工智能在自然语言处理领域取得了巨大的进步。在将大模型转化为实际生产力时,不免需要针对实际的任务对大模型进行微调。然而,随...
G.O.S.S.I.P 阅读推荐 2024-09-12 推荐两本书
互联网和人工智能可能是21世纪最火的两门技术了,不过大家是不是都只是想着打着技术的幌子去骗钱呢?今天我们要给大家推荐两本书,没法帮你招摇撞骗,只能教你很扎实的技术,想不想读读看?第一本书是由许多作者群...
打破物理隔离:RAMBO侧信道攻击令人防不胜防
关注我们带你读懂网络安全从防御严密的物理隔离系统中窃取机密信息向来是黑客攻击的“圣杯”。近日,以色列大学的研究团队公布了一种名为“RAMBO”(Radiation of Air-gapped Memo...
大模型安全性与有用性难两全?复旦团队说:鱼和熊掌可兼得!
首个集内生安全性和有用性于一身的中文大模型安全对齐策略!过往研究通常认为:大模型安全对齐会导致模型遗忘已经学会的知识,从而导致模型在有用性上下降。OpenAI将这一损失称为对齐税(Alignment ...
新型TIKTAG攻击曝光,专门针对谷歌浏览器和Linux系统
近日,来自三星、首尔国立大学和佐治亚理工学院的韩国研究团队的研究人员发现一种以 ARM 的内存标记扩展(MTE)为目标的,名为「TIKTAG」的新型攻击,黑客可利用这种方式绕过安全防护功能,这种攻击专...