本次分享论文:When LLMs Meet Cybersecurity: A Systematic Literature Review基本信息原文作者:Jie Zhang, Haoyu Bu, Hui...
以零信任守护AI原生应用:防范LLM攻击与数据投毒
AI原生应用正在迅速成为人工智能的下一个前沿领域。这些程序利用先进的AI技术,例如大型语言模型(LLMs),以赋能应用的智能化和交互化。从聊天机器人和虚拟助手到内容生成和情感分析,AI原生应用正在改变...
人、科研与大模型:对现状与未来的思考
我们伫立于大雪弥漫、浓雾障眼的山口,我们只能偶尔瞥见未必正确的路径。我们待在那儿不动,就会被冻死;若是误入歧途,就会摔得粉身碎骨。我们无法确知是否有一条正确的道路。我们该怎么做呢?“你们当刚强壮胆”,...
Web LLM 攻击技术
[概述]在ChatGPT问世以来,我也尝试挖掘过ChatGPT的漏洞,不过仅仅发现过一些小问题:无法显示xml的bug和错误信息泄露,虽然也挖到过一些开源LLM的漏洞,比如前段时间发现的Jan的漏洞,...
技术实践 | RAG精确应对大模型敏感问题知识幻觉难题
一、引言在大模型的实际应用落地过程中,会遇到所谓的幻觉(Hallucination)问题。对于语言模型而言,当生成的文本语法正确流畅,但与原文不符(Faithfulness)或事实不符(Factual...
[译文] LLM安全:3.网络LLM攻击及提示注入知识普及(PortSwigger)
“2024年4月28日是Eastmount的安全星球 —— 『网络攻防和AI安全之家』正式创建和运营的日子,该星球目前主营业务为 安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁...
【论文速读】| 通过大语言模型从协议实现中推断状态机
本次分享论文:Inferring State Machine from the Protocol Implementation via Large Language Model基本信息原文作者:Hai...
月之暗面安全实践思考分享
近日,安全极客与Wisemodel社区联合举办了“AI+Security”系列的首场线下活动,主题聚焦于“大模型与网络空间安全的前沿探索”。在这次活动中,月之暗面的安全工程师麦香先生发表了一场精彩的演...
一文带你了解大模型——智能体(Agent)
作者:lucasgftang大语言模型 vs 人类大语言模型很强大,就像人类的大脑一样拥有思考的能力。如果人类只有大脑,没有四肢,没有工具,是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢?...
LLM react prompt injection 以及相关解决方案
React Agent的安全隐患及应对策略引言随着React Agent在国际市场的火热发展,各大厂商纷纷投入到Agent市场的竞争中。然而,在追逐市场的同时,React Agent的安全问题却常常被...
网络安全模型研究资源汇总
1►网络安全模型研究资料以下是关于使用NLP、KG、 GPT 进行网络安全模型研究的精选资源列表,包含模型/项目、论文、数据以及相关产品。简介这是一个精心整理的网络安全模型资源汇总,旨在为研究人员、工...
[译文] LLM安全:2.LLMjacking:窃取云凭证用于新型AI攻击(大模型攻击)
“2024年4月28日是Eastmount的安全星球 —— 『网络攻防和AI安全之家』正式创建和运营的日子,该星球目前主营业务为 安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁...
44