基本信息原文标题:Large Language Model (LLM) for Software Security: Code Analysis, Malware Analysis, Reverse ...
SWE-agent:利用大语言模型修复GitHub仓库问题
这款名为SWE-agent的开源工具通过将GPT-4o和Claude Sonnet 3.5等强大语言模型与现实世界工具连接,使其能够自主执行复杂任务:从修复GitHub实时仓库中的错误、解决网络安全挑...
USENIX Sec 2025:大模型越狱防御框架——JBShield
随着大语言模型(Large Language Models,LLMs)的广泛应用,其安全问题也逐渐引发关注。尽管现有安全对齐策略能够在一定程度上限制模型输出有害内容,但其仍然容易受到越狱...
专题解读|利用结构化知识增强大语言模型的推理能力
利用结构化知识增强大语言模型的推理能力一、简介知识图谱(Knowledge Graphs, KGs)和表格等结构化数据在表示和分析现实世界中的复杂关系方面发挥着重要作用。这些结构化数据能够以一种清晰且...
原创 Paper | MCP 安全探讨系列(一)—— MCP 概述
作者:Hcamael@知道创宇404实验室时间:2025年4月18日1. 前言参考资料近些年,人类在生成式人工智能的道路上一路狂奔,ChatGPT的横空出世、多模态模型的发展、Agent浪潮开启、De...
潜藏在AI工作流程中的数据泄露风险
随着人工智能技术深度融入日常业务流程,数据暴露风险正持续攀升。提示词泄露已非偶发事件,而是员工使用大语言模型(LLM)过程中的必然产物,首席信息安全官(CISO)必须将其视为核心安全问题。为降低风险,...
企业软件与AI原生应用
在传统企业软件领域,AI 往往作为一种补充性能力被整合到现有系统中。但随着 ChatGPT 在 2022 年底的惊艳亮相,一种全新的软件形态开始崭露头角,即AI 原生应用(AI-native Appl...
【论文速读】| AutoRedTeamer:具有终身攻击集成功能的自主红队
基本信息原文标题:AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration原文作者:Andy Zhou, Kevin...
留神本地部署小模型的大风险
在AI安全这场长跑中,没有所谓的“免费午餐”。随着大语言模型在各行各业展现威力,如何让它们“瘦身”以降低部署成本,成为业界关注焦点。“模型蒸馏”正是在这样的背景下走红:通过让小模型学习大模型的行为,我...
大语言模型权限泛滥:自主性失控带来的安全风险
要使AI代理能够"思考"并自主行动,必须赋予其自主权(agency),即允许其与其他系统集成、读取分析数据并执行命令。但随着这些系统获得对信息系统的深度访问权限,人们越来越担忧其权限过度扩张——当这些...
面向可信大语言模型智能体的安全挑战与应对机制
论文引用格式:张熙, 李朝卓, 许诺, 等. 面向可信大语言模型智能体的安全挑战与应对机制[J]. 信息通信技术与政策, 2025, 51(1): 33-37.面向可信大语言模型智能体的安全挑战与应对...
学术 | 大型语言模型通过图灵测试
大型语言模型通过图灵测试Large Language Models Pass the Turing Test本文摘要本研究通过两项随机化、对照且预先注册的图灵测试,在两个独立群体中对四类系统(ELIZ...
30