本文 120343字 阅读约需 33分钟文章重点是与企业安全领导者和首席执行官深入探讨如何确保生成式人工智能应用和大语言模型的安全。其中,分析的重点是企业采用人工智能的情况,这是影响安全厂商未来发...
【论文】LLM 蜜罐:利用大型语言模型作为高级交互式蜜罐系统
网络威胁的快速发展需要创新的解决方案来检测和分析恶意活动。蜜罐是一种旨在引诱攻击者并与攻击者互动的诱饵系统,已成为网络安全的重要组成部分。在本文中,我们介绍了一种使用大型语言模型 (LLM) 创建逼真...
金融领域大语言模型应用安全探析
随着技术的进步,人工智能和机器学习已经成为推动金融服务创新的关键驱动力。大语言模型在金融领域应用中的安全问题越发受到关注。本文重点进行了金融领域大语言模型的应用安全分析,提出了大语言模型的风险防控措施...
现实世界中的间接提示注入:人们如何操纵神经网络
什么是提示注入?作为支撑ChatGPT和其他流行聊天机器人的神经网络算法,大型语言模型(LLM)正变得越来越强大且易用。鉴于此,利用它们的第三方应用程序也如雨后春笋般涌现,范围涵盖文件搜索和分析系统、...
iText2KG:显著降低LLM构建知识图谱时的幻觉现象
iText2KG:借助大型语言模型实现知识图谱的增量构建发布时间:2024 年 09 月 05 日知识图谱iText2KG: Incremental Knowledge Graphs Construc...
专题·大模型安全 | 数字风洞构造大语言模型的安全围栏
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 永信至诚科技集团股份有限公司 付磊 张凯大语言模型(LLM)被视为通往通用人工智能(AGI)道路上的重要里程碑,...
[SecData#3] 大模型定向测试输入生成数据集
摘要本研究系统地比较了大型语言模型和传统基于约束的符号执行工具在生成定向测试输入方面的性能。通过研究发现,大型语言模型(如ChatGPT)可以在测试数据集上媲美甚至优于经过工程验证的基于约束的工具,如...
【论文速读】| SEAS:大语言模型的自进化对抗性安全优化
本次分享论文:SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models基本信息原文作者: Muxi D...
深度分析 | AI语言模型应用中的数据安全挑战与应对策略
近年来,随着人工智能领域的迅猛发展,各种AI语言模型如雨后春笋般涌现。这些模型通过学习海量数据,能够生成高质量的内容。用户只需要输入具体需求或提供参考性文档资料,即可一键生成所需的文章,这在一定程度上...
大模型文件的中毒攻击与防护
大模型文件的 中毒攻击与防护 人工智能的安全性问题由来已久,大模型本质上作为人工智能系统,也存在相应的安全问题。OWASP Top 10 for Large Language Model Applic...
AI+Security系列第2期(三):面向LLM(大语言模型)的漏洞挖掘与对齐防御研究
近日,由安全极客、Wisemodel 社区和 InForSec 网络安全研究国际学术论坛联合主办的“AI+Security”系列第 2 期——对抗!大模型自身安全的攻防博弈线上活动如期举行。在此次活动...
来自大型语言模型的威胁
简介: 大型语言模型(LLMs)极易受到操纵,因此必须将其视为系统中的潜在攻击者。LLMs 在我们的日常生活中变得非常流行,并发挥着许多功能。有点想法的的软件公司都将人工智能(AI)整合到其...
30