01 概述随着大语言模型(LLM)各领域的广泛应用,我们迫切需要了解其中潜在的风险和威胁。《LLM安全警报:六起真实案例剖析,揭露敏感信息泄露的严重后果》[1]从真实案例中指出了LLM敏感信息泄露的严...
LLM+EM—基于AI Agent的暴露面全流程智能化管理
01#背景#AI Agent称为“智能体”,旨在大模型技术驱动下,以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务,从而极大程度释放人员精力。AI Agent 的工作仅需给定一个目标,就能...
人工智能供应链安全专题(2)大语言语言模型安全攻击以及AI供应链漏洞
01简要说明人工智能和人工智能的安全性正在以惊人的速度发展,AI模型供应链中使用的工具,用于构建机器学习模型,会使AI应用程序容易受到独特的安全威胁。这些工具是开源的,这意味着它们开箱即用时可能存在漏...
论文解读Can LLM Identify And Reason About Security Vulnerabilities?
一. 综述来自波士顿大学、新南威尔士大学、IBM实验室的六位作者于12月19日发表了一篇名为《Can Large Language Models Identify And Reason About S...
LLM+EM—基于RGA的暴露面私域知识库构建
01#背景#通用的基础大模型基本无法满足暴露面管理实际业务需求,主要基于以下两点: 1) 知识的局限性:模型自身的知识完全源于它的训练数据,现有的主流大模型的训练集基本都是基于网络公开的数据...
开源AI应用安全指导框架 — OWASP AI Exchange
在当今信息化迅猛发展的时代,网络专业人士正竞相提升人工智能(AI)安全领域的专业技能。随着这一趋势的推进,他们的企业也在快速地引入各类AI工具、平台、应用程序和服务,业界也相应涌现出众多资源,以协助从...
研究人员利用LLM聊天机器人破解其他聊天机器人
新加坡南洋理工大学的计算机科学家们近日成功入侵了多个人工智能(AI)聊天机器人,包括ChatGPT、谷歌Bard和微软必应聊天机器人,生成了所谓的“越狱”(即破解)内容。“越狱”是计算机安全领域的一个...
苹果、AMD和高通GPU曝出安全漏洞,致使不法分子可以窥探其他用户
苹果、高通、AMD和Imagination等公司开发的GPU驱动程序近日曝出了设计缺陷,这个设计缺陷可能会被共享系统上的不法分子用来窥探其他用户。比如说,不法分子可以观察到处理器为其他用户加速的大语言...
OWASP AI Exchange,一份人工智能安全指南
随着网络从业者争先恐后地提高自己在人工智能(AI)安全方面的技能,以及他们的组织快速采用人工智能工具、平台、应用程序和服务,业内出现了各种资源来帮助从业者处理不断变化的情况。其中或许最有用的是开放式全...
生成式人工智能对网络安全的影响
根据调查,近四分之一的受访者表示,他们在工作中使用生成式人工智能(GenAI)工具来完成专业任务。11%的受访者将聊天机器人融入了他们的日常工作中,近30%的受访者对人工智能驱动的工作岗位可能将被取代...
神兵利器——15款网络安全开源软件工具
来领资料【免费领】网络安全专业入门与进阶学习资料,轻松掌握网络安全技能!对每位信息安全专家都有用的 15 款顶级开放工具。在网络安全领域,开源软件工具是关键资产,使组织能够加强对不断变化的威胁的防御。...
大语言模型系统安全综述
今天为大家介绍一篇由中关村实验室和清华大学共同完成的大模型安全综述“Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Lang...
44