01定义Web LLM(Large Language Model)攻击指针对部署在Web端的AI大语言模型的攻击行为。攻击者通过恶意提示词注入、训练数据窃取、模型逆向工程等手段,操控AI输出敏感信息或...
红队在人工智能模型基础设施中保护的作用
最近,我国Deepseek火爆全球,是继Chatgpt之后在人工智能领域掀起的一次新热浪。国内外在宣传人工智能之利的过程中,也有很多人参与其害。当然,也涉及人工智能本身被攻击的问题,IBM的专家就此方...
麻省理工科技评论:2025年AI五大趋势
随着人工智能技术的迅猛发展,对其未来“走向”的准确预测变得尤为复杂。尽管如此,鉴于人工智能正在深刻地改变着各行各业,持续关注并理解其发展趋势对于科技从业者、研究学者以及行业分析师来说至关重要。2025...
微软 AI 红队表示,在解决细微风险方面,人类参与仍然不可替代
导 读由于安全专家担心人工智能会抢走他们的工作,微软的研究人员坚持认为,有效的红队行动仍然依赖于人类的专业知识、文化意识和情商——这些品质是机器无法复制的。该软件巨头表示,其 AI 红队严格测试了 1...
红队如何暴露人工智能模型中的漏洞
随着生成人工智能 (gen AI) 成为信息安全最前线,红队在识别其他人可能忽视的漏洞方面发挥着至关重要的作用。2024 年,数据泄露的平均成本达到历史最高水平,达到 488 万美元,企业需要确切了解...
Ultralytics 人工智能模型被劫持 利用加密货币挖矿程序感染数千人
Ultralytics YOLO11 AI 模型在供应链攻击中受到损害,该攻击在运行 Python 包索引 (PyPI) 8.3.41 和 8.3.42 版本的设备上部署加密货币挖矿程序。Ultral...
人工智能模型中的特洛伊木马
通过 AI 系统进行隐藏逻辑、数据中毒和其他有针对性的攻击方法。在未来几十年里,与 AI 系统相关的安全风险将成为研究人员工作的主要重点。目前探索最少的风险之一是 AI 模型木马化的可能性。这涉及将隐...
微软可能窃取你的Word、Excel文件以训练人工智能模型?
关键词人工智能微软在其生产力套件中的Connected Experiences选项已经引起了人们的恐慌,有人指责默认设置可能会允许微软使用客户的Word和Excel文档及其他数据来训练AI模型。微软否...
人工智能时代可能的网络安全职业
周末时候OWASP2024年度安全技术论坛我们提到了人工智能和安全职位,在这里我们将展开聊一聊:2025 年及以后,人工智能将继续主导网络安全相关新闻,你可以接受并适应或者被淘汰! 传统的网络安...
深入探讨:人工智能生态系统的安全性
本文 120343字 阅读约需 33分钟文章重点是与企业安全领导者和首席执行官深入探讨如何确保生成式人工智能应用和大语言模型的安全。其中,分析的重点是企业采用人工智能的情况,这是影响安全厂商未来发...
人工智能模型也有安全隐患!攻击实例及反制策略展示
近年来,人工智能技术的迅猛发展引发了广泛的关注和讨论。在众多AI模型和应用中,Hugging Face作为一个著名的开源平台,因其提供了大量的预训练模型和工具而广受欢迎。然而,今年有报道称,Huggi...
专家观点 | 国家安全视角下的人工智能风险与治理
扫码订阅《中国信息安全》邮发代号 2-786征订热线:010-82341063文 | 中国科学院数学与系统科学研究院研究员 杨晓光;中国科学院大学公共政策与管理学院特聘教授、国家前沿科技融合创新研究...