人工智能安全 - 第 44 | CN-SEC 中文网

安全文章

AI劫持：我控制了OpenAI官方智能助手（ AI Assistant ）

本文档介绍的漏洞主要由于js敏感信息泄漏导致的apikey泄漏问题，属于传统安全风险，不过通过文章也能看出一个漏洞的攻击面核心取决于此漏洞所能拥有的权限，尤其在现在经典的前后端分离的设计情况下出现类似...

10月23日62 views评论

阅读全文

人工智能安全

生成式大模型训练数据的法律规制 ——以比例原则为分析视角

编者荐语本文通过运用比例原则的核心价值，应对生成式大模型训练数据带来的风险与挑战，进而构建一套关于生成式大模型训练数据风险管理的理论框架。本文发表于《信息安全与通信保密》2024年7期引用格式：钟海燕...

10月22日67 views评论

阅读全文

人工智能安全

一种基于安全大模型的EDR告警研判机器人

0x00 背景企业为防御网络攻击，常常投资于先进的安全产品，如EDR、NDR、WAF等，这些产品往往依靠特定的规则生成告警，提示企业可能存在的网络威胁。但这些告警规则因为缺乏网络安全领域的先验知识，...

10月22日146 views评论

阅读全文

人工智能安全

新加坡网络安全局发布《AI系统安全指南》

扫码立即加入学习！来源：互联网法律匠作者：麻策律师这是新加坡政府机构今年第三次发布AI安全相关文件。新加坡在人工智能领域的安全治理野望，属于路人皆知的存在。继新加坡在2024年5月30日发布的《生成式...

10月22日103 views评论

阅读全文

人工智能安全

缩小攻击面对抗生成式人工智能网络犯罪

一图看懂网络安全"四法二条例"前沿典藏版一图看懂《网络安全法》前沿典藏版一图看懂《密码法》前沿典藏版一图看懂《数据安全法》前沿典藏版一图看懂《个人信息保护法》前沿典藏版一图看懂《关键信息基础设施安全保...

10月21日24 views评论

阅读全文

人工智能安全

网络安全中人工智能的伦理问题

即使我们并不总是有意识地意识到这一点，人工智能现在已无处不在。我们已经习惯了电子商务中的个性化推荐系统、由对话式人工智能驱动的客户服务聊天机器人等等。在信息安全领域，多年来我们一直依赖人工智能驱动的垃...

10月21日14 views评论

阅读全文

人工智能安全

使用 LLM 和静态代码分析查找可利用漏洞的工具

在当今不断发展的网络安全环境中，识别代码库中的漏洞对于维护安全的软件和基础设施至关重要。Vulnhuntr 是一款可在 GitHub 上获取的开源工具，它利用大型语言模型(LLM) 和静态代码分析来识...

10月21日151 views评论

阅读全文

人工智能安全

工具 | 大模型工具盘点

大模型（Large Model），也称为基础模型（Foundation Model），是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大...

10月21日20 views评论

阅读全文

人工智能安全

澳洲关于隐私以及开发和训练生成式人工智能模型的指南（全文翻译）

编者按关于LLMs（大型语言模型）的风险和监管，本公号发布过以下文章：ChatGPT是网络上的一个模糊的JPEG文件（外专观点）ChatGPT是如何劫持民主进程（外专观点）ChatGPT：欧洲禁止Re...

10月21日63 views评论

阅读全文

人工智能安全

浅析人工智能技术在网络安全领域中的应用

企业数字化转型浪潮的来临促使人工智能技术得到了企业的普遍关注和重视。人工智能技术发展至今已经广泛应用到图像识别、自然语言处理等领域，并取得了重大的突破。随着网络空间逐渐成为数字经济发展的基石，网络空间...

10月20日85 views评论

阅读全文

人工智能安全

断路机制和math prompt jailbreak

最近在搞AI自动化渗透的时候刷到了一些资料，关于越狱攻击和防御的。一个是gray swan提出的短路机制，也就是实现类似lora的方式，在推理的过程中记录和观察活跃的节点部分，然后找到共性部分，然后当...

10月19日22 views评论

阅读全文

人工智能安全

G.O.S.S.I.P 阅读推荐 2024-10-18 大模型安全新利器：ToxicDetector 高效检测有害提示词

今天想和大家分享一篇由上海科技大学和南洋理工大学合作并投稿的有趣研究Efficient Detection of Toxic Prompts in Large Language Models，目前已被...

10月19日25 views评论

阅读全文