要点概述0Din 研究员 Marco Figueroa 发现了一种编码技术,可以绕过 ChatGPT-4o 和其他主流 AI 模型的内置安全防护,使其能够生成漏洞利用代码。这一发现揭示了 AI 安全措...
大模型应用之RAG技术学习
什么是RAG检索增强生成(Retrieval Augmented Generation, RAG)是一种技术,它通过从数据源中检索信息来辅助大语言模型(Large Language Model, LL...
【论文速读】| LSAST:通过LLM支持的静态应用安全测试增强网络安全
基本信息原文标题:LSAST: Enhancing Cybersecurity through LLM-supported Static Application Security Testing原文作...
澳州《关于隐私和使用市售人工智能产品的指南》全文翻译
编者按关于LLMs(大型语言模型)的风险和监管,本公号发布过以下文章:ChatGPT是网络上的一个模糊的JPEG文件(外专观点)ChatGPT是如何劫持民主进程(外专观点)ChatGPT:欧洲禁止Re...
澳洲关于隐私以及开发和训练生成式人工智能模型的指南(全文翻译)
编者按关于LLMs(大型语言模型)的风险和监管,本公号发布过以下文章:ChatGPT是网络上的一个模糊的JPEG文件(外专观点)ChatGPT是如何劫持民主进程(外专观点)ChatGPT:欧洲禁止Re...
大语言模型提升安全运营的十种方法
为什么说大语言模型是网络安全运营的一次革命?安全大语言模型到底能不能打?怎么打?网络安全是人工智能最大的细分市场,而安全运营则是生成式人工智能最热门的应用领域之一。以ChatGPT为代表的,基于大语言...
AI驱动机器人暴关键漏洞,可致机器人失控执行危险行为
近日,宾夕法尼亚大学的工程研究团队揭示了AI驱动机器人中存在的关键漏洞,这些漏洞可以被恶意操控,导致机器人执行危险任务,包括引爆炸弹。研究团队在这项研究中开发了一种名为RoboPAIR的算法,成功实现...
【论文速读】| 针对大语言模型的有效且具有规避性的模糊测试驱动越狱攻击
基本信息原文标题:Effective and Evasive Fuzz Testing-Driven Jailbreaking Attacks against LLMs原文作者:Xueluan Gon...
【论文速读】|PROMPTFUZZ:利用模糊测试技术对大语言模型中的提示注入进行鲁棒性测试
基本信息原文标题: PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs原文...
LangChain 框架介绍及关键模块分析
1. 简介LangChain 是一个开源的编排框架,旨在将大型语言模型(LLM)与外部数据源无缝连接,助力开发者构建基于 LLM 的应用程序。该框架由 Harrison Chase 于 2022 年 ...
大模型隐私泄露攻击技巧分析与复现
前言大型语言模型,尤其是像ChatGPT这样的模型,尽管在自然语言处理领域展现了强大的能力,但也伴随着隐私泄露的潜在风险。在模型的训练过程中,可能会接触到大量的用户数据,其中包括敏感的个人信息,进而带...
为什么保护大型语言模型 (LLM) 如此重要?
大型语言模型 (LLM) 是一种复杂的机器学习模型,旨在理解、生成和解释人类语言。这些模型基于使用 Transformer 架构的神经网络构建,可以从大量文本数据中学习,从而能够生成与人类写作风格和模...
30