SecMet#2期 基于提示词工程的大模型安全

[SecMet]是安全学术圈近期打造的一个线上线下结合的学术研讨模式，研讨会分为全公开和半公开模式，其中半公开模式仅对安全学术圈内部交流群和特殊专题投稿人员参加，每期主题根据领域主席（Primary Area Chair，下文简称AC）来拟定或者学术汇报者内容来拟定（有兴趣组织或者汇报的学者可以发邮件[email protected]，感谢！！！）。

SecMet#2期主要为主题汇报方式进行，详细日程安排如下：

• SecMet期数：#2
• 报告类型：半公开
• 报告嘉宾：刘艺 (南洋理工大学)
• 报告题目：基于提示词工程的大模型安全
• 报告时间：2023年11月3日(星期五)早上11:00(北京时间)
• 报告地点：线上(腾讯会议，内部通知)

报告人简介:

刘艺，南洋理工大学计算机科学与工程学院博士研究生，师从国际软件工程领域知名专家刘杨教授。主要研究方向为大模型安全，软件测试等。

他的研究主要集中在大模型安全和软件测试，相关工作发表在USENIX、S&P、NDSS、ICSE、ASE等顶级国际会议上。在大模型安全上，他较早完成了越狱提示词的实证研究，并设计自动化越狱提示词生成方法；同时，在提示词注入方面，较早实现了对于集成大语言模型商业应用的攻击，并设计自动化提示词注入攻击工具。在软件测试中，他主导设计的RESTful API自主测试工具，获得华为云十大优秀技术合作项目奖，并已落地华为公司内部多个产品线应用，华为云对外商用邀测。

报告内容：

随着大模型在各个领域中的广泛应用，其在医疗、金融、娱乐和教育等众多领域的应用。随之而来的是与其相关的各种安全问题是一个重要的研究方向。在本次报告中，我们首先将深入探讨大语言模型的一种新型攻击方法：提示词注入攻击。紧接着，我们将进一步聚焦到大模型越狱。我们将分享关于大模型越狱提示词的最新实证研究成果，并探讨如何利用自动化工具来加速这种攻击的过程。

个人主页：

https://scholar.google.com/citations?user=DcFodKsAAAAJ&hl=en

特别鸣谢本次SecMet主要组织者：

主办AC：黄诚 (四川大学)

PS：欢迎各位继续投稿专题笔记