SecMet#1期 理解和度量大模型的安全问题

[SecMet]是安全学术圈近期打造的一个线上线下结合的学术研讨模式，研讨会分为全公开和半公开模式，其中半公开模式仅对安全学术圈内部交流群和特殊专题投稿人员参加，每期主题根据领域主席（Primary Area Chair，下文简称AC）来拟定或者学术汇报者内容来拟定（有兴趣组织或者汇报的学者可以发邮件[email protected]，感谢！！！）。

SecMet#1期主要为学术汇报+专题研讨方式进行，详细日程安排如下：

• SecMet期数：#1
• 报告类型：半公开
• 报告嘉宾：沈馨悦 (CISPA亥姆霍兹信息安全中心)
• 报告题目：理解和度量大模型的安全问题
• 报告时间：2023年10月11日(星期三)早上10:00(北京时间)
• 报告地点：线上(腾讯会议，内部通知)/线下：四川大学江安校区交叉大楼805

报告人简介:

沈馨悦是CISPA亥姆霍兹信息安全中心张阳老师研究组的博士生。她的研究主要集中在大模型安全和仇恨言论分析。她的相关工作发表在Usenix、CCS、ICWSM等顶级国际会议上，并被New Scientist, Deutschlandfunk Nova等媒体广泛报道。

报告内容：

随着机器学习技术的深入发展，预训练大模型如今已经成为深度学习研究中的一种主流范式。通过对特定任务进行微调，大模型展现出了强大的泛化能力和通用性。然而近期的研究也指出了大模型可能会带来一定的安全风险。在这次报告中，我将介绍我们最近在这个领域的三个工作。首先，我将分享我们针对大语言模型上的越狱攻击的最新研究成果。然后，我将介绍大语言模型的可靠性度量研究。最后，我将讲述text-to-image生成模型所面临的提示窃取攻击。

个人主页：https://xinyueshen.me/

特别鸣谢本次SecMet主要组织者：

主办AC：黄诚 (四川大学)

PS：欢迎各位继续投稿【Sec-LLMS】专题笔记