去年的时候,外网上出现了一个名为Freysa AI。它旨在通过举办大模型安全赏金竞赛游戏,来吸引全球爱好者一起探索:人类的智慧能否找到一种方法说服AGI违背其核心指令?比赛概述网址为:https://...
AI风险分析 | 从Freysa转账案例看智能体应用的潜在风险
01 背景11月22日晚9点,AI智能体Freysa被发布。它是一个能够不断进化的大模型(LLM)智能体,负责管理一个奖金池。用户需要按照游戏的规则,通过说服Freysa把奖金池内的奖金转给自己。参与...
2025年关于AI的5个预测-AI安全
2025年1月1日,一辆特斯拉Cybertruck在拉斯维加斯特朗普国际酒店外发生爆炸,导致一人死亡,七人受伤。调查显示,嫌疑人在策划袭击时,利用生成式人工智能工具ChatGPT获取了制造爆炸物的相关...
LLM 安全与安全性研究 第一部分:我该做什么?
Research LLM Security & Safety Part 1. What should I do 0. 引言两年前,OpenAI 发布了 ChatGPT 3.5,随后,LLM 充...