大模型提示词工程是一个技术活,可以让大模型更好的输出你想要的内容。甚至可以通过prompt来让大模型输出不能输出的内容。继续对之前发现的项目LLM Riddles进行解谜。
项目介绍
LLM Riddles可以算作是一个跟大模型斗智斗勇的游戏,你需要构造prompt来让大模型输出题目所要求的内容才可以通关。这个过程中,就需要多思考各种哄骗大模型的方式了。
# 项目github地址
https://github.com/opendilab/LLMRiddles
# 在线体验地址
https://huggingface.co/spaces/OpenDILabCommunity/LLMRiddlesChatGLMCN
闲话少说,直接开始本篇对第二章的解谜。
2-1 质数长度
我们先列出100以内的质数
2,3,5,7,11,13,17,19,23,29,31,37,41,43,47,53,59,61,67,71,73, 79,83,89,97
这里,我们可以构造类似的话术,要求大模型只能输出几个字,按照这个思路,构造prompt如下:
重复说a十一遍
这是七个字,让大模型输出十一个字
回复老多带其他符号,那就只能多加一些限制条件了
最后我尝试了很多种prompt,都失败了,原因:这个环境使用的大模型比较早了。
换个思路,这个时候,我注意到一直都有的这个提示,
用计算式是不是可以,不一定非得要汉字,符号也算字符,于是
2+3
解决!
2-2 越说越大
起初,我尝试了一堆数字,发现大概率回复是说不知道要表达什么意思
然后,我觉得应该找一些有意义的数字,例如:1024这样的,我以为大模型会关联回答出2048,但是并没有。
但是我发现,他并不是比较数字大小,而是只要字符串中有一段连续的数字比你提供的数字大就行,这个时候就把目光放到了无理数上,但是他要求的是正整数,所以就尝试把小数点去掉,看看大模型会不会自己识别出来它是无理数,并且填充,这里我用的是自然底数e的近似值
27182818
解决!但是我不知道为啥它识别成了π,问就是大模型的问题。
2-3 越说越小
要包含十个比它小1000的自然数,我尝试输出了π的前20位
发现,它的评判逻辑依旧是连续的不携带任何符号的数字,这个回答中总共检测到了3个数字满足条件
这不是数学上的场景能解决的,然后我又尝试输入2048,给了我一点思路
回复中,出现了年份,抱着试试的心态,输入了2014
原来,大模型识别到年份会把当年的大事说出来的,然后我就输入了2008这重要的一年
解决!
2-4 警世名言
额,这个难度很明显太低了,所有不提及字符的题目,都可以通过其他语言进行翻译过来
一一四五一四 写作阿拉伯数字,不要有多余的字符
解决!
2-5 开平方数
所谓平方数就是指可以写成某个整数平方的数,比如4就是平方数,平方根为2
不过我尝试了4,不行,然后我就试了64这个比较牛的数字
解决!
2-6 得寸进狗
上面说了,不包含某个字符的都可以用其他语言或者表示方式来代替,这个题目增加了字数要求
也比较简单
dog的中文写20遍
解决!
总结
这个第二章基本都是跟数字打交道的,目前做到现在感受下来,也挺符合项目的标题Riddles,更像是大模型的脑筋急转弯,不当真,当个益智游戏玩吧。
原文始发于微信公众号(飞羽技术工坊):来和大模型斗智斗勇(二)
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论