AI大模型能答对几道高考数学题？

近日，2024年高考作文题等高考相关话题引发热议，“AI大模型做高考题”也成为一大看点。

AI参加高考，数学能得多少分？

悄悄问一句

高考数学题，你还看得懂吗？

或许我们看不懂，但大模型可以。

近日，复旦大学NLP（自然语言处理）实验室LLMEVAL团队请来13位大模型“考生”，一起做2024年高考数学真题。

结果怎样？

先说结论：

从整体来看，大模型们的“高考成绩”

都不算太高

OpenAI日前发布的新一代旗舰大模型GPT-4o与阿里云研发的通义千问720亿参数大模型Qwen-72b，在两次测试中排名都靠前，正确率稳定在60%以上。

部分大模型的表现存在起伏与波动，如百川智能、字节跳动新近发布的Baichuan4和豆包大模型，分别在新I卷和新II卷客观题测试中得分排名第一。但在另一场测试中，排名相对靠后。

图源：复旦大学NLP实验室

根据两次评测结果，该团队发现，大部分测试大模型在简单题（如选择题前三道），有较好的准确率，而在中档题中表现一般。

对于较难的题目，大模型们的准确率会更低。少部分题目甚至出现“全军覆灭”的情况。

人工智能这么“聪明”，为什么还会出错?

AI为什么会把题做错？

测试发现，让AI大模型做数学题，仍是一个难度较大的挑战。

首先，文本输入格式的不同，会对测试结果造成比较明显的干扰。

目前测试主要采用上传图片识别文本的方式。这种方式更类似“人类”，是对大模型能力的全面考验。

有的大模型还未做题，就先败在了AI识图这一步。

其次，大模型的推理能力仍有很大进步空间。较难的题目对思维能力的考察要求更高，大模型的准确率也会更低。

此外，在多选题方面，大多数模型表现不佳。

可见，面临复杂选项的时候，大模型的准确率也会降低。

虽然在解题方面，AI大模型的短期表现还达不到完美。但在攻克数学问题的路上，AI的每一次进步都是对未来教育想象空间的开拓，值得更多耐心与期待。

参考丨复旦大学NLP实验室、澎湃新闻、机器之心、量子位

来源：世界互联网大会、光明网