专题解读:利用投机采样加速大模型推理简介在大模型的应用场景中,推理速度是最为影响用户体验的要素之一。针对大模型推理速度的优化有很多工作,本文将聚焦于投机采样技术。目前的大模型通常采用自回归的方式生成文...
我也来聊聊微信键盘
最近「微信键盘」开启了内测,我看到挺多网友讨论的,于是前几天下载下来尝试了一下,今天也来跟大家分享一下使用体验。首先需要说明的是,我对一个输入法的要求,其实就只有两点:1. 精准。要能够切实提升我的输...