接上半部分,下面主要介绍采样解码策略,以及不同解码策略对文本生成的随机性和多样性的影响。5.模型采样/解码策略5.1 贪心解码策略 (greedy decoding)核心思想:每一步取当前最可能的结果...
AI | LLM模型推理生成与采样解码策略(一)
了解Transformer模型结构后,对于LLM模型文本生成过程是有些疑问:一段长句子作为输入,编码后也会得到多个token对应的embedding,那么哪个embedding用于预测下一个token...