论文阅读：AI学习之钥

DeepSeek 4篇重要论文及工程优化要点：

1.DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

这篇论文奠定了 DeepSeek 大模型的基础，提出模型参数规模并非越大越好，而是要找到模型参数量、数据量和算力的最优配比，通过分阶段的 Multi-step 学习率下降的方式，在不损失性能的情况下，可以更便捷地进行持续训练。

2.DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

Multi-Head Latent Attention (MLA)：通过对 Key 和 Value 进行低秩压缩，极大地减少了推理时的 KV cache，提高了推理效率，同时性能又比 MHA 更好。

DeepSeekMoE：通过精细化的专家划分和共享专家的隔离，DeepSeekMoE 能够在更低成本下训练更强大的模型。

Device-Limited Routing: 在训练过程中对 MoE 架构进行了改进，实现了训练效率的提升，并在跨节点通信时加入了平衡负载策略。

低成本训练：V2 在性能超越 DeepSeek 67B 的同时，训练成本却降低了 42.5%。

3.DeepSeek V3 Technical Report

辅助损失函数 (Auxiliary Loss) 新策略: 解决了在 MOE 模型训练中，为了平衡负载而引入的辅助损失带来的模型性能损失问题。

Multi-Token Prediction: V3 不再采用传统的单 Token 预测，而是采用多个 token 同时预测，从而提高了模型的整体性能，同时也有利于在推理阶段使用 speculative decoding 来提升推理速度。

FP8 混合精度训练：使用 FP8 混合精度框架训练，并在大规模模型上验证了其可行性和有效性。通过 FP8 计算和存储，训练得到了显著的加速，并减少了 GPU 内存的使用。

DualPipe：通过 DualPipe算法，显著减少了 pipeline 过程中存在的 bubble，并使得通信过程和计算过程能够高度重叠，大幅提升了训练效率。

高效的跨节点通信: 使用高效的跨节点 all-to-all 通信内核，充分利用 IB 和 NVLink 的带宽，减少训练时的通信开销。

4.DeepSeek R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

不依赖监督微调的 RL：DeepSeek-R1-Zero 直接在 base 模型上运用 RL （强化学习）训练，证明AI大模型可以通过 RL 训练出更强的推理能力，不需要预先经过监督微调的训练。

多阶段强化学习：为了克服 RL 产生的不稳定性，DeepSeek-R1 先使用少量数据进行监督学习，再进行面向推理的强化学习。之后，再通过拒绝采样的方式来做监督微调，并结合全场景的 RL，最终形成了 DeepSeek-R1 模型。

小模型蒸馏：DeepSeek 团队探索了如何把 R1 模型的推理能力迁移到小模型中。他们使用 蒸馏的方法训练了基于 Qwen 和 Llama 的系列小模型.

arxiv是一个开放获取的学术论文预印本存储库，由美国康奈尔大学图书馆运营管理. 

arxiv始建于1991年，由美国物理学家保罗·金斯帕（Paul Ginsparg）在美国洛斯阿拉莫斯（Los Alamos）国家实验室创立。最初名为“物理电子档案”（Physics e-Print Archive），旨在方便物理学家们分享未发表的研究成果。

arxiv允许研究人员在未经同行评审的情况下，将自己的研究成果以电子形式提前发布出来，并提供强大的检索功能，使学者能够轻松地找到所需领域的论文。arxiv支持论文的不同版本，允许作者更新他们的工作，以确保论文内容的最新性和准确性。arxiv上的论文是开放获取的，任何用户都可以下载和阅读。同时，arxiv还鼓励学者对论文进行评论和讨论，从而促进了学术交流和合作。