《大模型训练数据白皮书》学习笔记

第一阶段预训练（Pre-training），海量输入，通过大量学习世界知识，构建模型的基础能力，理解客观世界的规律，该阶段的语料特征可以概括为“广”。

第二阶段监督微调（SFT），问答对，通过标注人员设计问答，编写正确答案，将例题投喂给模型，并希望模型在没有见过的任务中“举一反三”，提升泛化能力。

第三阶段基于人类反馈的强化学习（RLHF），人工反馈，训练目标是让模型的价值观与人类对齐，需要人类对模型的回答进行打分、排序，让模型知道" 怎么说更好"。

第二和第三阶段的数据质量要求较高，需要来自人类的高质量反馈，语料特征可以概括为“齐”。

如果将模型微调后部署应用于特定的场景形成行业大模型（如工业、金融、医疗等），则需要满足该场景专业需求的特定领域知识做预训练和对齐，需要具备一定专业深度，如行业数据库、专业文档、专业网站等，这部分的语料特征是“专”。