AI浪潮之下,互联网大厂“内卷”的赛道尤为默契,一致将目标锁定大模型。从百度的文心一言到阿里的通义千问,从腾讯混元到字节豆包……各厂均卷出了自家的大模型。而在大家疯狂训练大模型的背后,数据这一“硬通货”尤为重要。
毕竟,数据是大模型的“粮食”。数据的质量和数量将直接影响着大模型的性能和准确度。随着大模型赛道的加速“内卷”,未来对于数据的需求量只会越来越多,质量要求也会越来越高。
人工智能发展的突破得益于高质量数据的发展。例如,大型语言模型的最新进展依赖于更高质量、更丰富的训练数据集:与GPT-2相比,GPT-3对模型架构只进行了微小的修改,但花费精力收集更大的高质量数据集进行训练。ChatGPT与GPT-3的模型架构类似,并使用RLHF(来自人工反馈过程的强化学习)来生成用于微调的高质量标记数据。
人工智能领域以数据为中心的AI,即在模型相对固定的前提下,通过提升数据的质量和数量来提升整个模型的训练效果。提升数据集质量的方法主要有:添加数据标记、清洗和转换数据、数据缩减、增加数据多样性、持续监测和维护数据等。未来数据成本在大模型开发中的成本占比或将提升,主要包括数据采集,清洗,标注等成本。
以数据为中心的 AI:模型不变,通过改进数据集质量提升模型效果
1)高质量:高质量数据集能够提高模型精度与可解释性,并且减少收敛到最优解的时间,即减少训练时长。
2)大规模:OpenAI 在《Scaling Laws for Neural Language Models》中提出 LLM 模型所遵循的“伸缩法则”(scaling law),即独立增加训练数据量、模型参数规模或者延长模型训练时间,预训练模型的效果会越来越好。
3)丰富性:数据丰富性能够提高模型泛化能力,过于单一的数据会非常容易让模型过于拟合训练数据。
总结:大模型所需的数据类型
-
大规模多样性数据:大模型追求的是泛化能力和深度理解能力,因此需要涵盖广泛主题、领域和语境的大规模数据集。这包括但不限于文本、图像、音频、视频等多种形式的数据,以确保模型能够理解和生成多样化的内容。
-
高质量标注数据:对于监督学习任务,高质量的标注数据至关重要。这要求数据不仅准确反映真实世界的情况,还需要标注细致、一致,以提高模型的训练效率和准确性。对于语言模型,这可能意味着需要精确到词或句子的语义标注;对于图像识别,则是像素级的标签或边界框。
-
无监督学习数据:随着自监督学习和预训练-微调范式的兴起,大量未标注数据成为训练大模型的重要资源。这类数据帮助模型学习语言的统计规律、图像的底层特征等,为后续特定任务的学习打下坚实基础。
-
对话与交互式数据:对于旨在实现人机交互的大模型,如聊天机器人,收集真实的对话数据尤为重要。这些数据应包含各种对话场景、用户意图和情绪反应,有助于模型学习自然流畅的对话生成和理解能力。
-
跨模态数据:随着多模态AI的发展,能够将文本、图像、声音等多种信息融合理解的大模型日益受到重视。因此,收集并整合这些不同模态的数据,促进模型在不同维度上的学习和关联,成为新的趋势。
建立数据集的流程主要分为 1)数据采集;2)数据清洗:由于采集到的数据可能存在缺失值、噪声数据、重复数据等质量问题;3)数据标注:最重要的一个环节;4)模型训练:模型训练人员会利用标注好的数据训练出需要的算法模型;5)模型测试:审核员进行模型测试并将测试结果反馈给模型训练人员,而模型训练人员通过不断地调整参数,以便获得性能更好的算法模型;6)产品评估:产品评估人员使用并进行上线前的最后评估。
数据采集:采集的对象包括视频、图片、音频和文本等多种类型和多种格式的数据。数据采集目前常用的有三种方式,分别为:1)系统日志采集方法;2)网络数据采集方法;3)ETL。
数据清洗:数据清洗是提高数据质量的有效方法。由于采集到的数据可能存在缺失值、噪声数据、重复数据等质量问题,故需要执行数据清洗任务,数据清洗作为数据预处理中至关重要的环节,清洗后数据的质量很大程度上决定了 AI 算法的有效性。
数据标注:数据标注是流程中最重要的一个环节。管理员会根据不同的标注需求,将待标注的数据划分为不同的标注任务。每一个标注任务都有不同的规范和标注点要求,一个标注任务将会分配给多个标注员完成。
模型训练与测试:最终通过产品评估环节的数据才算是真正过关。产品评估人员需要反复验证模型的标注效果,并对模型是否满足上线目标进行评估。
持续学习与更新:随着新数据的不断产生,模型应能持续学习,适应新的语言习惯、流行文化等变化。这要求建立有效的数据更新机制和在线学习流程,确保模型保持与时俱进。
据统计,99%的数据大咖都关注了这个公众号
👇
原文始发于微信公众号(谈数据):什么样的数据被AI大模型需要?
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论