研究背景 深度学习（DL）已经被广泛用于许多人工智能（AI）应用。在深度学习中，训练一个令人满意的模型需要大量的计算，因此人们部署GPU集群并应用分布式训练技术来加速训练过程。 数...