在AI安全这场长跑中,没有所谓的“免费午餐”。随着大语言模型在各行各业展现威力,如何让它们“瘦身”以降低部署成本,成为业界关注焦点。“模型蒸馏”正是在这样的背景下走红:通过让小模型学习大模型的行为,我...
本地部署小模型的大风险
随着大语言模型在各行各业展现威力,如何让它们“瘦身”以降低部署成本,成为业界关注焦点。“模型蒸馏”正是在这样的背景下走红:通过让小模型学习大模型的行为,我们可以得到“蒸馏量化”后的“小模型”,既保留大...