清华大学MADSYS实验室开源KTransformers项目,让单张24GB显存显卡(如RTX4090)运行671B参数的DeepSeek-V3/R1大模型。核心思路是异构计算:将Attention、...
KTransformers高性能LLM推理优化框架
清华大学MADSys团队联合趋境科技(Approaching.AI)给出了KTransformers这个全新的开源解决方案。不需要A100/H100多卡集群,单张RTX4090也能跑满血版DeepSe...

