人工智能安全 Edge0-145B单卡就能跑:改的真是账本,不只是模型 Edge0-145B通过原生4bit量化、预测式专家加载和SSD流式权重重算三件套,将145B参数MoE模型塞进单张高端显卡本地运行,持续解码速度达121.2tok/s。文章深入分析了prefill与... 13 分前3 views评论本地推理 长上下文 阅读全文