昨天，介绍了DeepSeek的部署，有些人问如何离线部署，那篇文章中没有讲，既然有这个需求，中午花了点时间介绍下离线部署，两种不同的方法部署DeepSeek、Qwen。
链接: https://pan.baidu.com/s/1Q2qz-wr7p8rEwkzKbzTDzQ 提取码: awgu
选择任一个压缩包下载下来，压缩包里面是这样的，解压到你指定的位置：
默认为c:usersadmininstrator.ollamastorage目录下，可修改到D盘去（空间大的地方），
好了，当启动ollama list时，你会发现它存在了。不同的参数的大模型都可以堆叠融合进来。
1、在ModelScope(魔塔社区https://modelscope.cn/)的模型库找到qwen2.5-Coder-7b-instruct这种（需要哪种下哪种，以这个为例），
它和上面deepseek的压缩包不同；它使用了专为高效推理设计的大模型文件格式gguf。
2、然后在我们的ollama窗口执行/show modefile命令，
3、将输出内容保存为文件Modelfile，并修改FROM后面的指向位置，例如：
4、将Makefile文件与下载好的GGUF文件放到同一个文件夹
ollama create qwen2.5-coder -f Modelfile
6、部署好了，但这个latest不太喜欢，改个名，体现出 7b-instrutct名
原文始发于微信公众号（MicroPest）：离线部署DeepSeek/QWen大模型
评论