大家好,我是沃克
国产AI大模型DeepSeek在全球范围内大火,最近关于deepseek的消息满天飞,这里我就不说它有多牛逼了。由于使用人多且遭受境外网络攻击,deepseek其官方网站目前正在升级维护中,使用不太稳定
于是我使用了ollama+chatbox在本地部署deepseek,仅需三步,有手就行,整个过程无需科学上网。
第一步 下载并安装ollama
ollama是一款开源的大型语言模型服务工具,可以将一些大模型部署到本地。
打开https://ollama.com,点击download,即可根据自己操作系统进行下载,mac、linux、Windows都支持。我的是mac
下载之后解压,双击安装就行。
安装完成后,终端中输入ollama --version
检查是否安装成功并查看版本,通过ollama --help
查看命令,可以看到它的使用跟docker
很像
第二步 使用ollama在本地部署deepseek
首先,需要知道自己的运行内存和显存为多大,mac电脑按如下步骤查看:
我的显卡信息如下:
内存为36GB,显卡为集成显卡,电脑运行时内存和显存共用36GB,由系统智能调度,也就是说显存是动态的,理论最大可用显存接近36GB。
我们回到ollama在搜索栏搜索deepseek,选择deepseek-r1
可以看到有多个模型可以选择
671b是全参数模型,它需要的配置是:
Model Version |
Parameters |
VRAM |
NVIDIA |
Mac |
DeepSeek-R1-Zero |
671B |
~1342GB |
Multi-GPU setup(e.g.,NVIDIA A100 80GB x 16) |
Not applicable |
DeepSeek-R1 |
671B |
~1342GB |
Multi-GPU setup(e.g.,NVIDIA A100 80GB x 16) |
Not applicable |
我们只能部署它的蒸馏模型,配置参考如下:
Model Version |
Parameters |
VRAM |
NVIDIA |
Mac |
DeepSeek-R1-Distill-Qwen-1.5B |
1.5B |
~3.5GB |
NVIDIA RTX 3060 12GB or higher |
16GB or more |
DeepSeek-R1-Distill-Qwen-7B |
7B |
~16GB |
NVIDIA RTX 4080 16GB or higher |
32GB or more |
DeepSeek-R1-Distill-Llama-8B |
8B |
~18Gb |
NVIDIA RTX 4080 16GB or higher |
32GB or more |
DeepSeek-R1-Distill-Qwen-14B |
14B |
~32GB |
Multi-GPU setup(e.g.,NVIDIA RTX4090 x 2) |
64GB or more |
DeepSeek-R1-Distill-Qwen-32B |
32B |
~74GB |
Multi-GPU setup(e.g.,NVIDIA RTX4090 x 4) |
128GB or more |
DeepSeek-R1-Distill-Llama-70B |
70B |
~161GB |
Multi-GPU setup(e.g.,NVIDIA A100 80GB x 2) |
Not applicable |
mac电脑也可参考如下:
我的mac是集成显卡,内存为36GB,我选择8b模型
终端中输入ollama run deepseek-r1:8b
这种命令行模式似乎不太友好,我们更喜欢像官网那样的网页版的使用它
第三步 安装和使用chatboxai
chatboxai是一款AI客户端应用和智能助手,支持众多先进的AI模型和API,可在windows、Linux、Android、Mac和网页版上使用
打开https://chatboxai.app,下载对应操作系统的版本,下载好之后双击即可安装
安装好之后,双击应用程序打开,进行如下配置,点击保存
11434是ollama的默认服务端口,接下来就可以使用deepseek-r1:8b蒸馏模型了
8b、14b、32b模型、官方APP测试对比
我还下载了14和32b的模型,32b能运行起来,但不是那么流畅
deepseek-r1擅长数学、编程、逻辑推理于是我分别向3个模型抛出同样的数学问题来进行测试:
班里一共有2个老师和15个学生要去公园,公园的团体票每张15元(最多包含12个人),个人票每张2元(仅限一个人使用)。请问,所有人去公园最少花多少钱?
8b模型
分析过程:
最终给出的答案:
14b模型
分析过程:
最终给出的答案:
32b模型
分析过程:
最终给出的答案:
要计算所有人去公园的最少费用,我们可以按照以下步骤进行:
### 步骤 1:确定总人数
班里共有:
- 老师:2位
- 学生:15位
**总人数 = 2 + 15 = 17人**
### 步骤 2:选择最经济的票种组合
#### 团体票
- **价格**:每张团体票15元
- **容量**:最多12人
#### 个人票
- **价格**:每张个人票2元
- **容量**:仅限1人
### 步骤 3:计算最少费用
为了最小化总费用,应尽可能多地使用团体票。
1. **购买两张团体票**
- 每张团体票最多容纳12人。
- **两张团体票可覆盖的人数 = 12 × 2 = 24人**
由于实际人数只有17人,两张团体票足以覆盖所有人。
2. **费用计算**
- 团体票总费用:2张 × 15元/张 = **30元**
### 步骤 4:验证是否有更经济的组合
另一种可能是购买一张团体票和一些个人票:
- **一张团体票** 可覆盖12人
- 剩余人数:17 - 12 = 5人
- 这些剩余的人需要购买**5张个人票**
费用计算:
- 团体票费用:1张 × 15元 = 15元
- 个人票费用:5张 × 2元/张 = 10元
- **总费用 = 15元 + 10元 = 25元**
比较两种组合的费用:
- 两张团体票:30元
- 一张团体票加五张个人票:25元
显然,**购买一张团体票和五张个人票更经济,总费用为25元。**
### 最终答案
boxed{25}
官方APP
最后,再来看下我们在官方app中采用深度思考模式的结果
分析过程:
最终给出的答案:
总结
本文首先介绍了如何在使用ollama+chatboxai本地部署deepseek-r1模型;然后分别用同一个数学问题向8b,14b,32b模型和官方APP提问,显然8b,14b模型给出了错误答案,32b和官方APP给出了正确答案,官方APP思考的深度是最深的,通过对不同方案的比较得出正确答案;最后,不知道是不是我电脑本身配置不足的原因,影响了14b和32b模型的发挥。
另外,后续反复测试后,8b和14b模型也能得出正确答案,有时甚至分析过程和给出的答案还对不上......,本地部署的模型似乎也是有自学习机制?同一个问题被反复问之后也会造成思维混乱?(😂)
如果喜欢小编分享的文章,记得转发+点赞+关注支持一下哦~
现在只对常读和星标的公众号才展示大图推送
建议大家把公众号“设为星标”,否则可能错过一些好文哦
原文始发于微信公众号(沃克学安全):使用ollama+chatboxai本地部署DeepSeek-R1
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
2025年2月6日 下午7:14 1F
感谢辛苦分享