使用ollama+chatboxai本地部署DeepSeek-R1

admin 2025年2月3日02:11:341 348 views1字数 2826阅读9分25秒阅读模式

大家好,我是沃克

国产AI大模型DeepSeek在全球范围内大火,最近关于deepseek的消息满天飞,这里我就不说它有多牛逼了。由于使用人多且遭受境外网络攻击,deepseek其官方网站目前正在升级维护中,使用不太稳定

使用ollama+chatboxai本地部署DeepSeek-R1

于是我使用了ollama+chatbox在本地部署deepseek,仅需三步,有手就行,整个过程无需科学上网。

第一步 下载并安装ollama

ollama是一款开源的大型语言模型服务工具,可以将一些大模型部署到本地。

打开https://ollama.com,点击download,即可根据自己操作系统进行下载,mac、linux、Windows都支持。我的是mac

使用ollama+chatboxai本地部署DeepSeek-R1

下载之后解压,双击安装就行。

安装完成后,终端中输入ollama --version检查是否安装成功并查看版本,通过ollama --help查看命令,可以看到它的使用跟docker很像

使用ollama+chatboxai本地部署DeepSeek-R1

第二步 使用ollama在本地部署deepseek

首先,需要知道自己的运行内存和显存为多大,mac电脑按如下步骤查看:

使用ollama+chatboxai本地部署DeepSeek-R1

我的显卡信息如下:

使用ollama+chatboxai本地部署DeepSeek-R1

内存为36GB,显卡为集成显卡,电脑运行时内存和显存共用36GB,由系统智能调度,也就是说显存是动态的,理论最大可用显存接近36GB。

我们回到ollama在搜索栏搜索deepseek,选择deepseek-r1

使用ollama+chatboxai本地部署DeepSeek-R1

可以看到有多个模型可以选择

使用ollama+chatboxai本地部署DeepSeek-R1

671b是全参数模型,它需要的配置是:

Model Version

Parameters

VRAM

NVIDIA

Mac

DeepSeek-R1-Zero

671B

~1342GB

Multi-GPU setup(e.g.,NVIDIA A100 80GB x 16)

Not applicable

DeepSeek-R1

671B

~1342GB

Multi-GPU setup(e.g.,NVIDIA A100 80GB x 16)

Not applicable

我们只能部署它的蒸馏模型,配置参考如下:

Model Version

Parameters

VRAM

NVIDIA

Mac

DeepSeek-R1-Distill-Qwen-1.5B

1.5B

~3.5GB

NVIDIA RTX 3060 12GB or higher

16GB or more

DeepSeek-R1-Distill-Qwen-7B

7B

~16GB

NVIDIA RTX 4080 16GB or higher

32GB or more

DeepSeek-R1-Distill-Llama-8B

8B

~18Gb

NVIDIA RTX 4080 16GB or higher

32GB or more

DeepSeek-R1-Distill-Qwen-14B

14B

~32GB

Multi-GPU setup(e.g.,NVIDIA RTX4090 x 2)

64GB or more

DeepSeek-R1-Distill-Qwen-32B

32B

~74GB

Multi-GPU setup(e.g.,NVIDIA RTX4090 x 4)

128GB or more

DeepSeek-R1-Distill-Llama-70B

70B

~161GB

Multi-GPU setup(e.g.,NVIDIA A100 80GB x 2)

Not applicable

mac电脑也可参考如下:

使用ollama+chatboxai本地部署DeepSeek-R1
使用ollama+chatboxai本地部署DeepSeek-R1

我的mac是集成显卡,内存为36GB,我选择8b模型

终端中输入ollama run deepseek-r1:8b

使用ollama+chatboxai本地部署DeepSeek-R1

这种命令行模式似乎不太友好,我们更喜欢像官网那样的网页版的使用它

第三步 安装和使用chatboxai

chatboxai是一款AI客户端应用和智能助手,支持众多先进的AI模型和API,可在windows、Linux、Android、Mac和网页版上使用

打开https://chatboxai.app,下载对应操作系统的版本,下载好之后双击即可安装

使用ollama+chatboxai本地部署DeepSeek-R1

安装好之后,双击应用程序打开,进行如下配置,点击保存

使用ollama+chatboxai本地部署DeepSeek-R1

11434是ollama的默认服务端口,接下来就可以使用deepseek-r1:8b蒸馏模型了

使用ollama+chatboxai本地部署DeepSeek-R1

8b、14b、32b模型、官方APP测试对比

我还下载了14和32b的模型,32b能运行起来,但不是那么流畅

deepseek-r1擅长数学、编程、逻辑推理于是我分别向3个模型抛出同样的数学问题来进行测试:

班里一共有2个老师和15个学生要去公园,公园的团体票每张15元(最多包含12个人),个人票每张2元(仅限一个人使用)。请问,所有人去公园最少花多少钱?

8b模型

分析过程:

使用ollama+chatboxai本地部署DeepSeek-R1

最终给出的答案:

使用ollama+chatboxai本地部署DeepSeek-R1

14b模型

分析过程:

使用ollama+chatboxai本地部署DeepSeek-R1

最终给出的答案:

使用ollama+chatboxai本地部署DeepSeek-R1

32b模型

分析过程:

使用ollama+chatboxai本地部署DeepSeek-R1

最终给出的答案:

要计算所有人去公园的最少费用,我们可以按照以下步骤进行:

### 步骤 1:确定总人数
班里共有:
- 老师:2位
- 学生:15位

**总人数 = 2 + 15 = 17人**

### 步骤 2:选择最经济的票种组合

#### 团体票
- **价格**:每张团体票15元
- **容量**:最多12人

#### 个人票
- **价格**:每张个人票2元
- **容量**:仅限1人

### 步骤 3:计算最少费用

为了最小化总费用,应尽可能多地使用团体票。

1. **购买两张团体票**
   - 每张团体票最多容纳12人。
   - **两张团体票可覆盖的人数 = 12 × 2 = 24人**

   由于实际人数只有17人,两张团体票足以覆盖所有人。

2. **费用计算**
   - 团体票总费用:2张 × 15元/张 = **30元**

### 步骤 4:验证是否有更经济的组合

另一种可能是购买一张团体票和一些个人票:
- **一张团体票** 可覆盖12人
- 剩余人数:17 - 12 = 5人
- 这些剩余的人需要购买**5张个人票**

费用计算:
- 团体票费用:1张 × 15元 = 15元
- 个人票费用:5张 × 2元/张 = 10元
- **总费用 = 15元 + 10元 = 25元**

比较两种组合的费用:
- 两张团体票:30元
- 一张团体票加五张个人票:25元

显然,**购买一张团体票和五张个人票更经济,总费用为25元。**

### 最终答案

boxed{25}

官方APP

最后,再来看下我们在官方app中采用深度思考模式的结果

分析过程:

使用ollama+chatboxai本地部署DeepSeek-R1

最终给出的答案:

使用ollama+chatboxai本地部署DeepSeek-R1

总结

本文首先介绍了如何在使用ollama+chatboxai本地部署deepseek-r1模型;然后分别用同一个数学问题向8b,14b,32b模型和官方APP提问,显然8b,14b模型给出了错误答案,32b和官方APP给出了正确答案,官方APP思考的深度是最深的,通过对不同方案的比较得出正确答案;最后,不知道是不是我电脑本身配置不足的原因,影响了14b和32b模型的发挥。

另外,后续反复测试后,8b和14b模型也能得出正确答案,有时甚至分析过程和给出的答案还对不上......,本地部署的模型似乎也是有自学习机制?同一个问题被反复问之后也会造成思维混乱?(😂

如果喜欢小编分享的文章,记得转发+点赞+关注支持一下哦~

现在只对常读和星标的公众号才展示大图推送

建议大家把公众号“设为星标”,否则可能错过一些好文哦

原文始发于微信公众号(沃克学安全):使用ollama+chatboxai本地部署DeepSeek-R1

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年2月3日02:11:34
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   使用ollama+chatboxai本地部署DeepSeek-R1https://cn-sec.com/archives/3694289.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.
评论  1  访客  1
    • Anonymous#193 0

      感谢辛苦分享

    发表评论

    匿名网友 填写信息