正文
下载Ollama
进入官网https://ollama.com/download
直接下载对于版本的,笔者这里下载的是mac版本的
下载到本地之后直接解压缩,然后一键安装
然后下载对应的大模型如下:
https://ollama.com/library/deepseek-r1
选项和自己电脑配置有关,考虑到自己mac的配置,我这里就选择8b
如果你显卡和内存可以的话可以直接选择下面的选项
本地直接运行
ollama run deepseek-r1:8b
经过一段时间的等待,安装完成
writing manifest
success
>>> 你是什么模型
<think>
我是DeepSeek-R1,一个由深度求索公司开发的智能助手,我会尽我所能为您提供帮助。
</think>
我是DeepSeek-R1,一个由深度求索公司开发的智能助手,我会尽我所能为您提供帮助。
如你想用本地图形界面版本,可以安装一个UI即可
pip install open-webui
完成后,输入open-webui serve
即可。
最后提一嘴: 关于本地部署,大多数人使用的是蒸馏后的8B/32B/70B版本,本质是微调后的Llama或Qwen模型,并不能完全发挥出DeepSeek R1的实力。
要想充分在本地释放R1的能力,显卡得上四路 RTX 4090(4×24 GB 显存)这种级别的配置,网上查了一下,价格达到2w左右,感兴趣的可以去试一波
原文始发于微信公众号(迪哥讲事):手把手教你如何本地化部署DeepSeek
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论