毕竟deepseek是个开源模型,之前捣鼓的开源模型本地部署也不少,这次也尝试在我笔记本上部署一下
DeepSeek
使用网址:https://chat.deepseek.com/
估计我也不用过多介绍了,DeepSeek其设计理念为在保证实用性的前提下追求极致效率,主要面向更垂直的使用场景,同时极大地降低了资源成本。
与传统指令型大模型不同,DeepSeek为推理型,这意味着你不需要在像之前一样通过设定prompt模板的方式进行提问,直接说出你的诉求DeepSeek会自行思考推理,使得输出内容更为准确优质,使用上有点像之前的AutoGPT那个项目。
但是,应该是最近网上铺天盖地的宣传,使得使用的人太多了,导致性能过载,没用几次就经常出现服务器繁忙
所幸这是咱们国内的开源模型,于是尝试本地部署一下
(注:作为业内安全从业者,这里本人认为主要根因还是因为使用请求太多,资源不足导致对账号进行限流,本篇不做深入讨论)
Ollama安装
现在想要部署一个开源模型不用像之前那样麻烦了,Ollama是一个开源模型管理工具,类似docker一样,可以通过它来下载、运行、管理开源大模型
https://ollama.com/download
这里我下载windows的,完成下载后直接安装就行
安装好之后,打开cmd
输入ollama,返回如图所示,就完成了该工具的安装。
DeepSeek R1部署
在ollama的网页中,我们搜索deepseek r1
https://ollama.com/library/deepseek-r1
这里我们就能看到各种参数版本的以及其运行的命令
我电脑一般,选择14b的参数的模型进行部署
直接输入到cmd中,通过ollama工具进行下载
ollama run deepseek-r1:14b
耐心等待下载完成
速度还是相当快的,效果也不错
API访问
当然,怎么可能一直使用命令行呢,这也太不方便了,所以ollama本身在启动的时候就自带了一个web服务
http://127.0.0.1:11434/
所运行的模型也均可以通过web服务提供的接口进行调用,这里不过多讲述,因为没必要
感兴趣参考:https://github.com/ollama/ollama/blob/main/docs/api.md
下一篇介绍一下两种可视化使用的方法,本质就是基于ollama的接口进行封装的。
原文始发于微信公众号(飞羽技术工坊):网页服务总繁忙,本地部署下DeepSeek R1
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论