DeepSeek 春节前后火了一段时间,原本想本地部署,试试用来做代码审计或者流量分析,一直忙于拜年和相亲没时间搞,假期最后一天想做一下,发现已经有人做了一些工具。懒得做的,直接拿来用。
今天就水一篇文章,发个deepSeek本地化部署的步骤给小白看看。
环境说明:
本地电脑要有独显,大多数人都是windows系统+英伟达显卡
演示环境Windows 11系统+4060显卡+Python 11.9的环境(Python版本最好选择11-12)
查看CUDA版本
nvidia-smi
如果没有上面的CUDA就需要安装CUDA
CUDA安装
下载地址:
https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local
双击运行,直接点下一步即可
Ollama下载
https://ollama.com/download
可以直接点击应用程序,一直默认安装。也可自定义安装,这里演示一下自定义安装。
打开cmd,自定义安装命令:
OllamaSetup.exe /DIR="C:SoftOllama"
点击Install
自定义模型存储路径
添加系统变量:
变量名:OLLAMA_MODELS
变量值:目标路径(如 C:SoftOllama)。
然后重启即可生效。
Ollama默认安装位置:
C:Users<username>AppDataLocalProgramsOllama
模型存储路径:
C:Users<username>.ollamamodels
此时cmd窗口中输入ollama即可查看相关命令
查看本地模型
ollams list
windows安装是默认启动ollama的。
我们可以直接运行本地模型,如果本地没有这个模型,会自动下载
ollama run deepseek-r1:8b
使用Web界面
pip install open-webui
默认启动
open-webui serve
这种方式默认访问方式为:127.0.0.1:8080
因为8080端口,经常被其他程序占用,可指定端口启动,host参数表示监听主机,设置为0.0.0.0,则同一个局域网下外部可访问。如果是部署在公网服务器,则公网可访问
open-webui serve --host 0.0.0.0 --port 8090
另外,正常情况下,运行过程中好像并没有消耗太多的CPU ,内存资源。甚至GPU资源也没有消耗,估计是没有进行推理,做大量运算吧,还不知怎么回事,回头再研究。
原文始发于微信公众号(网络安全透视镜):DeepSeek 本地部署
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论