DeepSeek 本地部署

admin 2025年2月5日23:49:37评论21 views字数 1116阅读3分43秒阅读模式

DeepSeek 春节前后火了一段时间,原本想本地部署,试试用来做代码审计或者流量分析,一直忙于拜年和相亲没时间搞,假期最后一天想做一下,发现已经有人做了一些工具。懒得做的,直接拿来用。

今天就水一篇文章,发个deepSeek本地化部署的步骤给小白看看。

环境说明:

本地电脑要有独显,大多数人都是windows系统+英伟达显卡

演示环境Windows 11系统+4060显卡+Python 11.9的环境(Python版本最好选择11-12)

查看CUDA版本

nvidia-smi

DeepSeek 本地部署

如果没有上面的CUDA就需要安装CUDA

CUDA安装

下载地址:

https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

双击运行,直接点下一步即可

DeepSeek 本地部署

Ollama下载

https://ollama.com/download

可以直接点击应用程序,一直默认安装。也可自定义安装,这里演示一下自定义安装。

打开cmd,自定义安装命令:

OllamaSetup.exe /DIR="C:SoftOllama"

DeepSeek 本地部署

点击Install

DeepSeek 本地部署

自定义模型存储路径

添加系统变量:

变量名:OLLAMA_MODELS

变量值:目标路径(如 C:SoftOllama)。

DeepSeek 本地部署

然后重启即可生效。

Ollama默认安装位置:

C:Users<username>AppDataLocalProgramsOllama

模型存储路径:

C:Users<username>.ollamamodels

此时cmd窗口中输入ollama即可查看相关命令

DeepSeek 本地部署

查看本地模型

ollams list

DeepSeek 本地部署

windows安装是默认启动ollama的。

我们可以直接运行本地模型,如果本地没有这个模型,会自动下载

ollama run deepseek-r1:8b

DeepSeek 本地部署

使用Web界面

pip install open-webui

默认启动

open-webui serve

这种方式默认访问方式为:127.0.0.1:8080

因为8080端口,经常被其他程序占用,可指定端口启动,host参数表示监听主机,设置为0.0.0.0,则同一个局域网下外部可访问。如果是部署在公网服务器,则公网可访问

open-webui serve --host 0.0.0.0 --port 8090

DeepSeek 本地部署

DeepSeek 本地部署

另外,正常情况下,运行过程中好像并没有消耗太多的CPU ,内存资源。甚至GPU资源也没有消耗,估计是没有进行推理,做大量运算吧,还不知怎么回事,回头再研究。

DeepSeek 本地部署

原文始发于微信公众号(网络安全透视镜):DeepSeek 本地部署

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年2月5日23:49:37
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   DeepSeek 本地部署https://cn-sec.com/archives/3699073.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息