最近很多人都在研究本地大模型的部署，我也来蹭个热度，其实部署方式很简单，本篇主要记录了本地部署和图形化UI工具的部署过程（我都懒得打原创标）
首先访问https://ollama.com/download下载ollama
下载完成后进行默认安装，之后任务栏里会出现托盘图标
起一个新的CMD窗口看看是否已经自动配好了环境变量
接下来确定一下本地的GPU版本，可以用一些工具如GPU-z等，我用了MATLAB自带的gpuinfo进行查看，我的GPU型号为NVIDIA RTX 3080Ti，有点老了，毕竟电脑用了好多年了已经
以下为网上找的一个适配版本的图，可以参考一下自己的GPU能够跑哪些版本的模型
如果已经可以正常使用，就可以通过以下命令进行安装，稳妥起见用了1.5b，如果用7B其实也问题不大，经测试如果让显卡能烤地瓜的话8B也能跑，别说是我说的
ollama run deepseek-r1:1.5b
安装完成后如下图，可以直接提问，且响应速度还挺快的
接下来配置一下UI，使用chatbox这个工具进行，地址为https://chatboxai.app/zh
安装完成后进行配置，首先创建OLLAMA的环境变量，确保能够访问到服务
然后再chatbox中进行配置
选择ollama的API
选择本地模型
此时已经成功连接了本地的ollama
这时候一些简单的东西在无互联网连接的情况下也能正常回答，非常流畅可以说是
内网漫游
攻守切磋如对拳
扫码获取更多精彩
出招全靠脑回路
给您拜年啦！
新的一年幸福安康
原文始发于微信公众号（魔影安全实验室）：Deepseek-R1的本地部署
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论