最近很多人都在研究本地大模型的部署,我也来蹭个热度,其实部署方式很简单,本篇主要记录了本地部署和图形化UI工具的部署过程(我都懒得打原创标)
首先访问https://ollama.com/download下载ollama
下载完成后进行默认安装,之后任务栏里会出现托盘图标
起一个新的CMD窗口看看是否已经自动配好了环境变量
接下来确定一下本地的GPU版本,可以用一些工具如GPU-z等,我用了MATLAB自带的gpuinfo进行查看,我的GPU型号为NVIDIA RTX 3080Ti,有点老了,毕竟电脑用了好多年了已经
以下为网上找的一个适配版本的图,可以参考一下自己的GPU能够跑哪些版本的模型
如果已经可以正常使用,就可以通过以下命令进行安装,稳妥起见用了1.5b,如果用7B其实也问题不大,经测试如果让显卡能烤地瓜的话8B也能跑,别说是我说的
ollama run deepseek-r1:1.5b
安装完成后如下图,可以直接提问,且响应速度还挺快的
接下来配置一下UI,使用chatbox这个工具进行,地址为https://chatboxai.app/zh
安装完成后进行配置,首先创建OLLAMA的环境变量,确保能够访问到服务
然后再chatbox中进行配置
选择ollama的API
选择本地模型
此时已经成功连接了本地的ollama
这时候一些简单的东西在无互联网连接的情况下也能正常回答,非常流畅可以说是
内网漫游
攻守切磋如对拳
扫码获取更多精彩
出招全靠脑回路
给您拜年啦!
新的一年幸福安康
原文始发于微信公众号(魔影安全实验室):Deepseek-R1的本地部署
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论