昨天发布的在线形式的DeepSeek R1 后台好多人留言说没办法白嫖了,这点我很抱歉,可能太火爆了 我们可以等待一下 让看看腾讯后续是否补货。 今天特意想了下还是一次性说明白 我们也可以自己本地搭建 所以,再给各位分享一个本地搭建 过程比较简单也很容易。前提是你的显卡够大 ,不过没有的话 也没关系 也可以用cpu凑合跑 我们先掌握它的使用再去结合实际去看是否需要自己去买显卡或者别的另说 这里不说具体需要多大的 我的显卡是一张4G的垃圾显卡 勉强能跑7b
下载后可以一键安装 注意他是默认安装在c盘的 模型也是下载到c盘
网上有说如何更改其他地方安装,大概就是修改安装参数 以及修改模型的地址 和环境变量 这个百度有。
比如安装在d盘 只需要把安装文件拷贝到d盘 然后用cmd 到该目录下 执行如下命令 他会自动打开软件 你在点install 就是安装到指定盘符了
OllamaSetup.exe /DIR=D:ollama
然后你点击一下 就会弹出一个PowerShell 表示我们已经安装完成了
安装完成后我们开始给他拉取模型 我把所有模型拉取都发出来(如果没有修改模型拉取位置的话 默认还是c盘的用户下面的.ollama里面的模型文件夹下哦 这个需要修改变量)
1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
8B Llama DeepSeek R1
ollama run deepseek-r1:8b
14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
70B Llama DeepSeek R1
ollama run deepseek-r1:70b
我4g显卡 所以可以下载7b 只能勉强哈 如果要流畅还是至少8G咯 后面的14b 就大概是16g 反正就是显卡越大越好咯。
这里拿1.5b拉取了。 对了速度慢的话 得自己想办法解决网络环境哦
下载完成以后 我们就能使用了,这里同样与上期的内容是一样的,只是一个云端部署 一个本地部署而已
开源社区地址 https://github.com/Mintplex-Labs/anything-llm
官网地址:https://anythingllm.com/
安装我们就不写了 我们只要来展示下他的模型能应用到什么位置
先试试anything-llm 安装完按成后,我们需要配置一下。新建一个工作区
注意 也可以联网模式哦 在代理里面可以指定搜索引擎就可以了。
更多软件使用技巧需要结合模型以及软件,自己去探索。这里只是教大家搭建以及必要演示。
由于我们本地搭建的,我们甚至还可以利用它来结合大名鼎鼎的 cline 来实现我们的ai编程。可以让我们不懂编程的人 也能了解编程。
vscode 里面下载cline 插件 进去配置 选择对应模型就好了 注意看红色部分文字的提示
可以看出来 他确实在运行了。 而且也开始分析项目了。
大概过程就是这样了 省去了部分人的烦恼,我的发这个的意思是 我们先学会搭建 使用 再考虑配置等问题。如果一开始就考虑买什么显卡 用什么电脑等等 那你将陷入一个无限的循环当中 我认为所有事情成功的第一步都是先做起来。而不是所谓的先把东西准备齐全。俗话说得好 “差生文具多” 等你准备再完善也不一定会 不如我们先从最简单的开始。我分享东西一直都是这个理念!
特别声明:
由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,我不为此承担任何责任。
作者有对此文章的修改和解释权。如欲转载或传播此文章,必须保证此文章的完整性,包括版权声明等全部内容。未经作者的允许,不得任意修改或者增减此文章内容,不得以任何方式将其用于商业目的。切勿用于非法,仅供学习参考
我不会渗透,我们随缘再见!
原文始发于微信公众号(深夜笔记本):五分钟搭建 DeepSeek R1 +Ollama 本地化 打造自己的私私有化AI知识库
评论