前言
现在deepseek时常用不了,服务器繁忙,另外就是很多朋友想在本地搭建自己的知识库,不想让自己的资料外泄,同时针对自身工作高度定制化。
所以很多人想在本地部署DeepSeek,但很担心技术难度?其实一点都不难
别担心,我为你扫清障碍!从环境搭建到模型运行,每一步都详细拆解,即使是零基础也能轻松上手的!
首先先看环境:
个人推荐7B,通过个人感觉已经足够使用了
------------------------------------------------------------------
环境要求
1. DeepSeek-R1-1.5B
CPU: 最低 4 核(推荐 Intel/AMD 多核处理器)
内存: 8GB+
硬盘: 3GB+ 存储空间(模型文件约 1.5-2GB)
显卡: 非必需(纯 CPU 推理),若 GPU 加速可选 4GB+ 显存(如 GTX 1650)
场景:
低资源设备部署(如树莓派、旧款笔记本)
实时文本生成(聊天机器人、简单问答)
嵌入式系统或物联网设备
2. DeepSeek-R1-7B
CPU: 8 核以上(推荐现代多核 CPU)
内存: 16GB+
硬盘: 8GB+(模型文件约 4-5GB)
显卡: 推荐 8GB+ 显存(如 RTX 3070/4060)
场景:
本地开发测试(中小型企业)
中等复杂度 NLP 任务(文本摘要、翻译)
轻量级多轮对话系统
3. DeepSeek-R1-8B
硬件需求: 与 7B 相近,略高 10-20%
场景:
需更高精度的轻量级任务(如代码生成、逻辑推理)
4. DeepSeek-R1-14B
CPU: 12 核以上
内存: 32GB+
硬盘: 15GB+
显卡: 16GB+ 显存(如 RTX 4090 或 A5000)
场景:
企业级复杂任务(合同分析、报告生成)
长文本理解与生成(书籍/论文辅助写作)
5. DeepSeek-R1-32B
CPU: 16 核以上(如 AMD Ryzen 9 或 Intel i9)
内存: 64GB+
硬盘: 30GB+
显卡: 24GB+ 显存(如 A100 40GB 或双卡 RTX 3090)
场景:
高精度专业领域任务(医疗/法律咨询)
多模态任务预处理(需结合其他框架)
6. DeepSeek-R1-70B
CPU: 32 核以上(服务器级 CPU)
内存: 128GB+
硬盘: 70GB+
显卡: 多卡并行(如 2x A100 80GB 或 4x RTX 4090)
场景:
科研机构/大型企业(金融预测、大规模数据分析)
高复杂度生成任务(创意写作、算法设计)
7. DeepSeek-R1-671B
CPU: 64 核以上(服务器集群)
内存: 512GB+
硬盘: 300GB+
显卡: 多节点分布式训练(如 8x A100/H100)
场景:
国家级/超大规模 AI 研究(如气候建模、基因组分析)
通用人工智能(AGI)探索
搭建教程
主要分2步:
第一步:安装ollama(打开官网)
首先进入 ollama 官网 https://ollama.com/
然后点击download,选择本地电脑对应的版本
下载后进行安装。
注意:安装时默认使用C盘,确保你的C盘有足够多的空间可以安装 ollama 及后续的大模型,建议C盘空间 ≥ 12 G ge 12G≥12G
由于Ollama的exe安装软件双击安装的时候默认是在C盘,以及后续的模型数据下载也在C盘,导致会占用C盘空间,所以我们需要在我们需要安装的磁盘内创建相关的文件夹。
首先在你想安装的路径下创建好一个新文件夹,并把Olama的安装包放在里面。比如我的是:E:xxxxOllama
输入命令符安装
然后在CMD窗口输入:
OllamaSetup.exe /DIR=E:xxxxOllama
语法:软件名称 /DIR=这里放你上面创建好的Olama指定目录
下载后的模型在OLLAMA_MODELS :E:xxxxOllamamodels 上
安装后在电脑开始页面启动 ollama,然后查看任务栏,有 ollama 图标意味着 ollama已经启动。
安装完成后,打开ollama
启动管理员程序
直接下载/运行deepseek,我这里参数选择的7b,在终端窗口运行下面命令:
ollama run deepseek-r1:7b
等待安装完成后
这里就直接可以和DeepSeek对话了:
第二步:安装Chatbox AI(打开官网)
Chatbox官方网站:
·https://chatboxai.app/en
OK!这样你就得到了一个个人ai,它会完全符合你的个人工作需求。
功能拓展
1.浏览器辅助搜索,知识拓展(本地AI联网)
固定
最后,配置,即可使用
2.个人知识库搭建
基于Ollama + AnythingLLM搭建本地知识库问答
实现数据投喂训练AI,需要下载nomic-embed-text和安装AnythingLLM。
下载nomic-embed-text:
在终端输入ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型。
安装AnythingLLM:
进入官网,选择对应系统版本的安装包进行下载
然后就是下一步下一步
点击【设置】,里面可以设置模型、界面显示语言等。
在软件设置里面,LLM首选项界面,提供商选择Ollama,Ollama Model选择你前面下载的DeepSeek-R1系列模型1.5b~671b,然后点击Save changes。(一定要记得保存)
在Embedder首选项界面,嵌入引擎提供商选择Ollama,Ollama Embedding Mode选择【nomic-embed-text】,然后点击保存更改。
点击【工作区设置】,点击聊天设置,工作区LLM提供者选择【Ollama】,工作区聊天模型选择【deepseek-r1】模型,然后点击【Update workspace agent】。
这里点击上传就可以开始投喂数据了
效果对比:
喂数据后明显比之前回答得好,但是这里建议使用txt来做。
3.本地API调用联网(代码案例)
import requests
from bs4 import BeautifulSoup
import re
import pandas as pd
def query_llm(prompt):
url = "http://127.0.0.1:11434/api/generate"
data = {
"model": "deepseek-r1:7b",
"prompt": prompt,
"stream": False
}
response = requests.post(url, json=data)
if response.status_code == 200:
result = response.json()
if 'response' in result:
# 提取搜索关键词
start_index = result['response'].find('“') + 1
end_index = result['response'].find('”', start_index)
if start_index > 0 and end_index > start_index:
keyword = result['response'][start_index:end_index]
print(f"本地 AI 生成的搜索关键词: {keyword}")
return keyword
else:
print("未从本地 AI 响应中提取到有效的搜索关键词")
else:
raise Exception("Ollama 返回的数据中没有 'response' 字段")
else:
raise Exception(f"请求失败,状态码: {response.status_code}")
def get_real_url(v_url, headers):
try:
r = requests.get(v_url, headers=headers, allow_redirects=False)
if r.status_code == 302:
real_url = r.headers.get('Location')
else:
real_url = re.findall("URL='(.*?)'", r.text)[0]
print('real_url is:', real_url)
return real_url
except Exception as e:
print(f"获取真实链接时出错: {e}")
return '未找到真实的链接'
if __name__ == "__main__":
llm_prompt = "生成一个向百度查询今天日期的搜索关键词"
keyword = query_llm(llm_prompt)
if not keyword:
print("无法获取有效的搜索关键词,程序终止。")
exit()
result_per_page = 10
total_pages = 5 # 只爬取前 5 页
page_got = 0
num = 0
data = []
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
while num < total_pages:
index = num * result_per_page
url = f"https://www.baidu.com/s?wd={keyword}&pn={index}"
try:
response = requests.get(url, headers=headers)
原文始发于微信公众号(硅步security):Deepseek搭建教程【含知识库搭建、联网教程】
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论