DeepSeek+本地知识库 = 离线安全专家

使用ollama deepseek r1 +nomic-embed-text + anythingllm + 本地知识库 喂出一个离线网络安全专家

一、下载Ollama

使用Ollama可以大大降低显存需求，消费级的显卡也能运行大模型，官网下载安装即可：https://ollama.com/download

安装 之后状态栏：

二、安装DeepSeek-R1模型

进入Ollama官网，找到Models标签

根据自己的喜好和主机性能选择模型，这里用最近爆火的deepseek

这里以 8b 为例

复制下命令后，直接本地cmd运行即可

（不挂代理下载会很慢）

下载完成后直接进入了cmd的对话进程

下次运行，直接在cmd里面启动就好了

Ollama模型的默认存储目录：

C:Users用户名.ollama

C盘不够，可以更改模型存储位置：

设置环境变量OLLAMA_MODELS
E:aiollamamodels

三、安装AnythingLLM

下载地址：

https://anythingllm.com/download

默认安装路径

C:Users用户AppDataLocalProgramsAnythingLLM

安装完成后，启动会进入自动引导界面，跟着界面一步步来：

这里选择Ollama

用我们刚刚下载的 DeepSeek-R1:8b 大模型

一直下一步，然后为工作区起个名字

然后即可创建成功

然后进行一些设置

LLM首选项

这里之前安装的时候已经设置了

向量数据库

向量数据库不用动即可，使用自带的（ps:如果没有选择安装目录，默认在c盘，如果后续有需要可以挪走）

Embedder首选项

嵌入模型配置，可以使用自带的

也可以通过 Ollama 使用 nomic-embed-text 作为 Embedder （本例使用这个）

ollama pull nomic-embed-text

“Max Embedding Chunk Length” ，定义了在将文本分割成多个块（Chunk）时，每个块的最大长度，数字越小代表文本文件会被切分的更加细致。最好改为128～512之间，这里设置为512

这是DeepSeek 给出的两者的对比：

文件相似度阈值

最后在当前聊天的设置中将“文档相似性阈值”：

这个可以根据实际搜索的内容与知识库的相关性灵活性设置（这里设置为高）

四、投喂文档&使用

首先点击上传按钮：

支持多种类型的文档，直接拖进来即可（支持直接把文件夹丢过去）

最下方支持网址提交，当你输入网址后，点击“Fetch Website”按钮，爬虫就会对指定的网址内容进行爬取。

拖进来之后，全部选中，接着点击“Move to Workspace”，将所有文件移入我们的WorkSpace：

最后点击“Save and Embed”按钮等待完成

完成后，返回聊天框，就可以在AnythingLLM中进行基于检索增强生成（RAG）的聊天或问答了

效果：