【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

admin 2025年2月18日15:32:23评论18 views字数 2578阅读8分35秒阅读模式

免责申明

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南
【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

本公众号的技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失,均由使用者本人负责。本文所提供的工具仅用于学习

,禁止用于其他!!!

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南
【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

部署架构概述

接下来,我们将一步步完成通过 Ollama、DeepSeek R1 与 AnythingLLM 搭建高效本地知识库系统的过程,系统中的每个组件都至关重要。

1. DeepSeek R1:作为语言理解领域的 “新秀”,DeepSeek 专注于前沿人工智能技术研发,其开源的 R1版本在逻辑推理和处理复杂自然语言任务方面表现出色。凭借优秀的语言能力,它成为构建知识库的核心引擎。2. Ollama:这是一款专为本地运行大模型设计的工具,提供简单直观的命令行界面,拉取、运行和管理不同语言模型都变得轻松便捷,无需繁琐配置或高昂的云计算成本。用户能快速切换模型,满足多样化应用场景的需求。3. AnythingLLM:主要侧重于知识管理和问答交互,通过桌面客户端把各类文档、网页和数据库等非结构化数据整合为可查询的知识图谱。它能准确理解用户提问,并从知识库中精准检索出答案,实现高质量的智能问答。

本系统整体架构由 Ollama、DeepSeek R1 和 AnythingLLM 三部分构成,各模块协同工作,形成完整的本地知识库:

1. 预备阶段:确认系统环境符合要求,安装 Ollama、DeepSeek R1 模型以及 AnythingLLM 客户端。2. 数据导入:整理待收录的文本资料,借助 AnythingLLM 构建知识图谱。3. 模型连接:利用 Ollama 启动 DeepSeek R1模型,并将其与 AnythingLLM 对接,实现语言处理与知识管理的无缝衔接。** 4. 测试优化**:通过多轮问答测试,对系统参数和知识库内容进行微调,不断提升问答准确率和响应速度。

当前环境

操作系统参数如下:

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

操作系统:支持 MacOS、Linux 与 Windows 。硬件配置建议:

模型规模 CPU 最低要求 内存建议 硬盘空间 显卡推荐 适用场景
1.5B
4 核以上
8GB 及以上
3GB+
4GB+(可选)
低资源设备部署
7B
8 核以上
16GB 及以上
8GB+
8GB+
本地开发和测试
8B
同 7B
同上
同上
同上
轻量级高精度任务
14B
12 核以上
32GB 及以上
15GB+
16GB+
企业级复杂任务
32B
16 核以上
64GB 及以上
30GB+
24GB+
专业领域高精度任务
70B
32 核以上
128GB 及以上
70GB+
多卡并行
科研机构复杂生成任务

提示:GPU 并非必需,但使用 GPU 能获得更佳性能,详细信息可参考 Ollama GPU 支持列表。

安装Ollama

Ollama 是一个开源的大型语言模型(LLM)平台,专注于让用户在本地轻松运行、管理和与大型语言模型交互。

官网:`https://ollama.com/download`

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南选择windows下载,可以根据自己的操作系统下载对应的ollama一定要选择windows10或者更高版本,要不然无法安装等待下载【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南下载完成后直接安装。点击OllamaSetup.exe文件。等待安装【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南在命令行终端执行ollama -v命令获取ollama的版本信息当前版本为0.5.11,证明已安装成功【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南还有一种方式验证,访问API接口

http://127.0.0.1:11434
【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

部署DeepSeek-R1模型

可以根据自己设备性能选择对应的模型版本本次选择7b模型

ollama run deepseek-r1:7b
【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南
注意:下载过程受网络速度影响,请耐心等待。

如果显示success,就代表已经部署成功。【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南启动交互式对话,例如输入“你是谁”:

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

部署AnythingLLM

AnythingLLM 是 mintplexlabs 推出的全栈 AI 应用程序,可作为桌面应用或 Docker 应用。旨在帮助用户将各种文档、资源等转换为背景信息,供大型语言模型在聊天时使用。

下载链接:
https://docs.anythingllm.com/installation-desktop/windows#install-using-the-installation-file

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南下载完成后运行安装文件可以根据文档内容的步骤进行安装(一键式下一步安装)安装期间,会自动下载安装一些组件【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南安装成功【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

配置AnythingLLM+Ollama

配置LLM首选项,这里只需要选择LLM提供商和对应的模型【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南向量数据库可以不配置。(ps:如果没有选择安装目录,默认在c盘)【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南嵌入模型配置,可以使用自带的。我这里使用的是 nomic-embed-text 作为 Embedder

ollama pull nomic-embed-text

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

“Max Embedding Chunk Length”定义了在将文本分割成多个块(Chunk)时,每个块的最大长度,数字越小代表文本文件会被切分的更加细致。最好改为128~512之间

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南配置完成后就可以开始使用

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

知识投喂+训练创建知识库

在构建知识库前,需准备好相关文档(如 txt、pdf、doc 格式)。将感兴趣的技术文档、论文或报告整理好后,通过 AnythingLLM 创建新的工作区,并上传文件。上传后点击 “Save and Embed”,系统会自动解析并嵌入文档内容,供后续问答使用。

点击图标上传【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南这里上传高项的第五章知识点。【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

  • 选择文档点击 “Move to Workspace”

  • 点击 “Save and Embed”

  • 出现 “Workspace updated successfully.”

上传成功后,进行一次对比。

投喂前

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

投喂后

从结果来看,进行投喂训练后,回答数据更加的精准。

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

在线数据源添加

可以通过数据连接器直接获取解析网络内容,例如GitHub、Youtube、或者抓取网站内容,等待抓取网站内容结束后,添加到工作区,可以直接引用抓取的数据来生成回答内容。

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

结论

通过整合 Ollama、DeepSeek R1 和 AnythingLLM,你可以在本地构建一个高效且安全的知识库,轻松实现智能问答、文档处理等多种功能,满足个性化和专业化的需求。

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

关注公众号

【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

扫码关注

小C学安全

获取更多精彩资讯

原文始发于微信公众号(小C学安全):【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年2月18日15:32:23
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   【技术前沿】五分钟打造你的专属 AI 助手:Ollama + DeepSeek R1 + AnythingLLM 完整整合指南https://cn-sec.com/archives/3756374.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息