[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

admin 2025年2月14日16:23:07评论8 views字数 2436阅读8分7秒阅读模式

    首先,DeepSeek是最近很热门的AI语言模型,虽然互联网上已经有很多同类的教程,但是还是想在这里写一篇作为记录,也同时分享给大家食用,感谢各位的点赞和平台的推流。

由于其开源的特性,使用者都可以将指定的模型下载到自己的电脑并且部属专属自己的本机AI资料库

本次的教学会介绍该如何使用DeepSeek在自己的电脑内建私人资料库

即便不懂电脑也能轻松创建

文章大钢

一、安装 Ollama

二、下载 DeepSeek

三、下载 AnythingLLM

四、设定 AnythingLLM

五、开始聊天

一、安装 Ollama

Ollama 是一个开源的本地大型语言模型(LLM)运行框架,用于简化在本地环境中运行和管理大型语言模型的过程

它支援多种开源模型,如 Llama 3、Phi 3、Mistral 和 Gemma 等,并可在 macOS、Linux 和 Windows 等多种作业系统上运行

而这次我们就是要靠Ollama来管理DeepSeek的语言模型

下载方式很简单,我们到Ollama官网来进行下载

找到自己使用的操作系统直接下载并安装就完成了

Ollama官网:https://ollama.com/

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,
[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,
[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

二、下载 DeepSeek

当Ollama安装完成后,Windows可以在右下角看到这只可爱的羊驼符号

这样就代表Ollama有成功运行了

接下来开启命令行提示字节,并执行安装命令

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

下面是使用Ollama安装DeepSeek语言模型的程式代码

可以根据你的显示卡来决定要安装哪一种版本

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

分平台配置建议

以下按模型规模和平台分类,提供 最低配置 和 推荐配置

1.5B 模型

平台

最低配置

推荐配置

Windows

- CPU: Intel i5 / Ryzen 5

- CPU: Intel i7 / Ryzen 7

- RAM: 8GB

- RAM: 16GB

- GPU: NVIDIA GTX 1650 (4GB)

- GPU: RTX 3060 (12GB)

macOS

- M1/M2 芯片(8GB 统一内存)

- M1 Pro/Max 或 M3 芯片(16GB+)

Linux

- CPU: 4 核

- CPU: 8 核

- RAM: 8GB

- RAM: 16GB

- GPU: NVIDIA T4 (16GB)

- GPU: RTX 3090 (24GB)

7B/8B 模型

平台

最低配置

推荐配置

Windows

- CPU: Intel i7 / Ryzen 7

- CPU: Intel i9 / Ryzen 9

- RAM: 16GB

- RAM: 32GB

- GPU: RTX 3060 (12GB)

- GPU: RTX 4090 (24GB)

macOS

- M2 Pro/Max(32GB 统一内存)

- M3 Max(64GB+ 统一内存)

Linux

- CPU: 8 核

- CPU: 12 核

- RAM: 32GB

- RAM: 64GB

- GPU: RTX 3090 (24GB)

- 多卡(如 2x RTX 4090)

14B 模型

平台

最低配置

推荐配置

Windows

- GPU: RTX 3090 (24GB)

- GPU: RTX 4090 + 量化优化

- RAM: 32GB

- RAM: 64GB

macOS

- M3 Max(64GB+ 统一内存)

- 仅限量化版本,性能受限

Linux

- GPU: 2x RTX 3090(通过 NVLink)

- 多卡(如 2x RTX 4090 48GB)

- RAM: 64GB

- RAM: 128GB

32B 模型

平台

最低配置

推荐配置

Windows

- 不推荐(显存不足)

- 需企业级 GPU(如 RTX 6000 Ada)

macOS

- 无法本地部署(硬件限制)

- 云 API 调用

Linux

- GPU: 4x RTX 4090(48GB 显存)

- 专业卡(如 NVIDIA A100 80GB)

- RAM: 128GB

- RAM: 256GB + PCIe 4.0 SSD

平台差异说明

  1. Windows
    • 依赖 CUDA 和 NVIDIA 驱动,推荐使用 RTX 30/40 系列。
    • 大模型(14B+)需借助量化或模型分片技术。
  2. macOS
    • 仅限 Apple Silicon 芯片(M1/M2/M3),依赖 Metal 加速。
    • 模型规模超过 14B 时性能显著下降,建议量化或云端部署。
  3. Linux
    • 支持多 GPU 扩展和高效资源管理(如 NVIDIA Docker)。
    • 适合部署大型模型(14B+),需专业级硬件。

注意事项

  • 量化优化
    :使用 4-bit/8-bit 量化可大幅降低显存需求(如bitsandbytes[6])。
  • 框架支持
    :优先选择优化好的库(如 vLLM、DeepSpeed、HuggingFace)。
  • 散热
    :长时间推理需确保散热(建议风冷/水冷)。

建议根据实际需求选择硬件,并优先在 Linux 环境下部署大模型。

三、下载 AnythingLLM

官方版本:https://anythingllm.com/

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

最后则是安装AnythingLLM来当作我们的可视化操作介面

AnythingLLM 是由 Mintplex Labs 开发的开源全栈应用程式

可以协助使用者在本地或云端环境中,轻松部署和管理大型语言模型(LLM)以及相关的向量资料库

下载方式很简单,点击「Download for desktop」之后

一样选择作业系统版本下载档案,再进行安装即可

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

四、设定 AnythingLLM

安装完成后的画面

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

点击「Get started」后,前面的设定我们都能先点击向右的箭头来跳过

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

来到这边帮自己的工作区命名

取名的部分可以随意

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

设定完名称后,就可以看到我们的聊天界面了

这时候左边就是我们的工作区与聊天纪录

将鼠标移动到工作区上面,可以看到右边有一个齿轮的按钮

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

点击后,来到「对话设定」,这时候就要选我们工作区的LLM提供者

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

找到Ollama,并选择刚刚我们下载好的模型就可以了

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,
[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

之后要记得要到下方点击「Update workspace」才有完成设定的更新哦

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

五、开始聊天

在前面的设定都完成以后,现在就能直接跟你部属的AI聊天了

由于DeepSeek是直接下载到本机的语言模型

所以也不需要网络就能直接使用

后续延伸就可以建置不同的工作区域,提供指定的资料数据

让AI成为我们私人的资料管理员

[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

感谢阅读!你们的点赞关注转发是我继续创作得动力

原文始发于微信公众号(像梦又似花):[多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年2月14日16:23:07
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   [多图预警]建立私人的AI资料库,Deepseek系列:教你自己如何在电脑本地安装,https://cn-sec.com/archives/3741306.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息