背景介绍
最近,国产大模型 DeepSeek
的本地部署教程在网络上热度颇高,不少人都想亲自体验一把 私人 AI 助手
的感觉。
然而,现实却很残酷
➤ 用本地精简版AI模型?就像让小学生做高考题,连简单问答都错误百出
普通用户一般选择蒸馏版 DeepSeek - R1
,其参数从 1.5B
到 70B
不等。即便如此,不同参数的蒸馏版模型对显存的要求也各有不同:
1.5B
模型:通常 4GB
左右显存即可,如一些只有核显搭配 8GB
内存的入门级设备就能运行,可进行简单基础任务。
8B
参数量:正常情况下 8
到 10GB
显存比较合适,显卡推荐 NVIDIA GTX1660
及以上。
14B 模型:需要 8GB
显存,如果是 16G
显存的电脑运行 14b
参数模型,大概需要占用 12G
显存。
32B
模型:需 18GB
显存。
70B
模型:则需要 140GB
显存,通常需要多卡并行,比如 8
张 A100 80G
显卡。
➤ 用完整版AI模型?光显卡就要买56
块4090
显卡(比买辆保时捷还贵),个人用户/中小企业根本玩不起。
DeepSeek R1
系列模型有多个版本,满血版 DeepSeek - R1
参数高达 671B
,这个版本需要专业服务器支持,普通用户基本不用考虑。
那么有没有可以用满血deekseek
且不要求硬件,且可以搭建个人知识库/公司知识库的方法嘛?
有的兄弟,有的!
满血版且不要求硬件的方案:硅基流动 + Cherry Studio
硅基流动
硅基流动是一家专注于生成式AI
云服务平台的公司,致力于提供高性价比的GenAI
云服务。其核心产品是SiliconFlow
平台,该平台支持文本对话、图像生成、视频生成和语音合成等功能。新用户注册即可获得2000万Tokens
,方便地进行各种智能操作。
硅基流动注册链接:
https://cloud.siliconflow.cn/i/6srT4AvQ
填写邀请码:6srT4AvQ(填邀请码才有2000万的tokens)
自行注册即可,模型广场里面有不同类型的ai,就是ai版本的淘宝,可以自行在线体验,本次使用的是硅基的api,模型广场不做过多介绍
创建一个自己的api
密钥,点击密钥即可复制,复制下来之后有用。
Cherry Studio
Cherry Studio是一款面向专业用户的多模型桌面客户端,旨在提供高效、便捷的AI交互体验。它支持Windows
和macOS
系统,未来还将拓展至移动平台。Cheery Studio
内置了30
多个行业的智能助手,集成超过300
个大语言模型,用户可以根据任务需求自由切换模型。平台支持多模态交互,包括文本、语音和图片输入,还提供AI
助手功能,帮助用户更高效地完成任务。此外,Cheery Studio
通过RAG
知识库增强问答功能,支持多源数据整合和语义检索优化,让复杂任务的处理变得更加简单。
下载地址:
https://cherry-ai.com
下载完成后,首先点击设置,将硅基流动的api
密钥复制上去,并且检查,看是否可以成功利用,如果显示403
,401
等建议重新生成一次密钥。
连接成功后,往下拉有个管理
可以自行选用要调用的模型服务,这里我选择的pro
版本的deepseekR1
和v3
个人知识库配置
点击知识库,使用自己的笔记喂给ai
,经过测试,2G
多的文档,大概也就传了两分钟,还是挺快的
可以点击搜索知识库,看看是否成功导入
之后返回主界面:
选择你刚刚创建的知识库,就可以开始愉快的使用啦
ai会根据你喂的数据回答问题,并且给出用到的文档
原文始发于微信公众号(momo安全):利用deepseek打造个人知识库(满血版不要求硬件)
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论