低成本本地部署DeepSeek

admin 2025年4月17日22:40:35评论1 views字数 810阅读2分42秒阅读模式

原因

ChatGPT、Claude、Grok3、DeepSeek等在线AI工具虽然好用且免费,但是有无法避免的问题:

  1. 个人数据隐私无法保证,一不小心问的问题就会带上个人数据;
  2. 敏感问题不响应,如询问一些漏洞利用技巧;
  3. 网络故障,经常“请稍后再试”。 这样低成本搭建一个本地AI就是刚需。

方法

在https://ollama.com/根据自己平台下载ollama,然后在https://ollama.com/search选择自己需要的模型。低成本本地部署DeepSeek低成本本地部署DeepSeek

这里我选择了DeepSeek-r1,70B模型,因为我的电脑内存是64G对于70B来说够用。如果你的内存小(是内存条,不是硬盘),请选择7B或更小。终端直接run即可。终端直接对话,基本1~2token/s低成本本地部署DeepSeek

优化

图形界面选择cherryStudio搭建个人本地知识库,设置里选择ollama即可自动识别本地的AI,在【管理】里面添加一下,回到消息页面在标题栏改成此模型就能对话。低成本本地部署DeepSeek低成本本地部署DeepSeek

进阶

知识库

如果你有几百G甚至几百T的本地文件需要查阅,使用知识库就可以完成类似sql查询的效果。方法也很简单,设置里开启模型的嵌入式推理功能,再在聊天页面选择此知识库即可正常对话询问。低成本本地部署DeepSeek

MCP 可以理解为多个agent帮你自动联网搜索、使用各个软件操作,形成一个高度可行性的工作流。比如自动联网帮你解决问题:低成本本地部署DeepSeek

其他

尝试过多个工具,对于普通用户来说cherry studio是对于那些想在ai领域更进一步的最为简单高效的软件,值得一试。

我的PC是16核32线程64G内存,现在部署32b能达到3-5token/s。如果有一张3060以上的显卡能达到10以上,其实够用。最主要的是达到了数据可控。

性价比显卡推荐:2080Ti 22G、3080、3090 24G、4090

引用

https://docs.cherry-ai.com/advanced-basic/mcp

原文始发于微信公众号(黑灰产对抗研究):低成本本地部署DeepSeek

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年4月17日22:40:35
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   低成本本地部署DeepSeekhttps://cn-sec.com/archives/3971674.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息