私有化部署DeepSeek
一、安装ollama
Ollama 是一个用于在本地运行和管理大型语言模型(LLMs)的工具。它让你可以在本地轻松下载、运行和管理各种开源 AI 模型,比如 LLaMA、Mistral、Gemma 等,而不需要依赖云服务。
官网:https://ollama.com/
1、下载并安装ollama客户端
访问http://127.0.0.1:11434/显示:Ollama is running代表安装成功。
2、根据个人电脑的实际配置,选择合适的DeepSeek模型进行部署,推荐安装1.5B或者7B模型。
各个模型版本需求的显卡档次大致如下
二、私有化部署DeepSeek
1.运行命令安装deepseek-r1:7b模型,下载的时候可能由于网络原因会卡住,不用担心ctrl+c停止后,再次运行会继续之前的下载。
ollama run deepseek-r1:7b
2.常用命令
ollama serve //启动 Ollma服务
ollama pull//拉取模型
ollama run//运行模型
ollama list //查看已下载的模型
ollama ps //查看正在运行的模型
ollama stop//停止运行的模型
三、安装chatbox
官网:https://chatboxai.app/zh#download
1.安装完成后点击设置,添加我们部署的本地模型。
2.对话聊天
IEDA接入DeepSeek
1.首先IDEA下载安装Continue插件。
Continue插件是一款专为IDEA设计的开源AI助手插件,可以接入大模型与代码进行自然语言的交互,提升开发效率。
2.添加本地模型
3.选择deepseek:7b进行对话
原文始发于微信公众号(Panda安全):私有化部署DeepSeek+IDEA代码审计保姆级教程
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论