DeepSeek爆火快来搭建私有ChatGPT_deepseek成为你私有化

效果非常好。

虽然整体测下来，在联网资料的RAG层面还有一些问题和

DeepSeek最近火得连OpenAI都忍不住偷偷看了一眼，心里嘀咕：“这家伙是从哪儿冒出来的？”要知道，OpenAI可是AI领域的“老大哥”，一直稳坐行业第一的位置。结果DeepSeek一出现，直接让硅谷的大佬们集体揉了揉眼睛，怀疑自己是不是看错了。 

    美国各界的反应更是让人哭笑不得。科技圈的大佬们一边喝着咖啡，一边在推特上疯狂刷屏：“DeepSeek到底是什么？为什么它的模型比我家的智能冰箱还聪明？”投资人们则忙得不可开交，一边疯狂给DeepSeek投钱，一边心里嘀咕：“这玩意儿会不会是下一个OpenAI？我可不能再错过一次机会了。”甚至连普通网友也加入了讨论：“DeepSeek是不是偷偷学了什么‘东方神秘力量’？怎么感觉它比ChatGPT还能聊。”

最后，连马斯克都忍不住发了一条推特：“DeepSeek有点意思……要不我们也搞个DeepSeek 5.0？”网友们纷纷调侃：“马斯克，你还是先把火箭发射成功再说吧！”

文章中提到的示例代码，如果你觉得有用，别忘了点赞支持哦！

近年来，人工智能的热度持续飙升，几乎成为科技、商业、学术和社会讨论的核心话题。AI也逐渐渗透到我们生活的方方面面，无处不在。

度娘AI搜索

等等，现在很多很多产品都或多或少融入了AI技术，可以说，没有AI都觉得落伍了！

AI的前景充满了机遇和挑战。它将成为推动社会进步的核心技术，彻底改变我们的工作、生活和思维方式。然而，AI的发展也需要在技术、伦理、法律和社会层面找到平衡，确保它能为全人类带来福祉。

未来，AI不仅仅是工具，更是人类智慧的延伸，帮助我们解决更多复杂问题，创造更美好的世界。

    DeepSeek都这么火了，我们也来试试用它搭建自己的ChatGPT吧！为什么需要搭建私有AI？想象一下，AI就像一位超级助手，能帮你处理各种任务。但如果你把所有秘密都告诉一个“公共助手”，难免会担心隐私泄露。这就是为什么越来越多的企业和个人选择搭建私有AI——它就像一位专属的私人助理，只为你服务，完全受你控制。私有AI的最大好处是数据安全。你可以把所有敏感信息，比如客户数据、商业机密，放心交给它，完全不用担心泄露给第三方。

    同时，私有AI还能根据你的需求量身定制，无论是行业特性还是具体任务，它都能完美适配。此外，私有AI运行在本地或私有云上，响应更快、更稳定，不会受网络波动或公有云资源限制的影响。简单来说，私有AI就像你的“私人管家”，既安全又贴心，还能随叫随到，完全不用担心隐私问题！

前期准备

    既然DeepSeek这么火那就是用它的模型来作为我们私有AI的核心数据源吧因为DeepSeek是国内的所以对于国内用户来一系列的操作步骤都非常友好赶紧上车

注册

打开DeepSeek的官网点击页面上的API接入就会跳转到登录页面

    新用户需要注册你可以使用微信扫码登录但都需要绑定手机号

申请API KEY

   调用大模型最关键的就是有对应的令牌先创建一个令牌名字最好有一定的寓意避免长时间后忘记。创建后会生成对应的KEY一定要将其复制保存到自己的资料库里后面在控制台是无法查看的

充值

    DeepSeek目前是给了500万token的免费使用具体参考官网免费使用有时效性大概1个月但也足够我们玩了。后面如果你还想要使用的话就需要充值了

充值对国内用户很友好也比较简单但需要实名认证;简单填写姓名和ID Card就可以了

下面是我充值10元后新增500万tokens

以上工作都准备好后就可以开始对接大模型了这里我们使用NodeJS搭建应用

NodeJS搭建

    调用大模型非常简单;官方给了一段简单的使用代码可以查看 DeepSeek API Docs

这里我们使用NodeJS版本的代码核心还是使用 OpenAI Node SDK 来作为基础载体然后根据提供的模型地址来响应数据

安装openai依赖

➜ npm install openai

AI初体验

将官网的代码示例复制到对应的文件中，这里创建main.js：

import OpenAI from "openai"; import { CHAT_CONFIG } from "./config.js"; const openai = new OpenAI({ ...CHAT_CONFIG, baseURL: 'https://api.deepseek.com',  }); async function main() { const completion = await openai.chat.completions.create({ messages: [{ role: "user", content: "中国有多少个省份" }], model: "deepseek-chat", }); console.log(completion.choices[0].message.content); } main();

apiKey 就是你在DeepSeek控制台创建的API KEY令牌你可能已经把它保存起来了复制一份到这里就行

上面我们简单的调整下role为user和提问的内容现在使用node运行当前文件

成功了‼️

不过上面的方式有一个明显的缺陷就是当回复的内容很长时会等很久后然后一次性展示出来。原因是因为接受的是文本类型字符串若使用流就可以通过管道不断打印请求的结果

流式响应

    使用流式响应也非常的简单这里推荐读者直接查看 OpenAI 文档因为是基于它的SDK数据接口规范来返回的所以免去了不同模型厂商接口调用的繁琐

我们来进行简单的改造

// 省略... async function main() { const completion = await openai.chat.completions.create({ messages: [{ role: "user", content: "中国有多少个省份" }], model: "deepseek-chat", stream: true, }); // 使用流的方式写入stdout管道中 for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); } } main();

运行后再来查看效果

可以看出效果已经好多了‼️

这样的方式在每次运行完后就会自动退出对于ChatGPT聊天还是不太友好基于此来稍微改造下让它变成可以不断对话的GPT

import readline from "readline"; import OpenAI from "openai"; import { CHAT_CONFIG } from "./config.js"; const openai = new OpenAI({ ...CHAT_CONFIG, }); async function generateMessage(inputText) { const completion = await openai.chat.completions.create({ messages: [{ role: "user", content: inputText }], model: "deepseek-chat", stream: true, }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); } console.log("nn以上是我的回答，请合理参考，祝您生活愉快！nn") } function bootstrap() { const rl = readline.createInterface({ input: process.stdin, output: process.stdout, }); console.log("我是一个智能助手，你可以向我提问任何问题，我将尽力回答。🌈🌈nn") rl.on("line", async (input) => {  if (input === "q") { rl.close(); return; } generateMessage(input); }); rl.on("close", () => { console.log("nBye!"); process.exit(0); }); } try { bootstrap(); } catch (error) { console.error(error); process.exit(1); }

    这里使用NodeJS提供的 readline 模块用来和终端进行交互用户每输入内容回车后程序就可以拿到用户的输入内容然后根据内容请求大模型这是整体思路

来看看效果

    到这里就可以完全模拟ChatGPT在终端进行交互式聊天了而且输出的都是markdown格式内容;这对于程序员做笔记来说非常友好相反对于大多数普通人来说这种格式还是不太友好并且使用的方式比较低端了

接下来我们就通过一些开源工具搭建一款高可用的AI多模型应用

ChatGPT大众化

     面向大众化最关键的还是更友好的客户端界面就像ChatGPT那样以对话框的形式使用并且还可以支持查看历史消息等等除此之外可以通过配置直接调用我们自己付费过的大模型是不是想着都觉得很爽

如果全部由自己手写那真的是太麻烦了幸运的是社区有很多开源的项目我们可以使用比如FastGPT、 lobe-chat、MaxKB 等等感谢强大社区感谢强大的开源‼️ 本文选择 FastGPT 来搭建整体的GPT

    FastGPT 是一个基于 OpenAI GPT 模型的高效、轻量级实现旨在为用户提供快速、低成本的自然语言处理NLP解决方案。它通常用于生成文本、对话系统、内容创作等场景支持多模型管理、内容生成、知识库管理、网页爬取等等。读者可以去官网查看更多它的信息

OrbStack

     为了方便起见这里使用docker来安装FastGPT读者机器上必须要有docker相关环境若没有推荐MacOS用户使                 用 OrbStack 客户端它相比官方的Docker Desktop轻量很多并且开源免费人一直在使用。这里对docker的安装和配置就不多说了可以前往阅读往期文章 Docker安装与配置

FastGPT配置与启动

首先就是下载官方的配置文件(查看FastGPT官方部署文档)直接执行以下命令

 ➜ curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json  ➜ curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

    此过程可能需要科读者也可以通过浏览器打开后下载到本地

执行以后会生成两个文件config.json(查看config.json详细说明)主要用来配置使用到的模型和向量库等docker-compose.yml则是整个FastGPT运行的服务集合里面包含前台界面、后台、网关、相关数据库等等

两个配置文件都可以进行定制化修改比如账号密码、大模型等等这里建议先啥都不用改直接启动服务

➜ docker compose up -d

   初次运行会拉取对应的镜像文件注意网络通畅。运行成功后可以在Orbstack中看到启动的对应容器服务

OneAPI管理模型渠道

    启动成功后使用浏览器打开 IP:3001 OneAPI添加合适的AI模型渠道(OneAPI官方教程)

首次进去登录账号密码为root/123456会提示你修改账号密码

然后点击顶部导航栏的渠道这里我们要添加的渠道为DeepSeek选择对应的类型后你可以查看OneAPI支持的渠道在模型那里会自动填充渠道默认的模型类别最后输入渠道对应的令牌(API KEY)然后保存

保存成功后可以简单的测试下是否跑的通;点击测试按钮查看效果

在FastGPT(也就是聊天界面)中请求时会带着对应的模型名称请求到OneAPI然后请求被OneAPI转发到对应的模型接口。这里是OneAPI官方的架构解释图：

需要注意的是FastGPT会根据config.json配置的模型在前台显示可用的模型默认有几个模型读者可以直接拷贝一个配置将provider、model、name改了就行。我们来添加下DeepSeek所需的模型也就是和渠道那里配置的模型对应

{ "llmModels": [ { "provider": "DeepSeek", "model": "deepseek-chat", "name": "deepseek-chat", "maxContext": 125000, "maxResponse": 32000, "quoteMaxToken": 120000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": false, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": false, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": { "temperature": 1, "max_tokens": null, "stream": false } }, { "provider": "DeepSeek", "model": "deepseek-coder", "name": "deepseek-coder", } ] }

以上配置文件并不完整，省略了其他配置只是增加了deepseek-coder和deepseek-chat两个模型配置请根据自己的config.json配置文件调整

调整配置后需要重启整体服务

➜ docker compose down ➜ docker compose up -d

FastGPT添加模型助手

模型渠道配置管理好以后我们再打开浏览器输入 IP:3000 进入FastGPT前台界面初次进去初始账号密码为 root/1234

打开 工作台 点击右上角的 新建/简易应用

然后根据提示填入模型助手应用的名字、描述模型选择我们的DeepSeek相关的模型名字会和config.json里的配置信息是一致的下拉选项即配置文件中的信息其他的如开场白、工具调用都可以适当添加

最后点击右上角的保存并发布就可以了快去试试对话吧

开始对话

点击左侧聊天进入对话界面，就可以看到刚刚创建的模型助手了

现在我们可以提个问题输入请写一篇青椒炒蛋教程

这是回答的截图效果

不过上面回答也是以字符串的形式一次性展现如果回复的内容过长就会等很长时间体验感比较差

流式响应

使用流式响应也比较简单需要修改config.json配置文件

找到对应的模型配置位置修改以下配置

{  "llmModels": [ { "provider": "DeepSeek", "model": "deepseek-chat", "name": "deepseek-chat",  "defaultConfig": { "temperature": 1, "max_tokens": null, "stream": true  } } ] }

修改后然后重启所有服务

➜ docker compose down ➜ docker compose up -d

还是上面那个例子我们再问一次：请写一篇青椒炒蛋教程

达到预期的效果‼️

除此之外还有很多配置项可以设置点这里查看 config配置说明

搭建知识库

FastGPT也支持知识库管理用户可以将一些资料作为模型参考的依据这也是私有化GPT最重要的环节这样相较于市面上的GPT我们就有了自己专属的知识库模型体系了。上传的知识库FastGPT会自己去训练建立索引并且支持多种形式、格式的知识库资源如文本、表格、网址、web站点等等强大到足够我们使用了

这里本人打算创建一个自己博客的知识库这样大模型就会首先参考我的博客文章。本来是可以使用web站点这类知识库的但他是付费功能

进入左侧 知识库 菜单点击右上角 新建/通用知识库

创建进入后点击 新建/导入然后选择 文本录入

之后可以上传本地文件也可以提供网页链接由于作者有自己的在线博客这里我选择网页链接

然后输入指定文章的链接这里我输入的是 「原型、原型链与继承 https://blog.usword.cn/frontend/js/proto-inherit.html」点击保存后就可以看到刚刚添加的知识库了

有了知识库后需要将知识库关联到某个模型助手中这里我们重新创建一个IT助手模型应用然后关联下刚刚创建的知识库博客知识库

现在打开IT助手对话框这里我输入请介绍下 原型链然后助手就参考了下知识库的内容并生成最后的结果

     总结如今，人工智能技术发展迅速，越来越多的企业和组织选择搭建自己的私有ChatGPT。私有ChatGPT不仅能像OpenAI的ChatGPT一样生成高质量的文本和进行流畅的对话，还拥有独特的优势，比如更好地保护数据隐私、支持个性化定制，以及高效稳定的运行。通过私有化部署，企业可以完全掌握自己的数据和模型，确保敏感信息不会外泄。

      同时，企业还能根据自身需求打造专属的AI助手，从而提升工作效率和用户体验。无论是通过微调现有模型，还是利用开源框架（如FastGPT、LLaMA）进行二次开发，企业都能快速搭建出适合自己的智能对话系统。总的来说，私有ChatGPT不仅能满足个性化需求，还能为数据安全和业务发展提供强有力的支持。