AI-Gateway是一款针对大语言模型的统一API接口，该接口可以用在应用程序和托管的大语言模型（LLM）之间，该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。
1、功能非常快，体积非常小；
2、跨多模型和提供商实现负载均衡；
3、支持回退以确保应用程序保持弹性；
4、默认配置下，支持自动重试；
5、可根据需要安装中间件；
6、支持多种大语言模型；
本地部署
如果你熟悉Node.js和npx的话，可以直接在本地安装和部署你自己的AI-Gateway：
npx @portkey-ai/gateway安装完成后，就可以打开浏览器并访问下列地址使用AI-Gateway了：
http://localhost:8787Cloudflare Worker部署
使用下列命令将该项目源码克隆至本地：
git clone https://github.com/portkey-ai/gateway然后安装NPM依赖：
cd gatewaynpm i
使用wrangler部署即可：
npm run deployNode.js部署
使用下列命令将该项目源码克隆至本地：
git clone https://github.com/portkey-ai/gateway然后安装NPM依赖：
cd gatewaynpm inpm run build
然后运行Node服务器：
node build/start-server.jsDocker部署
广大研究人员也可以直接使用Docker来运行AI-Gateway：
docker run -d -p 8787:8787 portkeyai/gateway:latestDocker-Compose部署
使用下列命令下载Compose文件：
wget "https://raw.githubusercontent.com/Portkey-AI/gateway/main/docker-compose.yaml"然后运行Docker-Compose即可：
docker compose up -d服务当前会运行并监听8787端口。
AI-Gateway支持通过自定义配置来实现多功能路由策略，例如回退、负载均衡和自动重连等。
我们可以通过x-portkey-config Header在调用OpenAI时应用下列配置信息：
// 使用OpenAI JS SDK时const client = new OpenAI({baseURL: "http://127.0.0.1:8787", // The gateway URLdefaultHeaders: {'x-portkey-config': {.. your config here ..},}});
下面给出的样例配置会在回退至Gemini Pro之前尝试向OpenAI发送5次请求：
{"retry": { "count": 5 },"strategy": { "mode": "fallback" },"targets": [{"provider": "openai","api_key": "sk-***"},{"provider": "google","api_key": "gt5***","override_params": {"model": "gemini-pro"}}]}
下面的配置将启动负载均衡功能：
{"strategy": { "mode": "loadbalance" },"targets": [{"provider": "openai","api_key": "sk-***","weight": "0.5"},{"provider": "openai","api_key": "sk-***","weight": "0.5"}]}
下面的例子中，我们将通过AI-Gateway尝试向OpenAI发送一个Chat completions调用：
curl '127.0.0.1:8787/v1/chat/completions'-H 'x-portkey-provider: openai'-H "Authorization: Bearer $OPENAI_KEY"-H 'Content-Type: application/json'-d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'
本项目的开发与发布遵循MIT开源许可证协议。
AI-Gateway：
https://github.com/Portkey-AI/gateway
原文始发于微信公众号（FreeBuf）：AI-Gateway：一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论