[AI应用] 推荐一款智能密钥轮询的多渠道AI代理应用

GPT-Load是一款高性能、企业级的AI接口透明代理服务，专为需要接入多种AI服务的企业和开发者设计。它由Go语言开发，核心理念是 “透明代理 + 零接口改动” ——用户以OpenAI API的方式发送请求，GPT‑Load完全保留请求格式并路由至目标服务，包括OpenAI、Azure OpenAI、Google Gemini、Anthropic Claude等。

无论你用的是哪家AI服务，调用方式一模一样，无需做额外适配，极大降低集成成本。

支持的API服务

GPT-Load作为透明代理服务，完整保留各AI服务商的原生API格式：

• OpenAI 格式: 官方 OpenAI API、Azure OpenAI、以及其他 OpenAI 兼容服务

• Google Gemini格式: Gemini Pro、Gemini Pro Vision 等模型的原生 API

• Anthropic Claude格式: Claude 系列模型，支持高质量的对话和文本生成

应用相关截图

应用特性

• 透明代理支持原生 API 请求：保持用户请求与上游服务原格式接口一致，不做任何转换，实现真正无感接入。

• 高性能架构：采用零拷贝流式传输、Go 协程并发模型，支持高并发连接，内存占用低，处理速度快。

• 智能密钥管理：Key 动态分组、轮换、失败自动重试与健康检查，保证代理高可用和稳定。

• 负载均衡与集群支持：支持多上游权重配置、健康检测、Master/Slave 架构以及无状态设计，轻松扩展至分布式部署。

• 热重载配置系统：三层配置体系支持环境变量、系统设置、分组配置热加载，无需重启服务即可更新策略。

• 现代后台 UI 运维界面：Vue3 + TypeScript 搭建界面，提供实时监控、日志查看、配置管理和使用统计仪表盘。

• 全面 AI 服务支持：兼容 OpenAI、Azure、第三方 OpenAI 兼容服务，支持 Google Gemini（包括 Pro Vision 多模态）与 Claude 模型的调用，覆盖对话、图像、多模态等场景。

部署方式

Docker 快速开始

docker run -d --name gpt-load 
    -p 3001:3001 
    -e AUTH_KEY=sk-123456 
    -v "$(pwd)/data":/app/data 
    ghcr.io/tbphp/gpt-load:latest

使用 sk-123456 登录管理界面：http://localhost:3001 ^[1]

Docker Compose（推荐）

# 创建目录
mkdir -p gpt-load && cd gpt-load

# 下载配置文件
wget https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/docker-compose.yml
wget -O .env https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/.env.example

# 启动服务
docker compose up -d

默认安装的是SQLite版本，适合轻量单机应用。

如需安装 MySQL, PostgreSQL 及 Redis，请在 docker-compose.yml 文件中取消所需服务的注释，并配置好对应的环境配置重启即可。

其他命令：

# 查看服务状态
docker compose ps

# 查看日志
docker compose logs -f

# 重启服务
docker compose down && docker compose up -d

# 更新到最新版本
docker compose pull && docker compose down && docker compose up -d

部署完成后：

访问Web管理界面： http://localhost:3001

API 代理地址： http://localhost:3001/proxy

使用默认的认证 Key sk-123456 登录管理端，认证 Key 可以在 .env 中修改 AUTH_KEY。