随着开源大模型百花齐放，开发者日常会同时部署多款 LLM：强推理 DeepSeek、高速对话 Qwen、轻量摘要 Llama、多模态 MiniCPM。传统使用方式只能人工指定模型：写代码手动选代码模型、闲聊手动选对话模型、总结文档手动切换摘要模型。人工硬编码模型映射存在明显短板：无法根据查询难度、负载情况、上下文长度动态调整；高峰期容易出现单模型拥堵；新人上手需要记忆大量模型适用场景。

OpenFugu 应运而生：一套轻量化调度框架，依靠极小调度模型自动分析用户请求特征，自主分发任务到最合适的 LLM 实例，彻底告别硬编码、手动选择模型。项目开源地址：https://github.com/xxx/OpenFugu

提示：文末可直接复制部署脚本，支持本地 Ollama、vLLM、OpenAI 兼容接口无缝接入。

一、传统 LLM 调用方式痛点对比

传统调度只解决 “流量分给谁”，OpenFugu 解决“这个任务应该交给哪个模型”。

二、OpenFugu 核心原理架构

整体数据流

1. 用户发送 Prompt 请求接入 OpenFugu 网关；
2. 轻量调度模型（推荐 0.5B~3B 极小参数模型）
   
    快速分析请求：识别任务类型、预估难度、上下文长度；
3. 调度引擎读取预设策略：模型能力标签、实例当前负载、时延阈值、成本限制；
4. 自动匹配最优 LLM 后端，转发请求；
5. 任务完成后收集时延、输出质量反馈，持续优化路由策略；
6. 返回结果给用户。

两大核心组件

1. Fugu Router 路由内核负责请求转发、多后端连接管理，兼容 OpenAI 标准接口，无需修改上层业务代码。支持 vLLM、Ollama、SGLang、本地 API、云端大模型混合接入。

2. Fugu Judge 调度小模型整个系统智能核心。不需要超强推理能力，只做分类判断：

• 任务分类：代码编写、闲聊对话、文档摘要、逻辑推理、翻译、多模态
• 难度分级：简单 / 中等 / 高难度
• 预估 token 长度输出结构化 JSON 路由指令，开销极低，单次判断耗时普遍＜100ms。

关键优势：调度模型和执行 LLM 相互独立，调度模型负载极低，不会抢占主力推理算力。

三、典型部署拓扑示例

用户应用 ←→ OpenFugu Gateway
               ↙        ↓        ↘
      调度小模型(Judge)  负载监控采集器
               ↓
任务路由分发
├─ 高难度推理集群 DeepSeek-R1
├─ 高速对话集群 Qwen2-7B
├─ 代码专用集群 CodeLlama
└─ 轻量摘要集群 Llama3-8B-Instruct

四、实战场景效果举例

我们配置一组模型池，由 OpenFugu 自动分配：

直观收益

• 高端大模型不再被简单任务挤占，算力利用率提升 30%~60%；
• 业务层不需要维护模型选择逻辑，新增任务无需改动业务代码；
• 可以根据成本策略：高峰期自动降低复杂任务模型规格，实现算力弹性。

五、快速上手部署指南

环境要求

• Python ≥3.10
• 支持 CUDA/NPU，最低显存需求：运行调度模型仅需 2GB 显存
• 后端 LLM 服务具备 OpenAI 兼容接口

1. 拉取代码

git clone https://github.com/xxx/OpenFugu
cd OpenFugu
pip install-r requirements.txt

2. 基础配置文件 config.yaml

judge_model:"./tiny-judge-1.5b"# 调度小模型路径
model_pool:
-name: qwen2-7b
api_base: http://127.0.0.1:8000/v1
tags:["chat","fast"]
-name: deepseek-r1
api_base: http://127.0.0.1:8001/v1
tags:["reason","hard"]
-name: codellama
api_base: http://127.0.0.1:8002/v1
tags:["code"]
gateway_port:8890


3. 启动服务

python main.py


应用直接对接 http://127.0.0.1:8890/v1/chat/completions，调用方式和 OpenAI 完全一致，不需要指定 model 参数，由框架自动选择。

六、扩展能力与进阶玩法

1. 负载感知路由实时采集各个 LLM 实例队列长度、显存占用，当目标模型拥堵时，自动降级备选同类型模型。

2. 人工兜底策略可以设置强制路由 header，紧急场景支持上层手动指定模型，智能调度和手动模式无缝切换。

3. 反馈自优化记录每次路由结果、用户评价，持续微调调度小模型的分类精度，越用越精准。

4. 多租户隔离支持为不同业务线设置独立模型池、算力成本上限，适合企业内部 LLM 平台。

七、适用人群与落地建议

✅ 适合：

• 自建多模型 LLM 服务的开发者、AI 平台运维
• 使用 Ollama/vLLM 本地部署多款开源大模型
• 需要控制算力成本、优化推理资源利用率

❌ 暂时不推荐：

• 仅部署单一 LLM 实例，不存在模型选择需求

落地小建议：初期先用 1~3B 参数开源小模型充当 Judge 调度器，优先完成业务验证；流量规模上涨后，再对调度策略精细化调优。

总结

在多 LLM 混合部署成为常态的当下，单纯负载均衡已经不足以满足资源优化需求。OpenFugu 通过极小调度模型实现内容感知型智能路由，把 “选哪个模型” 这件事交给系统自动完成。开发者摆脱繁琐的模型硬编码，算力资源按需分配，兼顾响应速度、推理质量与使用成本。

项目地址：https://github.com/xxx/OpenFugu

#OpenFugu #大模型调度 #AI 开源项目 #LLM 智能路由 #本地 AI 小模型