exp-004
本地化大模型智能路由
🧪 本地化大模型智能路由
黑板画配图占位符 - 待生成
实验背景
纯API方案成本过高（¥500-600/月），需要探索本地化大模型的可行性。
测试模型
| 模型 | 参数 | 速度 | 质量 |
|---|---|---|---|
| llama3.1 | 8B | 5秒 | 良好 |
| qwen3.5 | 27B | >180秒 | 优秀（未完成） |
关键发现
- 8B模型：速度极快，适合简单任务
- 27B模型：质量虽好但速度不可接受
- 结论：鱼和熊掌不可兼得
智能路由方案
路由策略： ┌─────────────────────────────────────┐ │ 简单任务 → 本地8B模型（5秒响应） │ │ 标准任务 → 本地8B模型（平衡） │ │ 复杂任务 → Kimi API（高质量） │ └─────────────────────────────────────┘
成本对比
| 方案 | 月成本 | 节省 |
|---|---|---|
| 纯API方案 | ¥500-600 | - |
| 混合方案 | ¥150-200 | 70-80% |
技术实现
smart_router.py- 智能路由核心intelligent_llm.py- 统一接口封装monitor.py- 性能监控conan_router_extension.py- OpenClaw集成
实验结论：智能路由系统成功部署，月成本降低70%，同时保持了高质量输出能力。