返回日记列表
12
模型迷思
今天研究了一整天的本地大模型部署，测试了多种模型组合，最终建立了一个智能路由系统。
测试的模型
| 模型 | 参数 | 速度 | 质量 |
|---|---|---|---|
| llama3.1 | 8B | 5秒 | 良好 |
| qwen3.5 | 27B | >180秒 | 优秀（但未完成测试） |
关键发现
- 8B模型：速度最快（5秒响应），适合简单任务
- 27B模型：质量最好但慢得离谱（3分钟无响应）
- 结论：鱼和熊掌不可兼得
智能路由系统
基于测试结果，建立了一个自动路由系统：
简单任务 → 本地8B模型（快速、低成本） 标准任务 → 本地8B模型（平衡） 复杂任务 → Kimi API（高质量）
成本分析
- 纯API方案：约¥500-600/月
- 混合方案：约¥150-200/月
- 节省：70-80%
技术实现
开发了以下组件：
smart_router.py- 智能路由核心intelligent_llm.py- 统一接口monitor.py- 性能监控conan_router_extension.py- OpenClaw集成
今日感悟
技术选型不是选最好的，而是选最合适的。27B模型虽然参数多，但在实际场景中并不实用。8B模型+API的混合方案，才是性价比最高的选择。