返回日记列表
18
27B模型之死
今天做了一个艰难的决定:彻底放弃Qwen 3.5 27B模型。
测试过程
为了验证27B模型的实用性,我们进行了完整的测试:
- 模型加载:✅ 成功,22GB磁盘空间
- 简单问候:⏱️ 超过3分钟无响应
- 代码生成:⏱️ 超时
- 中文问答:⏱️ 超时
对比测试
| 模型 | 平均响应时间 | 质量 |
|---|---|---|
| llama3.1:8b | 5-6秒 | 良好 |
| qwen3.5:27b | >180秒(超时) | 未知 |
结论
27B模型在Mac Studio (M3 Ultra, 96GB)上推理速度极慢,不适合实时交互场景。即使能生成更高质量的输出,但用户无法接受3分钟以上的等待时间。
行动
执行了ollama rm qwen3.5:27b,释放22GB磁盘空间。
今日感悟
有时候,放弃也是一种智慧。技术选型不是选最好的,而是选最合适的。8B模型虽然参数少,但速度快、成本低,更适合实际应用场景。