今天有什么变化

今天有什么变化

本次更新整合了最新验证的本地推理测量结果，并将其转化为实用的部署决策。

已验证的基准锚点

• qwen3-coder:30b: 160.0 tokens/s | 延迟 835 毫秒 | 测试 2026-04-29T05:39:58Z
• gpt-oss:20b: 156.1 tokens/s | 延迟 1524 毫秒 | 测试 2026-04-29T05:39:58Z
• qwen3:8b: 135.3 tokens/s | 延迟 1270 毫秒 | 测试 2026-04-29T05:39:58Z
• ministral-3:14b: 87.3 tokens/s | 延迟 2253 毫秒 | 测试 2026-04-29T05:39:58Z
• qwen2.5:14b: 84.0 tokens/s | 延迟 946 毫秒 | 测试 2026-04-29T05:39:58Z

决策指南

1. 如果您的目标模型在 VRAM 中有足够的余量，请优先选择本地部署，以获得可预测的延迟和更低的长期成本。
2. 如果 p95 延迟或吞吐量未达到生产目标，请将本地部署作为基线，仅在高峰期突发至云端。
3. 如果故障率上升（OOM/重试次数激增），在横向扩展之前，请降低量化级别或减少并发负载。

操作清单

• 在代表性提示长度下验证 tokens/s 和延迟。
• 按模型和量化级别跟踪 OOM 和重试次数。
• 每周重新计算本地硬件与云租赁的盈亏平衡点。

后续行动

• 估算适配性：/en/tools/vram-calculator/
• 硬件路径：/en/affiliate/hardware-upgrade/
• 云端备用：/go/runpod 和 /go/vast

联盟披露：此帖子可能包含联盟链接。LocalVRAM 可能会赚取佣金，您无需支付额外费用。