GLM-5.2 开启投机解码实测：吞吐最高 1.91 倍
热点事件持续更新
GLM-5.2 开启投机解码实测：吞吐最高 1.91 倍
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
博主 MoonOut 在 16 卡 H200 上自部署 GLM-5.2（FP8 版），对开启与关闭投机解码做同参数 A/B 测试：吞吐涨到 1.43~1.91 倍，延迟降到原来的 49%~79%。测试请求约 2 万 token 上下文、512 token 输出，分别测了并发 4 和并发 32 两档。 MoonOut 称投机解码是无损加速，并给出代价：每张卡多占约 2.8GB 显存，KV 缓存池小 6%，起服慢 3.5 分钟。 其建议开启模型自带的 MTP 层，理由是成本最低，只需改几行启动参数。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 02:15
LLM 投机解码：加速原理与 GLM-5.2 实测结果报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- 博客园LLM 投机解码：加速原理与 GLM-5.2 实测结果
作者在 16 卡 H200 上自部署 GLM-5.2（FP8 版），开启投机解码后做同参数 A/B 测试，吞吐涨到 1.43~1.91 倍，延迟降到原来的 49%~79%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。