联想公布存算融合池化系统测试结果

联想集团首席科学家肖利民团队提出将内存池化与近存计算结合的存算融合池化系统，称可同时缓解KV Cache容量不足与GPU访存外部存储开销大两个问题，并公布了分项与端到端测试结果。 肖利民介绍，内存池卸载与NVMe层池化方案相比，固定输入长度场景下首Token延迟降低3.5倍，多轮对话场景降低2.4倍；借助内存池实现KV跨实例复用，相比完全重算首Token延迟最高加速12~28倍，相比RDMA分布式内存架构加速2~3倍；把注意力计算下沉到内存池侧后，解码延迟降低2.5倍，并腾出显存支持更长上下文和更大规模模型。 端到端方面，与RDMA分布式内存池相比推理延迟加速2~3倍，系统吞吐随上下文变长提升6~20倍。上述数据均为联想团队自测结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。