博客园发布Kimi K3 KDA原理与CPU复刻教程

博客园作者“罗西的思考”发布 Kimi K3 KDA（Kimi Delta Attention）机制解析与全 CPU 复刻教程第一部分，称后续还有第二期。 据其介绍，KDA 在 GDN 的 delta rule 基础上把遗忘粒度从 head-wise 细化到 channel 级，用 Diag(α_t) 对角门实现有界衰减，并保持 chunkwise 并行。 教程限定为全 CPU 复刻，不涉及 GPU、大规模训练和硬件；作者称每个主要组件都配有可直接运行的 Gradio demo，无需 GPU。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。