Multi-layer Indexer：DeepSeek Sparse Attention 中重叠的选型与注意力

来源：arXiv:2611.03768 · Writer AI Research

稀疏注意力通过只让 query 关注序列子集来降低长上下文推理成本。DeepSeek Sparse Attention（DSA，用于 DeepSeek-V3.2 与 GLM-5 系列）在每层前用 lightning indexer 给全缓存打分并保留 top-k=2048。长上下文下，indexer 扫描而非稀疏注意力本身成为 decode 耗时主因，且注意力必须等本层选型。

但相邻层选型高度重叠，因此一层可以先用上一 indexer 层的选型做注意力，本层 indexer 与注意力并行。由此得到的 Multi-layer Indexer（MLI）无需重训、无新权重；默认可在 SGLang 生产 decode 图内运行，可选融合内核进一步加速 DeepSeek-V3.2。

MLI 可与 IndexCache（跨层复用选型）组合：IndexCache 减少「跑多少 indexer」，MLI 减少「等每次扫描多久」。在同等 retention 下，组合相对 IndexCache 最快约 +14.5%（DeepSeek-V3.2）/ +9.8%（GLM-5）于 1/2 retention；在 retention 1/r 时可比 IndexCache 的 1/(2r) 更快，同时保留两倍「新鲜选型」。代码：https://github.com/ArjunKrishnak/dsa-multi-layer-indexer