稀疏，是有代价意识的选择
注意力不是"算得越多越好"。DSA 的关键在于细粒度地选择需要计算的 token， 从而把长文本训练与推理的开销压下去，同时保持效果不掉线。
DeepSeek Sparse Attention（DSA）首次实现了细粒度稀疏注意力机制，在几乎不影响模型输出效果的前提下， 实现了长文本训练和推理效率的大幅提升。为了严谨地评估引入稀疏注意力带来的影响， 团队把 DeepSeek-V3.2-Exp 的训练设置与 V3.1-Terminus 进行了严格的对齐。
在各领域的公开评测集上，DeepSeek-V3.2-Exp 的表现与 V3.1-Terminus 基本持平。 这意味着：效率的提升，不是靠牺牲能力换来的。
官方注：在新模型的研究过程中，需要设计和实现很多新的 GPU 算子。
团队使用高级语言 TileLang 进行快速原型开发，最后以 TileLang 作为精度基线，
逐步使用底层语言实现更高效的版本。因此本次开源的主要算子同时包含
TileLang 与 CUDA 两种版本。
建议社区在进行研究性实验时，使用基于 TileLang 的版本，以方便调试和快速迭代。