DeepSeek发布V4.1-Flash：百万上下文、FP4 KV缓存与跨层注意力复用

百万上下文下的KV缓存瓶颈驱动架构革新

长时程智能体应用使大语言模型服务转向输入密集型负载：重复prefill与百万级上下文持续生成庞大的KV缓存，严重挤占高带宽内存（HBM）、SSD存储容量与带宽。DeepSeek-V4.1-Flash正是围绕这一核心瓶颈设计——它是一款多模态混合专家模型，主干参数552B，额外Engram参数196B，上下文窗口达100万token；prefill阶段每token激活8B参数，decode阶段为16B。其全局KV缓存 footprint 低至890字节/Token，约为DeepSeek-V4-Flash的1/4、DeepSeek-V1的1/437，显著提升部署可行性。

因果编码器-解码器（CED）大幅削减prefill计算

模型40层主干被划分为20层因果编码器与20层解码器。受YOCO启发，解码器不独立计算全局KV，而是通过投影权重从编码器最终隐藏状态中导出。因此prompt tokens仅流经编码器，prefill计算量近乎减半。滑动窗口注意力（SWA）仍保留在每层，但解码器SWA状态通过“仅重放最后128个prompt token”重建，该机制被命名为Decoder SWA Bounded Replay。

纯化CSA2：沿层轴压缩KV缓存

V4.1-Flash弃用V4混合式CSA+强压缩注意力，全面采用纯CSA2（Compressed Sparse Attention 2），并聚焦于层维度的缓存压缩。每层CSA2静态分配三种模式之一：

• Full：自主计算主KV，从中投影indexer K，并选取最新Top-512索引；
• Reindex：复用上一个Full层的主KV与indexer K，但用本层indexer Q重新打分；
• Reuse：直接复用主KV及最新Top-K索引，跳过indexer计算。

所有层均保留自身主Q与SWA KV。18层编码器按6层一组分为3组，每组含1个Full+5个Reuse，压缩比为2；20层解码器按4层一组分为5组，首组为1 Full+3 Reuse（压缩比1），其余为1 Reindex+3 Reuse。解码器内置分层稀疏indexer，允许Full层构建最多16,384位置（2,048个block×8）的候选池，后续Reindex层仅在该受限集合内打分，避免全上下文扫描。

FP4量化与缓存生命周期管理

主KV缓存采用E2M1格式量化，每16通道配一个E4M3 scale（遵循NVFP4但无全局scale），通过后训练量化感知训练引入，相较V4的FP8缓存节省近半存储。部署层面，SWA KV不再落盘SSD，而是驻留于主机DRAM中划分出的分布式缓存池（占用10% DRAM，TTL为分钟级），而全局KV保证72小时持久化。缓存缺失时，Encoder SWA Bounded Replay仅需重算128 token，而非逐层×窗口重算。其他优化包括：Single-Pass mHC（降低激活内存流量50%）、第1与14层集成Engram条件记忆模块、冻结主干后训练的DSpark推测解码、以及head-wise Muon优化。

训练策略与实测性能

预训练覆盖45万亿多模态token（文本:多模态=7:1），稀疏注意力从64K序列长度端到端训练（无dense warmup），100万上下文在34万亿token处扩展完成。基座模型在世界知识与代码能力上匹敌DeepSeek-V4-Pro-Base，但总参数量仅为其1/3、激活参数量为1/4。后训练未引入新算法，性能提升源于大规模可验证智能体任务合成、跨异构框架（Claude Code/Codex/OpenCode/Pi/mini-SWE/DeepSeek Harness）的强化学习，以及来自40余位教师模型的在线策略蒸馏。在Terminal-Bench 2.1与DeepSWE v1.1上，V4.1-Flash超越Opus-5与GPT-5.6 Sol；单token decode FLOPs随上下文从4K增至1M仅上升25%。