Nunchux发布VC-Attention：免训练低比特注意力核加速视频扩散Transformer

视频生成中的注意力瓶颈

视频扩散Transformer（DiT）将视频片段展平为时空令牌序列，并在每一层执行全自注意力。一段5秒720p的Wan2.2-14B视频约含7万个令牌；在RTX 5090上，注意力计算耗时占整个生成过程超64%。研究团队指出，在单颗B200芯片上，注意力占MiniMax-H3每个去噪步骤耗时的约三分之二。尽管低比特张量核心可加速QK与PV两个矩阵乘法，但仍有两大障碍：一是现有方法（如SageAttention2）仅对查询与键平滑，而值（V）项贡献了Wan2.2输出误差的82%；二是softmax阶段仍以FP32运行，在B200/H200上，其指数运算及FP8转换成为最长流水线阶段。

V-Smooth：动态消除值异常值

值异常值分布稀疏，且其通道位置随头（head）、层与去噪步变化。Hadamard旋转虽保持令牌范数，却无法消除此类异常。V-Smooth采用三步策略：分组（Group）——在线k-means按批次与头聚类值令牌，键与值同步重排，确保非因果注意力输出不变；去均值（Demean）——每个128令牌硬件块减去其均值，仅对残差进行量化（8位采用per-channel E4M3，4位采用NVFP4）；恢复（Restore）——利用在线softmax已保留的行和，直接加回均值，无需二次遍历或额外缓存。实验显示，该方法平均削减12%（DeltaQuant静态立方）至36%（排序后）的块能量；每元素均值开销仅0.125比特。分组仅在前25%去噪步执行，排列结果复用于相邻4步，整体耗时占注意力计算3–4%。

ExpCast-FP8：绕过softmax精度瓶颈

E4M3字节值近似于其所存数值的对数：整数解读下≈8×log₂(v)+56。ExpCast-FP8由此直接从对数域分数生成FP8字节，仅需1次融合乘加操作；常数β=-0.35中心化残余误差，且无需模型定制拟合。该方法在79.6%的数值翻倍区间内输出与FP32“先指数后转FP8”路径完全一致，其余情况偏差仅1个编码单位。论文证明其逐行总变差界低于3.64%（含下溢尾部），实测204.8K Wan2.2注意力行平均误差为1.6%。该技术仅适用于8位内核，因NVFP4缺乏单一仿射对数-编码映射。手写CuTe/CUDA融合预处理链，将B200上单次V-Smooth调用从42.2ms降至4.8ms。

性能实测：兼顾速度与保真度

测试覆盖4个开源视频DiT模型：Wan2.2-T2V-A14B、LongCat-Video、HunyuanVideo-1.5与MiniMax-H3。保真度以BF16 FlashAttention-4输出为基准，基于100条提示评估。结果显示：在B200上，8位VC-Attention注意力加速1.59×，端到端加速1.19×；RTX 5090上4位版本达3.58×注意力加速与1.70×端到端加速。对比SageAttention2（无Blackwell支持），VC-Attention在B200快6.02×；在RTX 5090上，4位V-Smooth与SageAttention3保真度相近（差距<5%），但VC-Attention仍胜出。保真度方面：8位下，V-Smooth较SageAttention2在Wan2.2提升2.3 dB PSNR，在HunyuanVideo-1.5提升2.8 dB；加入ExpCast-FP8后进一步提升0.7–2.1 dB，全面超越SageAttention2；4位下，V-Smooth在Wan2.2与LongCat-Video分别领先SageAttention3达2.9 dB与3.6 dB。作为对照，免训练的Attn-QAT方案比SageAttention2低3.4–6.7 dB。在MiniMax-H3（1344×768）任务中，VC-Attention注意力速度达BF16 FlashAttention-4的1.60×，PSNR为20.2 dB（SageAttention2为19.9 dB）；B300上亦优于朴素FP8内核（1.47× vs. 1.31×）。