谷歌DiffusionGemma：复用Gemma实现文本扩散建模
结论前置 / TL;DR
谷歌DeepMind未从零训练，而是将Gemma-4模型改造为文本扩散模型DiffusionGemma，仅耗原训练预算的10%以内。该模型支持256个token并行生成，吞吐达约1500 token/秒，但推理能力仍弱于原自回归版本。
复用而非重训：低成本构建文本扩散模型
谷歌DeepMind团队并未从头训练新模型，而是通过改造现有开源模型Gemma-4，构建出名为DiffusionGemma的文本扩散模型。整个改造过程所用计算资源不足原始Gemma-4训练预算的10%。
并行生成提速显著
DiffusionGemma采用扩散范式，可一次性生成256个token，而非传统自回归模型逐token生成。实测吞吐量约为1500 token/秒，大幅优于典型自回归推理速度。
质量仍有差距
在多项基准测试中，DiffusionGemma的生成质量仍落后于原始Gemma-4自回归模型，尤其在逻辑推理类任务上表现更明显。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →