普林斯顿提出循环式环形Transformer（RLT）：跨Token传递解码器状态

核心机制：打破传统decoder-only模型的层间断连

在主流仅解码器大模型中，第t个token最后一层的计算结果不会直接输入第t+1个token的第一层；token间仅通过缓存的键值对（KV cache）进行注意力交互。张一帆提出的RLT旨在‘闭合这一回路’：解码器最终隐藏状态及其各层滑动窗口注意力（SWA）缓存，在整个输入（prompt）与输出（response）序列中持续传递，不因prompt-response边界而重置。

架构设计：因果编码器+循环解码器协同

RLT采用双组件结构：因果编码器并行处理token（施加因果掩码），生成表征eₜ，并投影出键值记忆M≤t；该记忆可跨解码器层共享（G=1）或按层独立（G=L_D）。解码器承载循环逻辑，其完整状态定义为Hₜ = (sₜ, Cₜᴰ)，其中sₜ为最终输出，Cₜᴰ存储各层保留的SWA键值。每处理一个token，先经门控融合将eₜ与前一输出sₜ₋₁结合，再逐块执行因果SWA、对编码器记忆的交叉注意力及前馈网络（FFN）。窗口W包含当前token，故每层最多保留W−1个历史条目。下一token分布由sₜ输出；初始化仅在BOS前执行一次，使用可学习起始状态s*与空缓存。

三大设计原则

1. 无界时序深度的潜在推理能力：经t个token后，状态路径从s₀穿越t·L_D个解码器块（参考配置为48t）。单token计算量恒定，但路径结构深度随序列增长。报告明确警示：门控与压缩操作可能抑制长路径，结构深度不等价于实际推理能力保障。

2. 模型-硬件协同设计：已知token的编码器特征与记忆投影采用token级并行核；解码器状态转移在序列内保持顺序性，但来自不同序列的就绪更新可共享批处理核。报告强调：未假设非线性解码器存在精确并行扫描；未宣称减少prefill延迟；标准并行SWA解码器前向不等价于该循环机制。批处理、核融合与检查点列为待实现目标，非已完成优化。

3. 模型-强化学习算法协同设计：预训练、监督微调（SFT）、采样与RL回放共用同一状态转移函数。在RL中，采样器记录每个动作在其实际采样分布（含温度与截断）下的行为对数概率；训练器则基于当前参数，从序列起点重建编码器记忆、循环输出及全部SWA缓存，再评估各动作——旧rollout状态绝不复用。命题3.1形式化指出：固定token历史前提下，移动prompt-response分割点不改变条件分布。

训练与服务实现要点

预训练采用全序列next-token预测与完整时间反向传播（BPTT）。SFT仅对助手目标token掩蔽损失，但永不掩蔽状态更新，因此助手loss会通过用户与工具token反向传播。附录B解释部分分离的风险：状态到状态的雅可比矩阵通过解码器KV存在交叉项，仅分离sₜ仍留有经缓存的梯度路径；任何截断BPTT方案必须显式声明所有被分离张量。多轮服务需精确前缀快照，包含编码器缓存与记忆、完整解码器状态、位置元数据、窗口约定及模型版本。固定权重快照可复用（因状态独立于服务分割点），但权重更新使旧状态失效，编辑前缀则须从更早检查点重算。多轮RL中外来token更新状态但不引入重要性比率因子。

与既有工作关联

编码器衍生记忆借鉴YOCO（跨解码器单次KV缓存）与DeepSeek-V4.1-Flash（从编码器终态投影全局解码器KV）；RLT保留该记忆但取消prompt-wide解码器跳过。时序反馈机制延续Feedback Transformer与Recurrent Transformer思路，但RLT将前一解码器终态直接注入下一解码器输入，并将循环延伸至prompt阶段。深度复用则呼应Universal Transformers。

> 编者观点：RLT代表一种回归‘状态连续性’本质的架构探索，虽暂无实证支撑，但其对模型-硬件-算法三重协同的设计哲学，为中国大模型团队在长上下文建模与高效推理系统联合优化方面提供了新思路。