初创公司竞逐下一代大模型架构

变革前夜：Transformer的辉煌与局限

2017年谷歌发布的《Attention Is All You Need》论文奠定了Transformer架构的基石。如今，所有主流大语言模型（LLM）均以Transformer为引擎。Subquadratic联合创始人兼CEO贾斯汀·丹格尔评价：“整个AI产业建立在Transformer之上——它是计算机科学史上最重要的创新之一。”然而九年过去，这一架构正显露疲态。近期LLM的关键进展——如推理模型（reasoning models）和超长上下文处理能力——并非Transformer的自然演进，而是对其固有缺陷的修补式 workaround。

核心瓶颈：密集注意力的代价

Transformer的核心能力源于“密集注意力”（dense attention）机制：它通过两两比对文本中每个词元（token），以矩阵乘法编码语义关系。该机制精度高，但计算量随文本长度呈平方级增长。处理一篇万字文档可能需执行5000万次乘法运算，直接导致训练与推理能耗激增。OpenAI今年算力支出预计达500亿美元；国际能源署预测，全球数据中心用电量将在2030年前翻倍。更关键的是，受限于逐词处理范式，Transformer的上下文窗口难以大幅扩展——而新一代AI代理（agents）需同时消化整座文献库、完整代码库，或串联多个LLM的输出，这对传统架构构成根本性挑战。

四条突围路径：从稀疏注意力到状态空间

为突破瓶颈，新兴初创公司正尝试四类替代方案：

01：重构注意力机制

最直接的思路是优化注意力计算。稀疏注意力（sparse attention）仅对部分词元对执行运算，理论上可指数级降低开销。但长期困扰学界的问题是：稀疏化常以语义精度为代价。总部位于迈阿密的Subquadratic公司宣称，其自研稀疏注意力机制SubQ在搜索、代码生成等任务上已媲美主流LLM。其核心技术是动态识别每段文本中的关键词元，实时调整计算路径。目前已有数千用户加入其等待名单，模型即将开放使用。

02：用新机制取代注意力

旧金山初创公司Manifest AI选择更激进的路径：彻底抛弃注意力机制。其研发的“功率保留”（power retention）机制，仅存储与当前任务最相关的特征信息，主动压缩中间状态，避免数据量随处理深度线性膨胀。这直指Transformer因维持全序列关联而导致的状态爆炸问题。

03：状态空间模型（SSM）路线

另一批团队转向状态空间模型——一种源自控制理论的序列建模方法。SSM通过隐状态递推更新捕捉长程依赖，计算复杂度仅为线性，且天然支持无限上下文。加州大学圣迭戈分校孵化的Mamba架构已验证该路径可行性，多家初创公司正基于此开发商用版本。

04：混合架构与硬件协同设计

部分企业采取务实策略：不完全抛弃Transformer，而是将其与新型模块融合。例如将密集注意力用于关键子句，稀疏机制处理冗余段落；或针对新型计算单元（如存内计算芯片）定制注意力实现。这类方案强调软硬协同，降低迁移门槛。

LLM+：不是替代，而是进化

MIT科技评论将这一代技术定义为“LLM+”——它并非否定现有大模型，而是重构其底层引擎，目标是让模型更快、更省电、更擅长处理海量异构信息。尽管多数初创项目尚处早期，失败风险极高，但其试错成本远低于科技巨头。正如报道所言：“它们输得起，而赢了就可能重写规则。”

编者观点：对中国AI企业而言，过度聚焦模型微调与应用层竞争已显拥挤，底层架构创新正成为新的战略卡点。关注稀疏化、状态空间等方向的初创技术进展，或将为国产大模型摆脱算力依赖、构建差异化技术护城河提供关键突破口。