果蝇全脑连接组接入冻结大模型,实验证明未提升性能
研究者将完整雄性果蝇中枢神经系统(16.7万个节点、2558万条有向边)作为固定‘神经形态储层’,耦合至冻结的1.2B参数语言模型LFM2.5。实验显示,该生物启发结构虽参与计算,但其性能略逊于无图结构的对照组,且不提供长程记忆增益。
全连接组驱动的冻结大模型架构
Fly Language Model(FLM)是一个开源聊天机器人,将MaleCNS v1.0版本的完整雄性果蝇中枢神经系统连接组图谱(含166,700个保留节点与25,582,938条有向边)作为固定‘储层’(reservoir),耦合至冻结的LiquidAI LFM2.5-1.2B-Instruct语言模型主干。开发者称其为全球首个‘果蝇语言模型’,采用名为GPF(Generative Pre-trained Fly)的架构设计,但明确声明不自称首个‘连接组语言模型’,并坦承:在参数量匹配的对照实验中,不含果蝇图结构的基线模型表现反而略优。
该系统完全本地可部署,nftechie/flm代码库采用MIT许可证,支持Python 3.12(macOS/Linux),兼容MPS、CUDA或纯CPU运行,无需API密钥。
极简训练:仅0.0238%参数可调
整个系统中,果蝇连接组图谱、语言模型主干、随机输入/输出投影矩阵全部冻结。唯一可训练部分仅为一个278,528参数的读出层(readout),仅占主干1,170,340,608参数的0.0238%。每步token处理流程如下:先将2048维词嵌入经高斯投影压缩至128通道;每个储层节点接收其中一通道信号(附随机符号);全图按公式x = tanh(W(0.6x + 0.4Bc))更新,其中W为归一化解剖接触计数矩阵;状态被池化为128个bin,再经两个无偏置的可训练矩阵U(128×128)和V(2048×128)变换,最终以RMS值上限为0.25的残差形式,叠加至冻结词汇表头的logits上。
实验结果:生物结构参与但未胜出
在32段SmolTalk日常对话(共1236个目标token)的冻结测试集上,三组随机种子结果如下(负对数似然NLL,单位:nats/token):
- 冻结主干模型:1.381995
- 果蝇读出层:1.359816 ± 0.000110
- 直接输入读出层(无图结构):1.359328 ± 0.000108
- 节点重标号(未重训):1.381265 ± 0.000802
- 移除所有边:1.381995
果蝇读出层相较主干降低NLL 0.0222 nats/token(困惑度从3.98降至3.90),但直接输入对照组在全部三组种子中均更优(高出0.000488 nats/token)。配对自助法置信区间(+0.00000502 至 +0.00104)无法支持‘果蝇特异性增益’的结论。另两项关键对照证实:设W为零时残差完全消失,NLL回归主干水平,证明图结构确有参与;而仅重标节点ID(不重训)即导致NLL回归基线,说明读出层依赖的是其与特定图拓扑对齐的学习接口,而非果蝇拓扑本身优于随机布线。
记忆能力分析:无长程上下文增益
研究进一步证明,该储层的状态收缩率恒为每token最多0.6——即初始状态差异在10 token后衰减至0.00605,20 token后仅剩0.0000366。这意味着堆叠16.7万个神经元并未带来长程记忆能力,上下文建模仍完全依赖主干模型。
前序工作与定位澄清
论文明确引用更早的原型项目ngxson/fly-hf:其使用MaleCNS中49,393节点的中央脑子集,在TinyStories数据集上独立训练储层,未结合预训练主干。FLM强调自身创新在于两点:一是首次采用全保留果蝇连接组图谱,二是采用‘冻结主干’设计,使语言能力来源可清晰归因——并非宣称技术首创性,而是突出规模与可解释性设计。
编者观点
该研究以严谨对照实验揭示:直接将生物神经连接组‘硬连线’至大模型,并不自动转化为性能优势;真正有价值的可能是受生物启发的动态机制建模,而非静态拓扑复刻。对中国AI研发团队而言,与其追求‘最大连接组’噱头,不如聚焦可验证、可归因的神经计算原理迁移。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →