Perplexity开源Lily：专为Apple Silicon优化的Qwen3.6-35B-A3B推理引擎

专一架构，极致性能

Lily是Perplexity为其Hybrid Compute产品线开发的本地推理引擎，现已完全开源。它是一个单进程运行时系统：Rust层负责加载检查点并驱动生成循环；提供OpenAI兼容的chat-completions API以流式返回token；所有核心计算由手写Metal内核执行——整个执行路径中不依赖PyTorch或MLX。Lily的设计哲学是‘窄而深’：仅支持单一模型Qwen3.6-35B-A3B，且仅面向Apple Silicon硬件家族。这种高度特化正是其性能优势的根源。

可部署的轻量服务

Lily已作为独立演示项目发布于pplx-garden仓库，提供一个极简的Rust+Metal推理服务器，通过轻量级OpenAI兼容HTTP API支持贪婪文本生成。该模型采用4-bit分组仿射量化（每64个权重共享一个bfloat16 scale与bias），原始bfloat16权重约70 GB，压缩后为19.4 GB。因此，实际运行需Apple Silicon Mac配备至少32 GB统一内存；Perplexity官方Hybrid Compute产品要求macOS 15+、最低24 GB内存，推荐32 GB以获得最佳效果。

为何放弃通用性？

当前Mac生态主流方案是MLX+MLX-LM，其Qwen实现已包含分组专家调度、融合循环Metal内核及GQA感知注意力等优化。但这些组件需保持跨架构复用性，限制了底层深度定制。Lily则彻底放弃通用性，将模型结构、执行计划与内核选择全部内聚于同一运行时中，从而释放Apple Silicon的全部潜力。

针对Qwen3.6-35B-A3B的三重工作负载优化

该模型含350亿参数，每token激活约30亿参数：路由器从256个专家中选出8个，并叠加1个全量共享专家；混合使用10层分组查询注意力（GQA，16查询头/2 KV头）与30层门控DeltaNet层。由此形成三大典型模式：不均衡专家分组、随KV缓存增长的注意力计算、固定尺寸循环计算。

Prefill阶段：权重重构与路由融合

Lily在分组GEMM内部逐tile重建bfloat16权重，结果暂存于threadgroup内存并以FP32累加，避免膨胀后的权重数组进入统一内存。Perplexity消融实验显示，该融合使512-token prompt的端到端prefill提速77.4%。此外，将路由直方图、前缀扫描、scatter与块映射全部封装于单GPU命令缓冲区，消除MoE层内CPU同步开销，带来额外89%加速（512 tokens）。增大tile行数（16→32）、引入寄存器驻留的门控DeltaNet扫描，分别提升13.2%与5.6%。专家GEMM占prefill总耗时约90%，长prompt则按固定大小分块处理，防止临时激活占用权重与缓存内存。

Decode阶段：极致带宽利用

Batch-1 decode几乎无权重复用，带宽成为瓶颈。Lily记录真实依赖关系，通过并发Metal Pass实现独立kernel重叠执行；选中token直接写入下一step的GPU输入槽，消除每token一次CPU往返；四条kernel链融合以保持中间结果驻留寄存器。合并缓存读取将key带宽从33.8 GB/s提升至47.9 GB/s，value带宽从42.0 GB/s升至61.8 GB/s；GQA打包（4查询头共享1 threadgroup，每KV行仅加载1次）使32K context下decode提速23.8%；固定块注意力布局在32K/64K/128K context下分别提升7.7%/27.4%/40.2%。

实测性能：全面超越MLX-LM

在搭载40核CPU、128 GB内存的M5 Max设备上，Lily与MLX-LM最快直推路径对比（相同4-bit检查点、10种长度：256–128K tokens）：平均prefill达4,156 token/s（vs 3,388，+1.23×），decode达170.0 token/s（vs 126.4，+1.35×）。在4K prompt + 4K context场景下，Lily达到5,749.9 prefill / 186.6 decode token/s，而MLX-LM为4,737.5 / 140.9，Lily在所有测试点均领先（prefill：1.12–1.42×；decode：1.31–1.37×）。教师强制评估（192位置）显示Lily困惑度仅高0.04%，且96.35%情况下输出相同最高概率token。