PrismML发布三值化Bonsai 2 27B大模型：5.9GB体积保留98.2%性能

三值压缩：5.9GB实现9.1倍体积缩减

PrismML正式发布Ternary Bonsai 2 27B——基于Qwen3.8 27B架构的三值权重（ternary-weight）语言模型。该模型总参数量27.36B，其中语言主干24.35B、嵌入层与LM头2.54B、视觉塔0.47B；整体体积压缩至5.93GB，相较FP16精度的53.80GB减少约9.1倍。模型采用混合注意力机制（75%线性注意力+25%全注意力），并支持文本与图像输入、262K token超长上下文。其权重格式为三值：每个参数取-1、0或+1之一，每128个权重共享一个FP16缩放因子，理论密度达1.71比特/权重；经高精度张量补偿后实测为1.72比特/权重。GGUF格式下，视觉塔以独立0.63GB文件分发，仅在处理图像时加载。

技术实现：旋转基底+定制打包格式

模型在量化前对权重实施分块Hadamard旋转（块大小1024），运行时对激活值同步执行逆变换，该设计借鉴SpinQuant思路。PrismML未公开三值分配的具体算法。其白皮书定义两种GGUF打包方案：PTQ1_0以1.76比特/权重实现5.93GB体积，解包密度更高；PQ2_0则将每个三值存于2比特槽位，体积增至7.25GB但解包开销更低。前者在Ada架构显卡及L4上更快，后者在Blackwell/Hopper/Ampere及Apple硅芯片上占优，且在所有平台的提示处理阶段均更高效。

性能表现：整体98.2%，长程智能体任务明显衰减

PrismML使用EvalScope与vLLM，在H100 GPU上以“思考模式”评测各模型。Ternary Bonsai 2 27B在20项基准测试中平均得分为83.9，为Qwen3.8 27B（85.4）的98.2%。细分领域中，数学（99.5%）、编码（99.3%）、指令遵循（101.7%）几乎无损，知识推理（96.9%）与视觉理解（96.3%）小幅下降；但长周期智能体任务损失显著：Terminal-Bench 2.1得分52.8（原模型69.7），SWE-bench Verified为60.8（原模型80.6），保留率约75%，未纳入20项平均。中等推理强度下平均得分为79.3（原模型82.6），低强度推理不被支持。所有结果均由PrismML内部完成，尚未获第三方复现。

实际部署：跨平台兼容，需专用运行时

模型已验证可在16GB内存笔记本或单张24GB GPU上实时运行。RTX 5090实测吞吐达142.5 tokens/s（0.582 mWh/token），RTX 4090为96.7，NVIDIA L4（72W）为32.1；Apple M5 Max与M5 Pro分别达46.8和27.7 tokens/s。PrismML宣称其能效比全精度8B模型高40%。运行需依赖其定制工具链：GGUF文件无法被标准llama.cpp加载，必须使用PrismML维护的llama.cpp分支；Mac用户可选用MLX运行时包；另有WebGPU浏览器端演示版本。官方推荐通过Bonsai-demo仓库启动：执行`./setup.sh`后运行`./scripts/start_llama_server.sh`，即可在localhost:8080访问聊天、视觉与工具调用功能。

编者观点

该模型展现了三值量化在保持大模型能力与大幅降低部署门槛之间的新平衡，对中国AI初创企业及边缘侧应用开发者具有明确参考价值——尤其在算力受限场景下，无需牺牲核心能力即可实现高性能本地化部署。