Underdog发布Saluki 27B：2比特量化Qwen3.8-27B，工具调用能力超越原模型
Conway Research旗下Underdog团队开源Saluki 27B——一款基于Qwen3.8-27B的2比特混合精度GGUF模型，体积仅7.89GB（原BF16版54GB），在标准llama.cpp中即可运行。其在工具调用任务上全面优于原模型，但数学与多步推理能力下降约12–18个百分点。
一款面向本地智能体的超轻量级27B模型
Conway Research旗下智能助手项目Underdog正式开源Saluki 27B，并采用Apache 2.0许可证。该模型是Qwen3.8-27B的2比特混合精度GGUF量化版本，体积压缩至7.89GB（原始BF16格式需54GB），可在未经修改的stock llama.cpp环境中直接运行，支持全GPU卸载。模型还提供可选视觉扩展模块（629MB或928MB），适配多模态场景。
Saluki 27B的设计核心是“保护工具调用能力”——这一能力是将通用对话模型升级为AI智能体的关键。开发者由此获得一个真正可在消费级设备本地部署、具备完整Agent功能的27B级模型。
三层量化技术堆叠
Saluki 27B并非简单量化，而是融合三层技术路径：
第一层为基座模型Qwen3.8-27B，由通义实验室发布，含64层，融合Gated DeltaNet线性注意力与门控注意力机制，原生支持262,144 tokens上下文；
第二层基于ISTA-DASLab的Qwen3.8-27B-GSQ-RCO-GGUF方案：GSQ通过张量级标量网格实现高精度低比特量化，RCO则在固定体积预算下为各张量动态分配量化类型；其最小版本IQ2_XS达2.50比特/权重、8.4GB；
第三层为Underdog自研优化：在ISTAGSQ基础上进一步压缩至7.89GB，并显式针对工具调用任务进行微调。该版本命名为IQ2-mix，带imatrix标签，但具体优化配方未公开。
工具调用显著领先，数学推理明显折损
Underdog将基准测试分为两组：
统一评测框架下（相同推理设置：禁用思维链、temperature=0）：
- Underdog Bench（120个BFCL v4冻结任务）：Saluki得88分，原模型84分，PrismML Bonsai 2为70分；
- 并行工具调用（100个BFCL v4并行任务）：Saluki达成42次成功调用，原模型为35次（提升20%）；
- SWE-bench Verified（50个真实软件问题）：Saluki修复30个，原模型修复33个。
跨框架横向对比（Saluki vs 公开发布的Qwen3.8-27B分数）：
- IFEval（prompt-loose）：93.5 vs 91.5；
- IFBench：72.7 vs 71.0；
- MBPP+：78.0 vs 83.9；
- MuSR：67.5 vs 79.6；
- AIME 2025（avg@4）：79.2 vs 96.7（保留率约82%）；
- AIME 2026（avg@4）：80.0 vs 94.6。
综合9项基准，Saluki平均保留率达96%，但数学与复杂推理类任务降幅最大（12–18分），工具调用类任务则实现反超。
与同类紧凑模型对比
Saluki 27B在兼容性上具备独特优势：它是目前唯一能在stock llama.cpp中运行的27B级Qwen量化模型。相较PrismML的Bonsai 2（5.95GB、1.75比特/权重、宣称98.2% FP16保留率），Saluki虽体积略大、数学得分偏低，但无需定制化推理引擎；而ISTA的IQ2_XS（8.4GB）尚未公开工具调用专项优化结果。所有模型均采用Apache 2.0许可。
关键结论
Saluki 27B以7.89GB体积承载27B参数规模，在保持本地Agent核心能力（尤其是并行工具调用）的同时，大幅降低硬件门槛；其取舍明确：优先保障智能体行为鲁棒性，容忍数学与长程推理性能损失。该模型已在Hugging Face发布Model Card，相关资源同步上线Underdog官网及X平台。