BottleCap发布ThinkingCap-Qwen3.8-27B：推理token减少37.2%，准确率微降0.86pp
BottleCap AI推出ThinkingCap-Qwen3.8-27B，系Qwen3.8-27B的轻量化微调模型，核心目标是压缩推理过程中的思考token。在12项基准测试中，平均减少37.2%推理token，宏平均准确率从86.65%降至85.79%（-0.86个百分点）。模型可即插即用部署于vLLM/SGLang，提供FP8、NVFP4、GGUF、MLX等多格式量化版本。
模型定位与设计目标
ThinkingCap-Qwen3.8-27B是BottleCap AI推出的ThinkingCap系列第二款模型，基于通义千问团队发布的Qwen3.8-27B进行定向微调。其唯一优化目标是缩短推理链（reasoning traces）长度，而非提升知识覆盖、改变回答风格或增强安全对齐能力。研发团队明确要求：原始模型的推理能力、指令遵循能力与安全行为须完整保留。相较前代ThinkingCap-Qwen3.6-27B，本次迭代策略更为保守，重点强化了数学、复杂推理、长上下文理解及AI智能体（agentic）相关任务的评测覆盖。
基准测试结果（xhigh推理强度下）
所有主指标均采用默认推理强度设置`reasoning_effort=xhigh`。在12项基准测试中，推理token消耗全面下降，降幅介于10.7%至65.5%之间。知识类与多语言任务压缩效果最显著：MMMLU推理token从1,656降至571（-65.5%），MMLU-Pro下降57.3%；GPQA-Diamond从12,772减至7,267（-43.1%）；IFBench推理量减少46.4%，准确率几乎持平（79.75%→79.71%）。长上下文检索任务AA-LCR表现提升，准确率上升2.25个百分点（81.75%→84.00%），同时推理token减少38.6%；LiveCodeBench v6准确率微升0.07pp，推理量下降20.3%。智能体类评测中，τ²-bench准确率下降1.01pp（对应30.9% token削减），Terminal-Bench 2.1下降0.56pp（在±4.26误差范围内），对应10.7% token减少。代价最高的是AIME 2026数学竞赛题集，准确率下降3.85pp（98.13%→94.27%），推理token减少30.2%。整体12项测试的token削减均值为37.2%，总平均推理token数从15,735降至12,144。
与推理强度调节的协同效应
Qwen3.8-27B原生支持`reasoning-effort`参数调节。ThinkingCap模型的压缩能力可与该参数叠加使用。在medium强度下，基线模型推理token减少52.1%（准确率-9.16pp），ThinkingCap则减少60.2%（-9.90pp）；在low强度下，对应数据分别为-55.4%/ -9.71pp（基线）与-62.3%/ -10.79pp（ThinkingCap）。当完全关闭推理模式时，ThinkingCap准确率落后基线5.7pp。BottleCap团队建议用户在生产环境中优先采用xhigh强度，以获得最佳准确率-成本平衡；不同推理强度模式的专项优化将留待后续版本。
评测方法与部署支持
全部测试在单块NVIDIA H200 GPU上，使用vLLM 0.29.0框架完成，采样参数严格一致（temperature=1.0, top_p=0.95, top_k=20, min_p=0.0）。准确率报告为多随机种子均值，并附带95%置信区间；种子数量依任务而异（AIME 2026用32个种子，MMLU-Pro与MMMLU仅用1个）。MMMLU采用固定10,000题样本，其余11项测试运行全量数据集。MTP推测解码（3 token草案）在AIME 2026上被验证为准确率中性，草案接受率达53%，平均每步采纳约2.6个token，与基线模型一致。
模型提供bf16精度检查点（28B参数），支持图文多模态输入。官方发布5种量化版本：FP8（31GB，适配vLLM及Hopper/Blackwell架构）、NVFP4权重量化（21GB，Hopper/Blackwell）、NVFP4 W4A4（AWQ格式，23GB，仅Blackwell）、GGUF（16–55GB，兼容llama.cpp/LM Studio/Ollama）、MLX 4-bit DWQ（21GB，专为配备32GB内存的Apple Silicon Mac优化）。服务部署沿用基线模型方案：vLLM中启用`--reasoning-parser qwen3`及`qwen3_xml`工具调用解析器，推理过程输出独立字段。许可证采用PolyForm Small Business 1.0.0，并附加BottleCap个人使用授权；上游Qwen组件仍遵循Apache-2.0协议。目前Hugging Face平台暂无托管推理服务提供商上线该模型。
核心结论
• 在12项基准测试中平均减少37.2%推理token； • 宏平均准确率下降0.86个百分点（86.65%→85.79%）； • 长上下文任务AA-LCR准确率反升2.25pp，AIME 2026数学任务准确率下降3.85pp； • 完全兼容Qwen3.8-27B部署流程，支持相同采样参数与vLLM/SGLang服务配置； • 模型权重受控分发，商用需另行签署BottleCap许可协议。