Liquid AI开源Pipette：端侧模型联合评测套件

端侧性能不能只看模型卡

Model Card上标注的服务器级全精度指标，往往无法预测同一模型在手机上的实际表现。为弥合这一鸿沟，Liquid AI本周正式开源Pipette——一个面向边缘设备的基础模型基准测试平台，并由独立机构Artificial Analysis对方法论进行审查与验证。

以‘部署配置’为最小测量单元

Pipette的核心理念是：端侧行为是整个部署系统的属性，而非孤立模型的属性。其基本测量单位是完整配置（model + quantization + runtime + device）。每个基准测试定义具体指标（如延迟、吞吐量、内存占用）与token形状（输入/输出长度），输出可复现的量化结果。质量评估则另行追踪，使用IFBench、GPQA Diamond和MATH-500等标准评测集，但这些分数目前均来自NVIDIA H100 80GB上的llama.cpp评测，再与对应模型+量化组合的端侧实测结果关联展示——即手机旁标注的质量分并非在手机上运行得出。

首批实测覆盖千余配置，横跨多平台与场景

首发数据集涵盖五大端侧性能指标，在超1,000种‘模型×量化×运行时×设备×上下文长度’组合下完成评测。涉及30多个开源模型；支持Q4_K_M等多种量化格式；包含macOS、iOS、Windows和Android平台的llama.cpp构建版本；上下文长度从256至8,192 tokens。首批经验证结果来自MacBook Pro（M5 Max芯片）、iPhone 17 Pro和Galaxy S26 Ultra；AMD Ryzen AI Max+ 395与Radeon 8060S结果已列入‘即将发布’清单。

四组对比揭示部署上下文的关键影响

Pipette公布的四组实测对比清晰表明：脱离部署环境谈模型性能会严重误导决策。例如：

• 上下文扩展性差异显著：同为Q4_K_M量化、同在Galaxy S26 Ultra上，Granite-4.0-H-350M在输入token从256增至4,096时，解码吞吐量保留率达78.4%，而Granite-4.0-350M仅剩33.8%；
• 稀疏激活不等于内存节省：LFM2.5-8B-A1B在2,048输入token下解码速度达Qwen3.5-4B的2.4倍，但峰值内存仍高达5.29 GiB——因所有专家权重始终驻留内存；
• 速度与质量不可兼得：MiniCPM5-1B在iPhone 17 Pro上完成2,048-in/256-out任务耗时3.47秒，比LFM2.5-1.2B-Instruct快15.8%，但后者在MATH-500上高出9.0分；
• 系统指标接近≠任务表现一致：Granite-4.1-8B与Ministral-3-8B-Instruct-2512在M5 Max上解码吞吐量仅差2.4%、峰值内存差1.2%，但前者IFBench高7.3分，后者GPQA Diamond高14.0分。

开箱即用的全栈基础设施

Pipette以Apache 2.0协议开源，包含三类核心组件：`pipette-mgmt`（管理后端）、`pipette-clients`（跨平台客户端）、`pipette-scores`（评分工具）；配套提供公开结果数据集、托管式交互仪表盘，以及原生iOS与Android基准测试App。无等待名单，全部开放使用。社区提交结果的公开发布功能目前处于Beta阶段。

适用对象与典型用例

任何需将模型部署到非自有硬件的团队均可采用：独立开发者与种子期初创公司可直接使用仪表盘与移动端App；中型产品团队可在内部设备集群上运行客户端；大型OEM厂商、芯片供应商及企业客户可将整套流水线部署于私有防火墙内。典型应用场景包括：冲刺开发前的模型与量化选型、SoC与硬件采购验证、运行时/OS/驱动更新后的回归测试、上下文长度容量规划，以及对供应商性能承诺的独立验证。