Cactus发布开源工具调用模型Needle 2：45M参数、14MB二进制、28MB内存运行

轻量极致：面向边缘设备的工具调用新范式

Cactus Compute正式发布Needle 2——一款专为工具调用（tool calling）、设备控制与结构化信息抽取设计的开源小模型。该模型参数量仅4500万，完整权重以单一14MB二进制文件交付，运行一次完整对话会话仅需约28MB RAM，且无需运行时环境安装，推理时亦无额外下载。其权重经Cactus自研CQ2-bit量化训练与部署，并深度集成于公司自研C++推理引擎中，实现‘开箱即用’的嵌入式部署体验。

跨平台兼容与实测性能

Needle 2提供预编译二进制及静态库，全面支持macOS、Linux（x86-64/ARM64/ARMv7/RISC-V/MIPS32el）、Windows、Android、iOS/watchOS/tvOS及WebAssembly。实测解码吞吐量达：树莓派5上500 token/s；Meta Quest 3S与Apple Vision Pro上400–1500 token/s；售价低于200美元的入门级手机上300–700 token/s。据Cactus介绍，Pebble公司已在Index 01应用中本地集成Needle 2，用于离线语音指令执行。

架构创新：Simple Attention Network

Needle 2采用团队定义的‘Simple Attention Network’架构：以Hadamard变换替代传统前馈网络（FFN），保留分组查询注意力（GQA），引入基于哈希n-gram表的engram键值记忆机制，并采用多通道超连接（multi-lane hyper-connections）。网络共27层，隐藏层宽度512。相关基础研究《A Controlled Study of Attention-Only Transformers》已发布于arXiv。预训练使用1150亿token私有语料，后训练阶段补充380亿token。相较而言，LFM2.5-230M预训练量达19万亿token。

高效推理与结构化约束

模型全程保持2-bit权重压缩状态，不加载至RAM解压；量化码字在向量寄存器内动态展开，并直接参与整数点积运算，全程算术路径维持int8精度。启动时自动探测CPU特性，动态选择最优内核（SDOT/NEON/AVX2/RISC-V向量/wasm SIMD/标量）。通过从用户JSON Schema编译生成的字节级语法（byte-level grammar），严格约束每个输出token，使结构化token的词汇表投影可跳过高达98%的候选词。注意力窗口固定为256 token，系统提示与工具声明被锚定为KV sink，确保内存占用与对话长度无关。

智能工具检索与置信度机制

当声明工具数≤5个时，直接渲染全部；超过5个则启用对比式检索头（contrastive retrieval head）：对每个工具Schema进行一次性嵌入，每轮根据查询动态打分，仅开放得分最高的5个工具——未入选工具完全不可达，而非概率极低。每次响应均附带置信度值，取自校准后的后处理头与调用token解码概率的最小值；偏离主题请求统一返回空调用`[]`，系统依预设阈值执行动作或触发重问/云回退。

基准评测：专注设备场景的精准优势

Cactus在5个公开函数调用基准上采用‘有序严格精确匹配’（ordered strict exact match）评估——要求函数名、调用顺序及所有参数完全一致。Needle 2以CQ2-bit量化+内置检索模式端到端运行；基线模型（LFM2.5-230M、FunctionGemma-270M、Apple FM）则以f16精度在vLLM框架下运行。结果显示：Needle 2在Mobile Actions（961样本）中达63.7%，在Seal-Tools领域内/外（OOD）测试中分别达32.6%与28.7%，均领先其他模型；函数名识别准确率达98.3%。其在BFCL v4单轮测试（3641样本）中得分为42.6%，略低于基线，Cactus归因于训练语料分布差异——Needle 2聚焦消费级设备操作，而非通用或企业级API。

编者观点

Needle 2代表了一种清醒务实的技术路径：放弃通用大模型幻觉，回归具体硬件约束下的确定性任务。对中国IoT、智能家电、车载交互及工业边缘设备厂商而言，它提供了真正可量产落地的离线AI能力底座，尤其适用于音频/敏感数据不出设备的强合规场景。