解码AI开源课程：三种智能体运行模式及对应算力经济模型

智能体效果的关键不在模型，而在‘骨架’

多数团队将‘选用哪个大模型’视为核心决策，但工程实践反复表明：真正决定智能体性能的是其运行框架（harness）。LangChain的Terminal-Bench实验显示，在模型完全不变的前提下，仅更换harness即可使编码智能体排名从第30位跃升至前5名。这一结果彻底重构了问题本质——若harness主导质量，那么如何运行智能体循环（agent loop）就不再是部署细节，而是一项关键架构设计。

一个无界面核心，三种运行形态

该课程构建的Python智能体Decode，其核心是一个‘无界面’（headless）harness：它不自带用户接口，仅承载所有智能体共用的基础循环——LLM生成动作、工具执行、观测结果反馈回上下文窗口。智能体本体极轻量，Decode中仅约20行Pydantic AI定义，整合模型、工具与输出类型；相比之下，Claude Code泄露源码中的核心循环约150行。其余所有功能——记忆管理、技能封装、沙箱环境、权限控制、LSP反馈、上下文压缩——均属于harness范畴。接口则作为插件接入此核心，由此衍生出三种运行模式。

模式一：交互式在线（Interactive, Online）

终端UI直连单个内存内会话，事件通过异步生成器随token流实时返回。最大挑战在于‘转向控制’（steering）：若用户在工具调用进行中输入，立即注入消息将破坏当前对话轮次。Decode采用‘转向队列+优先级门控’机制：输入抵达即缓冲，仅在安全边界（MODEL_REQUEST或WOULD_STOP）注入。Enter键用于轮次内转向，Alt+Enter排队后续指令，Esc触发协作式中止。因人类需逐token阅读，该模式对延迟极度敏感，必须依赖低延迟托管API服务。

模式二：远程离线（Remote, Offline）

harness保持无界面，部署于服务器并通过代理运行时（如Kitaru，ZenML的agent runtime）调度，智能体实际在Modal平台执行。无人实时监控，任务以工单形式批量分发至N个并行harness，各自生成PR。运行时逐步记录进度，沙箱中断后可从最后保存步骤恢复而非重头开始；等待人工输入时自动冻结、零计算消耗。工具在Modal远程沙箱（Docker本地）执行。核心指标是‘每美元吞吐量’，而非首token延迟。

模式三：异步在线（Async, Online）

介于前两者之间：实时会话将任务提交至作业队列后立即返回，后台工作流并行发起LLM调用，结果异步回传。用户在线但不紧盯每步进展，队列拥有任务生命周期，运行可超越初始客户端会话。该模式支撑Slack触发智能体与后台PR审查等场景，计费方式类批处理而非聊天流。

算力经济模型随模式切换

成本结构由延迟要求驱动，差异巨大。以处理1000份文档为例（每份3万输入token、500输出token）：按前沿API费率（$3/百万输入token，$15/百万输出token），总成本近$97；而使用Serverless GPU批量处理（约3000 token/秒），同等工作量耗时不足3小时GPU时间，成本约$13。反向场景同样尖锐：Decode默认测试模型Qwen3.6-35B运行于单块H200，Modal标价$0.001261/秒（约$4.54/小时）。若交互式智能体整夜空闲等待用户确认，10小时闲置即增加约$45成本。根本逻辑在于：交互式按token计费（人正在等待），离线与异步式按GPU小时计费（目标是吞吐效率，闲置即浪费）。另一维度是Serverless与预留容量的选择——当峰值与平均负载比超过预留折扣率时，Serverless更具成本优势；Modal数据显示，典型场景下Serverless可比预留便宜2–5倍。