Token消耗为何忽高忽低
在自然语言处理中,Token是模型处理文本的最小单位,通常1个Token约等于0.75个英文单词或半个汉字。在纯粹的API 调用模式下,Token输入多少字、输出多少字,明码标价。
但 AI Agent并不是简单的聊天机器人。Agent拥有自主规划、调用工具和逻辑推理的能力。
普通用户很难提前预估一次复杂任务的花费:为什么同一个定时任务,Token消耗会相差百倍?
首先,信息检索不可控。“处理相对模糊的定时任务,比如信息检索,Agent每次爬取的信息数量不固定、信息长度不一致,这对Token消耗量有很大影响。”一位开发者向经济观察报解释了同任务消耗浮动的可能原因。
以Agent接收到“检索今天的新闻”指令为例,它调用的搜索插件抓取到的资讯数量多少,决定了消耗的Token量。这些资讯会被全部塞进大模型的上下文窗口中进行阅读和总结。用户看到的是同样的一句输出,但在水面之下,模型的阅读量天差地别。
其次,多轮循环推理和后台无效重试,都会大幅推高Token消耗。一位头部互联网公司研发人员解释,Agent最大的魅力在于“自主性”。在执行复杂任务时,如果某一个API接口返回了错误的数据格式,或者爬虫遭遇了反爬机制拦截,Agent会“思考”:我遇到了错误,我需要换个方式再试一次。如果没有在底层代码中设置严格的最大重试次数硬性熔断机制,Agent就会在沙箱里陷入死循环。每一次重试,它都会带上之前所有失败的对话历史去请求模型,Token的消耗呈指数级暴涨。
第三是超长上下文无限堆叠。该头部互联网公司研发人员补充,很多普通用户习惯在同一个对话框里一直聊下去。但大模型的记忆机制决定了,用户当前发送的每一句话,系统都会把之前聊过的几十轮对话历史全部打包再发送一遍。对话越长,每一次互动的隐性成本就越高。
上述开发者还提到,在AI Agent产品中,如果用户未明确指定模型,或产品不支持自选具体模型,平台可能根据任务难度路由不同模型,这也会造成同一任务的Token消耗量不同,特别是近期各厂商新发布的模型,处理相同任务时消耗的Token量较旧模型明显提高。
技术层面之外,平台运营机制加剧了积分消耗的不透明:扣子官方文档中明确表示,因扣子平台技术问题而失败的任务,平台将进行周期性积分补偿,“系统自动识别并处理,无需手动申请”,却并未介绍系统没有识别到的失败任务该如何处理、有无人工审核机制。黑猫投诉上多位用户反映,因素材库损坏、沙箱崩溃导致而空转消耗的用户,均未收到任何补偿,他们邮件沟通得到的仍是模板式回复。
用户问题迟迟得不到解决,或与此前组织调整有关。一位接近扣子团队的人士告诉经济观察报,8月底“豆包工作”发布,扣子团队并入豆包体系,此后内部不乏对扣子、“豆包工作”这两款产品异同的讨论。尤其是在几家大厂AI Agent办公产品激烈竞争的局面下,资源更多向“豆包工作”倾斜。