跳至洞察新闻内容

行业洞察

评测转向「任务完成时间」:流得快不等于干得完

约 1 分钟千青子科技

面向 Agent 工作负载,行业评测开始用整段任务耗时替代单纯的吐词速度,默认算力档位也进入可比维度。

评测转向「任务完成时间」:流得快不等于干得完

随着工作负载越来越「代理化」,只比每秒吐出多少 token 已经不够。新的性能标尺把焦点放到「完成一项任务要多久」:从发出请求到拿到最终结果的端到端时间,覆盖预填充、隐藏推理与生成全过程,并纳入多轮编码与知识工作场景。

在这一口径下,单位速度更快的模型未必更早收工。输出更克制、步骤更少的模型,往往能以更低的端到端耗时跑完同等智能指数任务;而把努力档位从最高降到 API 默认中档,通常能把耗时与成本同时压下数倍,智能分数只小幅回落。

对选型团队来说,建议把「任务完成时间」和「默认档位成本」写进评测清单:先用榜单短名单,再在真实 Agent 流水线上计时计费。盯着流式观感做采购,很容易买到「看起来很快、干完却更慢」的方案。

— 阅读至此 —返回洞察与新闻 ↗