跳至问答内容

本地算力

一台设备能支持多少人同时使用?

需要通过指定模型和真实负载测试,无法仅凭设备名称给出可靠人数。回答长度、上下文、并发请求与响应目标都会影响容量。

测试时应区分注册用户数、同时在线人数和同时生成回答的请求数。三者不是同一个指标。

建议约定典型任务、并发梯度和可接受延迟,并把测试结果与扩容条件写进验收说明。

参考与依据
资料核对 千青子科技
浏览同主题问题 ↗

继续了解

全部常见问题 ↗