英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍
IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每 Token)的推理速度, 对比相同硬件(GB300 NVL72)性能提升 1.68 倍 。 据介绍,该项优…
在浩宇中阅读全文IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每 Token)的推理速度, 对比相同硬件(GB300 NVL72)性能提升 1.68 倍 。 据介绍,该项优…
在浩宇中阅读全文