资讯 · IT之家 · 2026-10-18

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每 Token)的推理速度, 对比相同硬件(GB300 NVL72)性能提升 1.68 倍 。 据介绍,该项优…

在浩宇中阅读全文