中科曙光发布 AI 推理原生存储 FN Neo:Token 吞吐能力提升 150%
周一
中科曙光推出全新迭代的 AI 推理原生存储 FN Neo,可统一管理共享推理缓存,将 TTFT 缩减 73%,Token 吞吐提升 150%,延迟、吞吐量及并发数较传统本地 NVMe 大幅提升。该产品具备 99.999% 高可靠性,兼容主流推理框架与多元组网环境,无需大规模改造现有系统即可部署,支撑大模型、智能体规模化生产落地。
体验专业版特色功能,拓展更丰富、更全面的相关内容。
中科曙光推出全新迭代的 AI 推理原生存储 FN Neo,可统一管理共享推理缓存,将 TTFT 缩减 73%,Token 吞吐提升 150%,延迟、吞吐量及并发数较传统本地 NVMe 大幅提升。该产品具备 99.999% 高可靠性,兼容主流推理框架与多元组网环境,无需大规模改造现有系统即可部署,支撑大模型、智能体规模化生产落地。