技术突破落地!智谱携手多方完成ZCube新架构规模化部署

🤖 由 文心大模型 生成的文章摘要

近日,智谱AI联合驭驯网络,协同清华大学科研团队,成功在GLM-5.1线上生产集群,完成新一代网络架构ZCube的规模化商用落地,为大模型算力集群优化开辟全新路径。

本次技术落地应用于GLM-5.1代码生成业务场景,优化过程未改动原有GPU算力资源、配套软件栈及上层应用程序,在业务运行状态无感知的前提下,实现成本与性能双重显著优化。

成本管控层面,全新ZCube架构有效精简硬件组网配置,成功削减33%交换机与光模块采购及部署成本,大幅降低大模型集群基建投入,缩减算力集群运营开支。

性能表现上,集群整体运行效率明显跃升,GPU平均推理吞吐量同步提升15%,单位算力可处理更多任务,业务承载能力显著增强。响应时延指标优化效果尤为突出,TTFT P99数值下降40.6%,模型首包响应速度大幅加快,交互延迟有效降低,用户使用体验更为流畅。

此次规模化落地,印证新型网络架构适配国产大模型生产集群的实用性与先进性。既能依托现有硬件体系挖掘性能潜力,又可压缩硬件组网成本,兼顾经济性与运行效率。后续该架构有望进一步推广复用,助力大模型算力集群降本增效,推动通用人工智能产业高效稳健发展。