上海创智学院发布下一代大模型开源AI基础设施,引领国产算力生态突破

🤖 由 文心大模型 生成的文章摘要

9月12日,上海创智学院正式对外发布两项重磅成果——自主可控的强化学习框架siiRL 2.0与低比特训练技术Metis,为我国大模型产业发展注入关键动力,标志着国内在AI基础设施核心技术领域实现重要突破。​

作为此次发布的核心成果之一,siiRL 2.0强化学习框架凭借其卓越的性能与兼容性,被业内专家誉为“下一代AI模型的动力引擎”。该框架从底层架构设计阶段便充分考虑国产芯片适配需求,原生支持华为昇腾910、沐曦MX1等多款主流国产AI芯片,彻底打破了此前部分国外框架对国产硬件的适配壁垒。更值得关注的是,siiRL 2.0成功实现千卡级强化学习集群训练能力,这一突破在国内尚属首次——此前国内同类框架普遍局限于百卡级训练规模,千卡级训练的实现意味着我国在大模型并行计算技术上迈出关键一步,可支撑更复杂、更大规模的AI模型研发,如千亿参数级多模态大模型、工业级智能决策系统等。​

不仅如此,siiRL 2.0采用完全分布式架构设计,具备极强的扩展性,未来可平滑扩展至万卡级集群,为超大规模AI模型训练提供充足算力支撑。在实际应用场景测试中,该框架展现出惊人的效率优势:在多模态内容生成(如图文跨模态理解、视频语义分析)和长上下文处理(如百万字级文档摘要、超长对话生成)场景下,其运算效率较当前国际主流的强化学习框架(如Ray RLlib、Stable Baselines3)提升2-7倍,能有效缩短大模型研发周期,降低企业算力成本。针对当前全球TOP50大模型中80%未开源、技术壁垒高企的现状,siiRL 2.0坚持开源生态路线,已在GitHub等平台开放核心代码与开发文档,将推动多智能体协同控制、深度认知推理等前沿技术的普惠化发展,助力中小科技企业与科研机构快速切入大模型研发领域,加速AGI(通用人工智能)技术落地。​

与此同时,上海创智学院研发团队同步推出的Metis低比特训练技术,为国产芯片性能优化与成本控制提供了全新解决方案。在传统大模型训练中,行业普遍采用fp32(32位浮点数)精度进行计算,虽能保证训练精度,但对芯片存储带宽、算力资源需求极高,导致训练成本居高不下。Metis技术通过创新的精度补偿算法与梯度优化策略,实现了训练精度的“接近无损压缩”——将计算精度从fp32降至fp4(4位浮点数)的同时,模型训练后的任务准确率损失不足1%,远低于行业平均5%-8%的损失水平。​

研发团队负责人在发布会上介绍,Metis技术的核心突破在于首次揭示了大模型低精度训练中“梯度离散”“权重漂移”等问题的根本成因,并针对性提出“动态精度补偿机制”与“分层量化训练策略”,从算法层面解决了低比特训练的精度瓶颈。这一技术不仅为国产芯片的架构优化指明方向——未来芯片可针对fp4低比特高吞吐计算场景,优化存储单元与计算单元设计,大幅提升算力密度;还能显著降低AI训练的硬件成本与能耗:据测算,采用Metis技术后,大模型训练的硬件采购成本可降低60%以上,服务器能耗减少50%,为AI技术在工业、医疗、教育等传统行业的规模化应用扫清成本障碍。

「93913原创内容,转载请注明出处」