Hugging Face发榜,中国模型StartLux稳居决策模型SOTA

🤖 由 文心大模型 生成的文章摘要

全球知名AI开源社区Hugging Face的Decision Index 0.3.2榜单近日更新,中国AI创业公司StartLux(原点星辉)推出的StartLux-Decision-v1.1-27B Instant以69.1分登顶全球第一,在173项公开复现模型中排名榜首,领先第二名近3分,也是榜单中唯一突破69分的模型。继9月底发布首代模型后,StartLux仅用十余天再次刷新行业最佳成绩,稳居全球决策模型SOTA。

在另一测试中,StartLux同样拉开性能差距:基于Decision Index 0.3的测试显示,StartLux-Decision-27B-AutoThink综合得分达73.37,较美国AI公司TypeSafe推出的Jev(hosted)的57.96领先约27%。9月30日,第一代开源决策模型的27B版本在Decision Index 0.2.1中取得63.88分,超过Jev 1.13的57.91分,38项基准中有31项领先。十余天内两度刷新行业最佳成绩,StartLux完成了从单点突破到全系列领先的跃升。

决策模型是AI系统的“判断中枢”,请求交给谁、工具能否调用、检索结果是否可用,都由它快速判断。新一代StartLux-Decision提供两种模式:Instant是“极速判断版”,覆盖0.8B至27B五种规模,不生成推理过程,直接给出答案和信心分数,适合请求路由、内容分类等高频任务;AutoThink是“按需思考版”,覆盖4B、9B、27B,信心达到0.9就直接回答,信心不足时才核对规则、计算数字并排查例外。

让模型愿意思考只是第一步,如何避免冗长无效推理并及时停止是另一关键。StartLux原创提出RLCD²强化学习方法:推理真正改善判断就奖励,思考冗长超预算就惩罚。效果明显:经过训练,9B模型自行结束推理的比例从45.9%提高到93.9%,平均推理长度从2494个token降至868个,减少约65%,决策准确率基本保持不变,模型学会“该想时想、想清就停”。

团队还设计了DecisionPivot测评基准,将条件相近、结论不同的题目组成一组,只有整组全部答对才计分。在7800道核心题中,StartLux-Decision-27B-AutoThink以86.9%的成对准确率位列第一。答对之外,模型还需准确判断自己答对的可能性,StartLux提出策略感知校准,将置信度与准确率的差距范围由−11.7至+20.5个百分点收窄至−2.7至+2.1个百分点,让系统更准确判断结果应自动执行还是交由人工复核。