StartLux 开源决策模型推理引擎 Prism，最高提速 5.3 倍

智东西 作者 | 王涵 编辑 | 漠影 近期，大模型行业掀起一股 开源自研推理引擎 的浪潮。 10月20日，DeepSeek正式开源生产环境实际使用的推理框架DeepInfer。几乎同时，10月22日，国内AI创业团队 StartLux原点星辉 也对外开源了其 自研推理引擎Prism 。 同样是自研推理系统，DeepSeek的DeepInfer服务于自家通用大模型的云端大规模业务；而Prism则聚焦“决策模型”，据公开资料，其也是 首款专门面向决策模型打造并对外开源的推理引擎 。 决策模型是近段时间快速走红的大模型新赛道。不同于主打对话、内容创作的生成式大模型，决策模型不需要输出大段文本，在读取材料之后， 直接输出判断结果 ，给出是/否、选项选择、风险等级打分这类概率化结论。 自今年9月Jev模型爆火之后，决策模型迅速成为行业焦点，微软、AWS、Cloudflare等企业也相继入局布局。 在国内决策模型赛道，成立尚不足五个月的StartLux原点星辉已经跑出了不错的成绩。10月16日，该团队推出新一代决策模型 StartLux‑Decision-v1.1 ，以 69.1分 登上Hugging Face的Decision Index 0.3.2榜单首位， 在173个公开可复现模型中排名第一 。 截至目前，StartLux决策模型累计下载量 超18万 ，决策模型API已累计响应来自全球 超300万次 决策请求。 Github 推理引擎： https://github.com/StartLuxLabs/StartLux-Prism Github 决策模型： https://github.com/StartLuxLabs/StartLux-Decision Github 决策模型榜： https://github.com/StartLuxLabs/DecisionPivot Huggingface 决策模型： https://huggingface.co/papers/2610.17309 Huggingface 决策模型榜： https://huggingface.co/papers/2610.28522 不过，即便模型能力实现突破，落地环节仍存在现实瓶颈。 在此之前，StartLux-Decision-v1.1运行在基于vLLM 0.31的通用推理框架之上。然而，vLLM这类主流框架原生面向聊天、续写文本这类逐token生成场景设计，并不适配决策模型，模型的实际能力很难充分释放。 Prism就是StartLux给出的解法： 按决策模型的需求重写推理引擎。 实测其在单张H200显卡上，Prism处理单个短问题比原方案 快2.8倍 ，同一份材料连问三个问题， 最快可提速5.3倍 。 这套专为决策模型重构的推理引擎，到底做了哪些关键改动？各项性能数据的实测结果如何？为何越来越多AI企业选择自研推理框架，而非直接使用社区通用方案？本文将围绕以上问题展开解读。 一、StartLux用四大创新，破解推理效率难题 想要看懂Prism的优化思路，首先要厘清决策模型的运行逻辑。 例如有一位客户投诉：“订单被扣了两次钱，App里却还显示未付款。”接到这个投诉，系统需要同时判断：工单交给哪个部门、今天是否必须回复、问题有多严重。决策模型需要读完材料，分别给每道题的备选答案打分，返回各选项的概率。 反观vLLM、SGLang等通用推理框架，其设计初衷服务于文本生成任务。如果用它们跑决策模型，每一道问题都要被拆解成独立请求，分别完成网络请求、分词、调度，并且重复执行庞大输出层的计算。 Prism的全部优化，都围绕一个核心目标：完成一次决策，只执行必不可少的计算。 优化一：收敛输出计算范围 以27B参数量的 StartLux‑Decision 模型为例，它的输出层包含12.7亿权重，通用引擎需要对24.8万个候选词做完整打分，但决策任务只用到A‑Z共26个字母作为输出选项。 Prism将输出层计算范围压缩至原先的 0.01% ，模型依旧完整完成材料理解，只是在输出判断结果阶段，跳过大量无关候选词的计算。 优化二：“森林式”计算 业务场景中经常出现同一份材料对应多项判断需求。比如一份客户工单，需要同时判定归属处理团队、是否需要当日回复、故障严重等级。传统框架每解答一道题目，就要重新完整处理一遍工单材料。 Prism创新性地将批量任务构建成 “森林式”计算结构 ：通用指令作为树根，共用的参考材料作为树干，各个独立问题作为分支树枝。 树根、树干对应的计算只执行一次，不同问题仅处理自身新增部分。针对同一份材料的多轮追问同样可以复用已有计算结果。 优化三：采用整数运算 在和大语言模型互动的时候，我们常常会遇到一个问题：同一个问题，大模型每次给出的答案都不尽相同，有时候

来源只提供摘要，完整内容请打开原文。