StartLux 开源 Prism，专为决策模型提速
StartLux 开源推理引擎 Prism，称其在单张 H200 上可让决策模型获得最高 5.3 倍加速。
为机器决策单独做一套推理栈
StartLux 开源了 Prism 推理引擎，专门服务于 StartLux-Decision 决策模型。与通常需要连续生成 token 的语言模型不同，这类模型会针对预先定义的选项直接返回概率，面向分类、排序、评分以及其他需要表达不确定性的任务。
Prism 支持 vLLM、llama.cpp 和 MLX 等常见部署框架，同时覆盖 StartLux 的 Instant 和 AutoThink 两类模型。Instant 模型通过一次前向计算给出结果；AutoThink 模型则在置信度低于阈值时，额外生成简短推理并重新判断。
StartLux 公布的测试显示，在单张 NVIDIA H200 上运行 27B 模型时，Prism 相比基于 vLLM 的实现可获得 1.2 倍至 5.3 倍加速，具体幅度取决于任务类型。项目采用 Apache 2.0 许可证，商业和研究用途均可使用。
为什么值得关注
这项发布的价值不只在于最高 5.3 倍的数字，而在于它把“决策推理”当成了独立的系统问题。许多生产任务并不需要一段对话式回答，而是需要有限选项中的选择、概率估计和稳定延迟。为这些任务生成长文本，既增加成本，也增加错误入口。
如果专用引擎成熟，它可能让更小的模型更适合欺诈筛查、路由、内容审核、临床评估和代理控制环路。概率输出也有机会直接交给下游系统使用，而不是被一段看似确定的文字掩盖。
但这项技术仍有明显边界。加速数据来自 StartLux 自己的测试场景，概率校准也需要在外部任务中验证。决策模型还依赖清晰的选项定义和标签设计，不可能全面替代语言模型。Prism 的意义在于，它尝试把 AI 推理从“一套模型生成所有文本”推进到按任务定制计算。
猫叔判断
5.3 倍只有在真实生产任务和 Apache 许可下都成立才有意义；真正值得看的是概率输出，而不是倍数本身。