Buoyant开源Kinference，统一管理Kubernetes上的vLLM集群
Kinference在vLLM之上加入路由、限流、KV缓存感知负载均衡和租户指标，瞄准多模型企业部署。
新项目做什么
Linkerd背后的Buoyant发布了Kinference。这是一个采用Apache 2.0许可证的开源推理控制平面，面向Kubernetes上的推理工作负载。它位于vLLM工作节点之前，负责把请求分发到模型服务器集群。当前版本为v0.1.0-alpha.7，使用Rust编写。
Kinference把几项运营能力集中在同一层：基于策略的路由、Token速率限制、感知KV缓存的负载均衡，以及按租户统计指标。项目通过五种Kubernetes自定义资源进行配置，平台团队可以用集群原生的方式描述推理行为，不必为每个模型端点单独开发调度器。
为什么基础设施值得看
它没有发布新模型，却切中了开放权重部署正在出现的瓶颈。企业往往会根据延迟、隐私和成本需求同时运行多个模型。当这些模型共享GPU、服务不同内部客户后，真正棘手的问题变成：请求应该交给哪个工作节点、每个租户能消耗多少上下文，以及怎样让注意力缓存继续发挥作用。
这正是Kinference试图解决的范围。由于聚焦vLLM，它对希望自行掌控模型服务、而不是把全部推理交给专有云API的团队尤其 relevant。Apache许可证降低了采用门槛，但项目仍处于alpha阶段，生产稳定性、故障处理和高压性能都需要外部验证。
Kinference短期内不会改变模型排行榜。它的意义在于架构层面：把推理视为集群管理问题，而不是一组互相孤立的端点。如果项目成熟，统一控制层可能让开放模型更容易进入企业规模部署，并进一步压低推理运营成本。
Uncle Cat判断
Kinference最有价值的是感知KV缓存的路由，而不是又一个Kubernetes封装；但alpha版本仍把生产风险留给了采用者。