⚡ 猫叔的AI资讯雷达
融资产业

Gimlet Labs融资3亿美元押注解耦式AI推理

Gimlet以超大额B轮融资扩张异构推理平台,试图把不同芯片和内存资源组织成可统一调度的算力池。

把推理能力从固定服务器中拆开

Gimlet Labs完成3亿美元B轮融资,由Andreessen Horowitz领投,Arm、微软旗下M12、三星风投、Sapphire Ventures和Tiger Global等参与。该公司正在开发解耦式推理平台,希望跨服务器组合处理器和内存资源,不再要求整个模型工作负载都被装进传统的紧耦合GPU服务器。

Gimlet称,自3月以来新增合同金额达到数十亿美元,数据中心项目储备达到吉瓦级,并正向数百兆瓦托管能力扩张。不过,公司没有逐一披露客户承诺、估值、已确认收入或详细交付时间,因此这些数字主要代表远期合同和规划中的基础设施,并不等同于已经上线的运营规模。

其技术逻辑是,大模型推理包含多个计算特征不同的阶段,并非所有环节都必须使用同一种加速器。将提示词预处理、词元生成等工作拆开,有机会混用多种硬件、利用原本闲置的资源,也不必让每台服务器都按最重负载配置。Arm和三星等战略投资者的加入表明,一旦异构推理可行,非英伟达处理器及内存供应商也可能获得更多市场空间。

落地难度同样不低。数据在解耦组件之间传输会增加延迟和网络成本,大模型服务还要求调度软件及时应对快速变化的请求。Gimlet也必须在数据中心建设和硬件融资压力失控前,把合同转化为真正运行的容量。

为什么重要

如此大额的B轮融资说明,推理基础设施本身正成为资本密集型市场。如果Gimlet能让不同硬件像统一资源池一样工作,模型厂商购买的将是可用计算能力,而不只是标准化GPU整机,利用率和供应商选择都有望改善。最大悬念在于:当规模扩展至数百兆瓦后,软件带来的节省能否覆盖网络、电力和融资增加的成本。

信源