Perplexity 开源 Lily，加速 Mac 上的千问推理
Perplexity 已公开这款 Rust 与 Metal 专用引擎的源代码、测试和复现材料，并称其在 M5 Max 上运行 Qwen3.6-35B-A3B 的速度最高为 MLX-LM 的1.35倍。
为单一模型量身打造
Perplexity 已开源本地推理服务器 Lily，专门用于在苹果芯片上运行 Qwen3.6-35B-A3B。实现代码、测试和基准复现材料现已进入公司的公开 pplx-garden 仓库，并采用 Apache 2.0 许可证。Lily 以 Rust 管理运行流程，使用从源代码即时编译的 Metal 内核，并提供经过严格限制的 OpenAI 聊天补全接口。整个推理链路不依赖 PyTorch，也不经过苹果的通用框架 MLX，但会读取转换为 MLX affine 四位格式的模型权重。
Lily 面向一个指定的四位量化检查点。Qwen3.6-35B-A3B 总参数量为350亿，但每个词元仅激活约30亿参数：系统从256个专家中选择八个，并同时调用一个共享专家。量化后的模型文件为19.4GB，网络结构由十层完整注意力与30层 Gated DeltaNet 循环层组成。Perplexity 据此针对数据搬运、任务调度和计算内核逐项优化。
提速明显，适用面仍窄
Perplexity 在配备40核 GPU 和128GB统一内存的 M5 Max MacBook Pro 上测试称，在256至12.8万词元的不同长度下，Lily 的提示词处理吞吐量平均为 MLX-LM 的1.23倍，生成吞吐量平均为1.35倍。在提示词和生成上下文均约4000词元时，两项速度分别达到每秒5749.9和186.6词元；MLX-LM 对应成绩为4737.5和140.9。
这些增益主要来自让专家路由和循环状态持续留在 GPU、融合运算以减少中间数据读写，并根据上下文长度切换注意力执行路径。Perplexity 还称，推测解码在单请求场景下反而让速度下降18%，原因是候选词元形成了低效的计算形状，并分散了对专家权重的访问。
这仍是一项由开发者自行完成且范围严格受限的对比，但外部开发者现在已经能够检查实现并尝试复现结果。仓库提供按日期区分的 MLX 对比报告、基准工具、CPU 参考内核测试、着色器与接口测试，以及需要指定模型文件的可选端到端测试。Lily 要求 M5 或更新的苹果 GPU、macOS 26 和指定的量化检查点，不支持其他尺寸的千问模型、稠密或 BF16 检查点，也不兼容 GGUF、AWQ、GPTQ、int8 和 fp8 格式。接口目前也只接受文字消息和贪心式非流式生成，不支持工具调用、采样控制、多模态输入或推测解码。
这项发布说明，本地 AI 的性能提升可能越来越依赖模型架构、运行时与具体设备的协同设计，而非完全交给通用框架。Lily 的适用范围仍然很窄，但代码和复现材料公开后，其性能主张已从预告转变为可由独立开发者检验的结果。