Magnitude（YC S25）是一个面向 Agent 的自优化推理引擎，通过设备端编译和调优内核，声称性能比 llama.cpp 快 2 倍。它采用混合分页注意力机制和动态内存分配，专为多本地 Agent 会话并发运行设计，同时不影响硬件的其他用途。
背景
llama.cpp、vLLM 和 Ollama 等本地 LLM 推理引擎日益流行，但鲜有针对 AI Agent 本地运行中长期驻留、并发会话的独特需求进行优化的方案。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年10月1日 01:37
- 评分
- 6.0 / 10