TurboFieldfare是一个开源推理引擎，可在仅使用2GB内存的M系列Mac上运行260亿参数的Gemma 4模型，通过从SSD流式传输专家权重并重叠计算与I/O实现。根据硬件不同，生成速度为每秒5至35个token，并提供兼容OpenAI的本地服务器。
背景
在消费级设备上运行大语言模型通常需要大量内存；该项目通过智能缓存和并行化技术，将部分模型卸载到存储设备，同时保持性能，展示了新型推理方法。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年7月29日 23:05
- 评分
- 8.0 / 10