开发者构建了SlotStream，一个基于MLX和Swift的Mac原生工具，通过专家卸载和SSD流式传输技术，在48GB内存的Mac上以约12 tok/s的速度运行125B参数Qwen3.8-Flash-Next（4bit量化，约104GB）模型。该工具支持自动模式以平衡内存与速度，下一步计划加入MTP投机解码模块。
背景
在消费级硬件上运行大语言模型长期面临内存限制的挑战，专家卸载和SSD流式传输等技术正逐渐成为实用的解决方案。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年9月2日 00:42
- 评分
- 7.0 / 10