PrismML推出了Bonsai 27B，这是一个拥有270亿参数的大型语言模型，能够在消费级智能手机上本地运行。这一成果展示了模型量化和优化方面的重大进步，挑战了此类大模型必须依赖庞大服务器基础设施的传统观念。
背景
将大型语言模型（LLM）部署到边缘设备的趋势正在增长，但此类规模（27B+）的模型传统上因资源消耗过大，若无大量云计算支持，难以在移动硬件上运行。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年7月15日 01:50
- 评分
- 8.0 / 10
PrismML推出了Bonsai 27B，这是一个拥有270亿参数的大型语言模型，能够在消费级智能手机上本地运行。这一成果展示了模型量化和优化方面的重大进步，挑战了此类大模型必须依赖庞大服务器基础设施的传统观念。
将大型语言模型（LLM）部署到边缘设备的趋势正在增长，但此类规模（27B+）的模型传统上因资源消耗过大，若无大量云计算支持，难以在移动硬件上运行。