E-Ink 新闻日报

Hypura 是一款专为苹果芯片设计的创新型 LLM 推理调度器，采用存储层级感知优化技术，智能管理 RAM 和 SSD 之间的数据移动以提升性能。该项目通过实现能够根据预测的计算需求从 SSD 预取模型权重的调度器，解决了内存带宽限制问题。这种技术方法代表了在具有统一内存架构的消费级硬件上运行大型语言模型的重要优化。