Qwenputer在Qwen3.5的Gated DeltaNet注意力层中嵌入了一颗功能完整的RISC-V CPU,利用其作为内存。该CPU可在模型前向传播过程中完全自主执行算术运算、C代码和MicroPython,无需任何外部工具或运行时。
背景
Qwen3.5在其4个注意力层中的3个使用Gated DeltaNet线性RNN作为注意力机制,每个头维护一个状态矩阵。这项研究探索了将这些状态矩阵重新用作可编程内存以嵌入CPU的方法。
- 来源
- Lobsters
- 发布时间
- 2026年10月29日 18:00
- 评分
- 8.0 / 10