作者从信息论中的压缩-预测等价性出发，探讨gzip能否作为语言模型使用。通过将gzip以莎士比亚文集进行预热并用于续写提示，作者展示了压缩算法内在的预测结构，尽管输出文本部分连贯但明显失真。
背景
压缩-预测等价性源于香农信息论，指出最优压缩与最优预测在数学上是对偶问题。近年来对非神经网络语言建模的兴趣，重新唤起人们对经典算法方法的关注。
- 来源
- hackernews
- 发布时间
- 2026年9月22日 14:08
- 评分
- 6.0 / 10
作者从信息论中的压缩-预测等价性出发，探讨gzip能否作为语言模型使用。通过将gzip以莎士比亚文集进行预热并用于续写提示，作者展示了压缩算法内在的预测结构，尽管输出文本部分连贯但明显失真。
压缩-预测等价性源于香农信息论，指出最优压缩与最优预测在数学上是对偶问题。近年来对非神经网络语言建模的兴趣，重新唤起人们对经典算法方法的关注。