作者认为Pandas的性能缺陷会迫使数据工作在GB级别时就过早引入分布式系统（如Spark、Dask），而现代替代方案如Polars和DuckDB基于Apache Arrow内存模型，能更高效处理大数据量，无需增加系统复杂性。文章提供了NYC出租车数据的性能对比测试。
背景
随着数据量增长，Python数据处理库选择成为热点话题。Polars（Rust编写，支持惰性求值）和DuckDB（列式分析数据库）作为Pandas的现代替代方案，基于Apache Arrow内存格式，在性能和内存效率上显著优于Pandas。
- 来源
- Lobsters
- 发布时间
- 2026年9月12日 12:23
- 评分
- 6.0 / 10