Simon Willison 指出滥用网络爬虫正在造成严重的服务器资源消耗问题，引用 Konstantin Ryabitsev 的观察，git.kernel.org 用于渲染爬虫页面的 CPU 周期超过了所有合法访问的总和。Willison 对 Datasette 面临的影响表示担忧，该平台服务大量可爬取的网页。
背景
网络爬取和抓取对开源项目和公共仓库的资源消耗日益严重，许多网站报告自动化爬虫消耗的带宽和计算资源超过了真实用户。
- 来源
- Simon Willison
- 发布时间
- 2026年9月8日 07:08
- 评分
- 6.0 / 10