一位拥有150万页网站的作者透露，其网站99%的流量来自机器人和爬虫，揭示了网络爬虫对合法网站运营造成的严重影响。文章详细描述了在维护真实用户体验的同时，应对这些自动化请求所面临的技术和财务挑战。
背景
网络爬虫已成为大型内容网站的主要问题，经常消耗本应用于合法用户的带宽和资源。许多网站所有者难以区分有益爬虫（如搜索引擎爬虫）和恶意爬虫。
- 来源
- Hacker News (RSS)
- 发布时间
- 2026年8月7日 22:51
- 评分
- 6.0 / 10
一位拥有150万页网站的作者透露，其网站99%的流量来自机器人和爬虫，揭示了网络爬虫对合法网站运营造成的严重影响。文章详细描述了在维护真实用户体验的同时，应对这些自动化请求所面临的技术和财务挑战。
网络爬虫已成为大型内容网站的主要问题，经常消耗本应用于合法用户的带宽和资源。许多网站所有者难以区分有益爬虫（如搜索引擎爬虫）和恶意爬虫。