Supercazzola 是一个网络陷阱工具,可动态生成无限互连的网页,用于毒化那些无视 robots.txt 的网页爬虫。它使用马尔可夫链和伪随机链接生成技术创建“永恒垃圾链”,并包含机器人监控功能。该项目是开源的,已更新至 2.0.0 版本。
背景
网络爬虫经常无视 robots.txt 文件,导致未经授权的数据收集和服务器负载。像 Supercazzola 这样的工具旨在通过生成无限的无意义内容来浪费爬虫资源。
- 来源
- Lobsters
- 发布时间
- 2026年3月19日 05:29
- 评分
- 5.0 / 10