维基网站运营者正面临AI抓取机器人带来的重大运营挑战，这些机器人推高了成本并导致服务中断。这些机器人越来越擅长模仿人类行为，难以被屏蔽，同时消耗的资源是合法人类流量的10倍。该问题已变得非常严重，占维基生态系统所有服务器问题的约95%，一些小型维基甚至被迫完全下线。
背景
随着AI公司竞相收集训练数据，他们部署了越来越复杂的网络爬虫，压垮了网站基础设施。这对于维基平台来说尤其成问题，这些平台虽然是结构化信息的丰富来源，但并非为处理现代AI数据收集的规模而设计。
- 来源
- Lobsters
- 发布时间
- 2026年5月21日 11:51
- 评分
- 7.0 / 10