亚马逊的网络爬虫Amazonbot在多年行为不一致后，终于开始正确遵守robots.txt指令。这一变化对于希望控制亚马逊搜索引擎如何索引其内容的网站所有者来说意义重大。此次更新使Amazonbot与其他主要爬虫（如Googlebot）遵循的行业标准保持一致。
背景
robots.txt是网站用来与网络爬虫通信的标准，用于告知哪些页面应该或不应该被抓取。像谷歌这样的大型搜索引擎长期以来一直遵守这些指令，但Amazonbot的合规性一直不一致，直到现在才有所改变。
- 来源
- Lobsters
- 发布时间
- 2026年5月15日 07:42
- 评分
- 6.0 / 10