Meta爬虫55万次访问挤爆创作者网站

儿童绘本作家切尔西·保卢斯称，标识为“Meta External Agent”的 Meta 爬虫对其网站发起 55 万余次访问，耗尽 SiteGround 分配给她的主机 CPU 资源。10 月 24 日 SiteGround 邮件预警其 CPU 资源已用掉 80%；她通过隐藏配置文件临时拦截后，另一款“Meta Web Indexer”爬虫又将资源占用拉满，网站截至周一仍不稳定。 Meta 回应称，网站运营方可借助 robots.txt 设定爬虫交互规则。保卢斯还在尝试 Cloudflare 的人机验证工具拦截爬虫，该工具目前免费；目前也没有法律禁止 AI 爬虫访问公开可浏览的网站。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。