我把项目发到 HN 后，网站被 AI 爬虫流量淹没

2026.10.14 · 事件 · AI 事件 · 本人发布

作者发现近一半流量来自一个把网页变更摘要成 AI 简报的服务

作者把自制的可定制信息流阅读器 sprinklz.io 发到 HN 后获得约一百个赞，但网站随后持续变慢。排查发现近一半流量来自同一个用户，该服务高频抓取网页并生成 AI 简报，此外还有 Claude bot、OpenAI bot、谷歌索引器等爬虫和漏洞扫描器。作者加了 robots.txt 和限流，并着手优化网站性能。