加载失败
原帖抱怨因“激进机器人”导致个人/独立网站周末被打扰，评论则把问题扩展为一个技术与产业化的混合问题：爬虫通过住宅/移动代理（如 Bright Data/Luminati、Hola 等提供的 SDK 或 P2P VPN）轮换数千个 IP，利用 CGNat 隐藏真实用户。站点维护者分享了从 robots.txt 蜜罐、动态封禁、ASP.NET 中间件限流到利用 CDN（Fastly、Cloudflare Pages）和 Cloudflare Turnstile 的实战经验，同时也提到法律和跨境追责的局限。讨论还涉及 SIM farms、代理市场、爬取后数据集的买卖，以及提出集中式概率上报或共享 bloom filter 等协作治理设想。总体背景是：爬虫已产业化、技术在不断进化，单点防护与旧有自律（robots.txt）正在失效，需技术、经济和政策层面的综合应对。
多位评论者指出，激进爬虫并非单一数据中心来源，而是通过“residential proxies”在成千上万的住宅或移动 IP 上轮换请求，观察到的线索包括请求来自移动运营商的 ASN 和 CGNat。有人贴出 Bright Data/Luminati 等服务的证据，说明这些服务提供 mobile SDK 并把用户连接或设备当作出口出售，且还直接售卖已抓取的数据集。视频和条款示例显示这类 SDK 常以“免费/赚取虚拟币”为诱饵，普通用户难以察觉或理解风险。因而基于单一 IP 的封禁会因 CGNat/移动网络特性造成误伤，给网站防护带来显著挑战。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]
讨论把这类活动描述为完整的灰色产业链：有公司卖“高质量” residential/cellular IP 池并按需轮换，还会售卖已经抓取好的数据集，部分受害者指出供应商在接到滥用投诉后反而提出付费保护的方案，被称为“protection racket”。有人透露实际从事 Amazon 抓取业务的经历，确认这些代理服务可按天/按池轮换 IP，并且显得“很阴暗”；Reddit/TikTok 上的“被动收入”宣传催生大量把带宽或设备出租的个人。SIM farms（大量 SIM 卡）和代理租赁服务增加了供给端规模，执法机构虽有查处案例但难以根绝利润驱动下的扩张。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7]
多名开发者分享了可立刻部署的防御：在 robots.txt 放动态诱捕端点（honeypot）并对访问者执行封禁或阶段性惩罚（有人以大文件响应识别并封锁），还有通过 ASP.NET 中间件统计资源消耗并用 HashSet/429 快速拒绝超限 IP 的做法以节省源服务器资源。把高成本或危险路径放到 CDN（如 Fastly）或使用 Cloudflare Turnstile 保护高消耗端点也是常见建议，但在有数百万页面或高参数组合的站点中缓存命中率不足且 CGNat 会导致误伤城市级别用户。开源工具（如 Pingoo 这样的自动 TLS 反向代理）与将拒绝逻辑置前端被频繁推荐，但评论也警告不要把大量拒绝日志写到磁盘以免自损。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8]
许多评论认为 robots.txt 已是行业自律但被大量现代爬虫无视，单点诉讼或对一家公司的起诉在跨境和匿名代理面前效果有限。为此有人提出技术性协作方案：以概率抽样方式把疑似滥用 IP 上报到集中跟踪服务，生成 bloom filter 周期下发到参与方以低成本过滤流量，但关键在于信任与抗投毒机制。讨论里还提出用每客户端轮换哈希、参与门槛或付费模式来减少恶意举报与降低滥用者进入门槛，指出治理既是技术问题也是信任与经济问题。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7]
评论中有分歧：有人建议小站主放弃独立托管以免无休止应付爬虫攻击，但也有强烈呼声要“fight the good fight”保护独立表达空间。中心化 CDN/反爬服务虽然能缓解短期压力，但会把流量与控制权集中到少数厂商手里，加剧长期中心化问题。不少人表示愿意为独立平台付费或支持站主，但也承认持续的攻击成本可能把小规模创作者挤出市场，形成内容与技术上不可逆的劣势循环。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7]
residential proxies（住宅代理）: 将请求通过家庭或移动运营商分配的 IP 发出，使流量看起来来自真实用户。此类代理常被爬虫服务用于规避 datacenter 阻断和速率限制，且通常以租用或 SDK 的形式提供。
CGNat（Carrier-Grade NAT）: 运营商级的网络地址转换，多个用户共享同一公网 IP。CGNat 导致基于 IP 的封禁可能误伤大量真实用户或某一地理区域，增加封锁与溯源难度。
mobile proxy SDK: 嵌入移动应用的 SDK，用来把用户设备或带宽当作代理出口出售以换取应用内收益。用户通常通过复杂条款被动同意，存在隐私、滥用与滥发流量的风险。
SIM farm: 集中管理大量物理或虚拟 SIM 卡的设施，用于批量获取移动 IP/电话号码以规避限制或大规模注册、爬取。近期有执法行动针对此类设施，但其存在扩大了移动代理的供给能力。
robots.txt honeypot: 在 robots.txt 中列出刻意的或不存在的禁用端点以诱导自动化程序访问。任何访问该端点的主体被高度怀疑为爬虫，可触发自动封禁或更深入检测。
JA3 / JA3Cloak: JA3 是一种基于 TLS 握手特征的客户端指纹技术，用于识别客户端类型；JA3Cloak、NobleTLS 等工具则用于伪装或改变 TLS 指纹以规避基于 JA3 的检测。