加载失败
Google 在一篇产品更新中说明,Programmable Search(前 Custom Search)将停止允许新引擎“搜索整个网络”,并将新引擎限制为最多 50 个域名,现有可全网搜索的引擎需在 2027-01-01 前迁移。Google 把需要全网索引的用户引导向企业解决方案(如 Vertex AI Search / Grounding with Google Search)并提供“interest form”,但没有公开价格或明确可行性细节。该变动触发了关于 Kagi(隐私/付费搜索服务)与其他小众引擎如何获取索引(包括依赖第三方 SERP 抓取服务如 SerpApi)、欧盟/法庭有关索引开放的裁决、以及自建索引的技术与成本挑战的讨论。社区还讨论了替代者(Ecosia/Qwant 的欧洲索引计划、Mojeek 的 API、去中心化 YaCy)与对 LLM grounding 与小型搜索产品的潜在影响。
Google 宣布对 Programmable Search(前 Custom Search)调整:新建引擎不再可选“搜索整个网络”,被限制最多搜索 50 个域名,现有允许全网搜索的引擎需在 2027-01-01 前完成迁移。Google 将需要全网索引的用户引导到企业产品(如 Vertex AI Search / Grounding with Google Search)并提供“interest form”,但没有公开定价也不保证回复。评论普遍认为这会把通用 web 搜索能力推到付费企业门槛上,严重影响依赖该服务的小众/独立搜索产品和研究用途。
不少独立搜索服务并非以受支持的公开索引接入 Google,而是通过第三方 SERP 供应商(通常以抓取 Google 结果为基础)获得原始搜索结果并以 API 转售。评论里以 Kagi 为例说明他们依赖第三方供应商来得到 SERP 数据,因为 Google 不提供可接受的原始索引授权;与此同时 Google 已对像 SerpApi 的抓取服务采取法律行动,增加商业与法律不确定性。这类中介带来的成本与调用限制也是许多产品在入门版中对请求数或域名实施上限的直接原因。
社区成员指出自行建立搜索索引在小规模下可行,但把覆盖面扩展到整个 Web 成本极高,尤其是要处理排序、垃圾信息与被操纵的 SEO。多位评论者分享了独立项目的实际经验与硬件规模(从数千万文档到十亿级别、使用高核 CPU、数百 GB 内存与数十 TB SSD),以说明长期运维与信号工程的复杂性。结论是技术上可以做到“索引”,但要达到可用的排名质量和规模,需要大量工程投入与数据源特权,这也解释了为何许多替代方案长时间难以撼动 Google。
讨论引用了司法或监管对 Google 要求以边际成本提供 Web 索引的裁决与 Kagi 的分析,但评论认为 Google 的 50 域限制与把完整索引放入“企业兴趣表”可能成为规避裁决的策略。有人把此事与“essential facilities”(必需设施)理论联系起来,主张搜索索引若为竞争必需设施應受更强监管;也有评论指出法律判决的文字与公司实施之间存在博弈,结果取决于后续司法与监管是否强制执行细则。总体上,社区对监管能否真正约束平台表示怀疑并担忧公司会以技术与产品设计来削弱裁决影响。
评论列举了几条替代路线:欧洲的 Ecosia 与 Qwant 正合作构建自有索引以降低对美企依赖,Mojeek 提供可公开的网页搜索 API,而 YaCy 代表去中心化 P2P 搜索的实验性方案。讨论同时指出 Bing 的索引与 API 已收缩、对非英语覆盖较弱且商业化门槛使得替代者难以快速取得大规模流量。总体观点是短期内存在可用但功能、覆盖或成本都不及 Google 的替代方案,真正的竞争可能需要长期投入或政府支持以改变用户习惯与市场结构。
Programmable Search 长期被许多 LLM 前端与工具用作 web-grounding 的廉价检索来源,关闭全网访问会令小型 LLM 产品失去可用的检索信号或被迫转向企业级、有不透明定价的服务。评论提到 Google 正在把检索能力与自家 AI(如 Gemini / Vertex AI 的 grounding 功能)绑定,而现有企业级定价对大规模检索往往不经济,这可能推动 LLM 应用的进一步集中化。结果是独立开发者与小公司在构建可验证、可重复的基于 Web 的 LLM 功能时将面临更高门槛。
Programmable Search Engine (PSE / ex-Custom Search): Google 的可编程搜索(前称 Custom Search),曾允许第三方创建可搜索“Search the entire web”的搜索引擎;公告显示新引擎被限制为最多 50 个域名,现有全网引擎须在指定日期前迁移。
Vertex AI Search / Grounding with Google Search: Google 的企业级检索与 grounding 产品(属于 Vertex AI 系列),被 Google 作为需要全网索引客户的替代路线,通常通过企业渠道与 interest form 受理,定价与可用性对中小开发者不透明。
SERP (Search Engine Results Page): 搜索引擎结果页面的简称,第三方 SERP 供应商以抓取或聚合方式提供原始 SERP 数据(URL、摘要、排名等)给下游产品与服务。
SerpApi: 一家流行的 SERP API 服务商,提供抓取并返还 Google/Bing 等搜索结果的付费 API;评论中提到 Google 已对其类服务采取法律行动,反映抓取/再售的法律风险。
PageRank: 最初由 Larry Page 提出的页面链接分析与排序算法,是早期 Google 排序的核心信号之一;现代搜索排名已加入更多行为与质量信号。
essential facilities doctrine(必需设施原则): 反垄断法中的理论,主张当一项关键基础设施为竞争所必需且难以被复制時,占优势方应以合理条件向竞争者开放;评论里用来讨论是否应强制开放搜索索引。