搜索是信息检索技术在互联网上的最大规模应用,也是被生成式 AI 冲击最直接的领域。三十五年间,搜索的核心问题始终没变:如何在极短时间内,从海量文档里找出最相关的那几份。而答案呈现的方式,却在最近三年发生了根本变化。

一、1990-2000 年代:倒排索引与网页链接
1990 年代的搜索核心是倒排索引:把关键词映射到文档列表,配合向量空间模型计算相关性。1998 年前后,网页链接结构被引入排序,把「被引用」当作重要性信号,这带来了一个巨大的检索质量跃升。同一时期也出现了第一批机器学习应用:查询改写、拼写纠正与结果聚类,都是用统计模型而非规则实现。这一阶段的核心矛盾是:搜索意图与关键词的错配,而机器学习只能改善匹配,无法理解意图。1990 年代的向量空间模型把文档与查询表示为词项权重向量,用余弦相似度计算相关性。
同期也出现了第一个网络搜索商业产品,其排序的核心是链接结构与页面质量的人工标注。这一时期也出现了第一批机器学习应用:查询拼写纠正与同义词扩展,效果明显且成本低。核心矛盾是:关键词匹配无法理解用户的真实意图,尤其是复杂问题。
二、2000-2015:大规模学习与语义匹配
2000 年代中后期,搜索引擎成为机器学习规模化应用的典型:点击数据规模达到让学习排序模型可行的量级。2010 年后,语义嵌入被用于表示查询与文档,让「同义不同词」的匹配不再依赖精确词面。同期个性化搜索成为标准能力,模型根据用户历史调整结果排序。一个持续存在的挑战是「点击偏差」:被排在前面的结果获得更多点击,模型学习到的部分是这个位置效应而非真实相关性。2009 年后点击数据规模让点击特征成为主流排序信号,学习排序模型成为标准架构。
同期语义嵌入被用于表示查询与文档,让不同措辞的同一意图能被匹配。2012 年前后个性化搜索成为标准能力,模型根据用户历史调整排序。点击偏差是这一时期被充分认识的问题:位置效应混入了相关性信号,训练数据本身是有偏的。
三、2016-2022:神经检索与多模态查询
2016 年后,神经检索架构成为研究热点,模型直接学习查询与文档的匹配打分,端到端训练。同期多模态查询能力扩展:图片搜索、语音搜索与文字搜图的融合让检索入口不再只有键盘。2020 年后,密集检索与稀疏检索的融合架构成为主流,兼顾语义泛化与精确匹配。这一时期一个被低估的工程问题是索引更新:语义索引的重建成本远高于倒排索引,对时效性内容不友好。2016 年后神经检索架构成为研究热点,模型直接学习查询与文档的匹配打分。
同期多模态查询入口扩展:图片搜索、语音搜索与以图搜图让检索不再只靠键盘。2020 年前后密集与稀疏检索的融合成为主流架构,兼顾语义泛化与精确匹配。语义索引的重建成本是一个被低估的工程问题,对时效性内容尤其不友好。
四、2023-2025:对话式答案与搜索的重构
2023 年后,对话式答案接口成为主流形态,用户得到的是一段综合回答而非一组链接。这一形态直接冲击了以点击为收入来源的商业模式,也引发了内容授权与流量分发的争议。同期检索增强生成成为主流架构:先检索相关材料,再基于材料生成答案,这把传统检索重新放到了关键位置。一个被反复讨论的问题是如何归因:当答案是合成的,引用来源的流量如何分配,这至今没有稳定的行业共识。2023 年后对话式答案成为主流形态,用户得到综合回答而非一组链接。
这一形态直接冲击以点击分成为核心的商业模式,引发内容授权与流量分发的争议。同期检索增强生成成为主流架构,把传统检索放回关键位置:模型负责表达,检索负责事实。归因问题至今没有稳定共识:当答案是合成的,引用来源的流量如何分配。
资料来源
- Page, The PageRank Citation Ranking, 1998
- Karpukhin et al., Dense Passage Retrieval, EMNLP 2020
- Lewis et al., Retrieval-Augmented Generation, NeurIPS 2020
- 各搜索引擎公开发布的年度技术博客与透明度报告