一句话定义
向量数据库是四条研究脉络——空间划分树、哈希、量化压缩、可导航图——在深度学习嵌入浪潮中汇流成的产业,其算法内核大多定型于 2011–2019 年,系统化与商业化爆发于 2021 年之后。
为什么重要
了解脉络能解释"为什么索引长这样":图派与量化派的分歧、FAISS 的地位、DiskANN 的动机,都是历史选择的产物。看懂流派,就能在读到新索引时迅速定位它站在哪条脉络上、优化的又是三元权衡的哪一端。
前置知识
核心概念
- 空间划分树派:kd-tree(Bentley, 1975)、R-tree(Guttman, 1984)——低维精确检索的黄金时代。
- 哈希派:LSH 局部敏感哈希(Indyk & Motwani, 1998)——第一条严格意义的 ANN 路线。
- 量化派:PQ(Jégou, Douze, Schmid, 2011)→ FAISS(Johnson, Douze, Jégou, 2017)——压缩向量、GPU 暴力美学。
- 图派:NSW(Malkov et al., 2014)→ HNSW(Malkov & Yashunin, 2016/2018)→ Vamana/DiskANN(微软, 2019)——今天的主流。
- 树形 ANN:Annoy(Erik Bernhardsson, 为 Spotify 推荐而生)——随机投影森林,静态数据友好的朴素方案。
原理与机制
时间线上的因果链:
1970-90s kd-tree / R-tree:低维精确检索,高维后剪枝失效(维度灾难)
1998 LSH:第一个理论 ANN,概率保证但工程召回/内存比不佳
2011 PQ:把向量切段量化,十亿级向量装进内存成为可能(IVFADC)
2014 NSW:小世界图导航检索;2016-18 HNSW 分层化,成为延迟标杆
2017 FAISS:GPU 批量暴力+量化/图全家桶,工业界事实算法库
2019 DiskANN/Vamana:把图搬到 SSD,单节点十亿级
2021+ Milvus(SIGMOD 2021)/Pinecone/Weaviate/Qdrant/pgvector 系统化
2023+ LLM/RAG 热潮把向量检索推向基础设施层两条主脉络的分野:量化派(FAISS 系)先把向量压小再算便宜的距离,赢在内存;图派(HNSW 系)在原始向量上贪心导航,赢在延迟与召回曲线。今天的生产系统大多"图导航 + 压缩向量"合流——HNSW + SQ/PQ 是事实标准组合。
公式或模型
本节不适用:本篇为史论,无计算模型;各流派的技术细节见 02 模块各篇。
图示
见上方时间线。读法:每一步都是对前一代"某一端失衡"的回应——树败于维度、LSH 败于工程性价比、PQ 补内存、HNSW 补延迟、DiskANN 补成本。
实例或案例
Erik Bernhardsson 在 Spotify 做音乐推荐时为"百万曲目、多进程共享、只读"的场景写了 Annoy 并开源,随后又发起 ann-benchmarks,让各家索引第一次能同台公平比较——一个人同时贡献了一个流派(树形 ANN)与行业标准评测(kp-025 的源头)。
直观类比
把索引史想成"地图技术史":划分树是纸质分区地图(城市好用,跨洲失效),LSH 是按暗号分箱,量化是把地图缩印(细节有损但便携),HNSW 是给城市修高架路网(先高速后乡道),DiskANN 是"路网在本地、仓库在郊区"。
常见误区
- "向量数据库是 2023 年随 ChatGPT 发明的新事物"——算法内核(PQ/HNSW)早在 2011–2018 已定型,2021 年前 Milvus 等系统论文已发表;LLM 热潮是放大器不是发明者。
- "HNSW 是终极答案"——它是延迟-召回曲线的赢家之一,但内存昂贵、写多场景退化,DiskANN、量化路线各有生存空间,见 kp-013、kp-031。
- "LSH 已死"——学术上被图/量化边缘化,但"哈希=快"的思想在二进制量化(kp-031)中以新形态回归。
自测题
- 图派与量化派各自优化的三元权衡端点是什么?
- FAISS 在历史上的独特贡献是什么?
- Annoy 属于哪条脉络、为怎样的场景而生?
答:图派优化延迟与召回曲线(内存为代价);量化派优化内存(召回为代价、需精排补偿);今天主流系统二者合流。
答:把 GPU 批量暴力检索与量化/图算法工程化整合为开源库,成为工业界 ANN 的事实标准与多数向量库的算法底座。
答:树形 ANN(随机投影森林),为"静态、只读、多进程内存共享"的推荐场景设计。
与其他知识点的关系
kp-008/012/013 是时间线上三大节点(HNSW/PQ/DiskANN)的技术展开;kp-033 展望时间线的下一格;kp-018 讲算法沉淀为系统的过程。
延伸阅读
Malkov & Yashunin, "Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs"(IEEE TPAMI 2018)——当代向量检索最重要单篇文献,图派的奠基之作。