学习路径
最小可用路径只保留「理解问题 + 两大主流索引 + 系统版图 + 会做决策」的骨架,读完即可支撑一次合格的选型讨论;其余按阶段按需展开。
最小可用路径(MVP · 约 190 分钟)
- 1向量数据库全景:从嵌入到检索引擎
向量数据库是以高维向量为一等公民的数据系统:负责嵌入向量的存储、近似最近邻(ANN)索引、元数据过滤、增删改与水平扩展,把"语义相似度检索"变成一条可运维的数据管道。
- 2嵌入模型与语义空间
嵌入(embedding)是用神经网络把任意对象(文本、图片、音频)映射为定长高维向量的过程,训练目标是让"语义相近"的对象在向量空间中彼此靠近——向量数据库检索的一切前提。
- 3距离度量:欧氏、内积与余弦
距离度量决定"两个向量有多相似"的算法——欧氏距离(L2)量直线远近,内积(IP)量方向共振,余弦相似度(cosine)量纯方向夹角;度量选择与归一化状态共同决定排序结果。
- 4ANN 问题定义:用近似换速度
近似最近邻(ANN,Approximate Nearest Neighbor)问题:不保证返回真正最近的 k 个点,而是以可控的召回损失,换取比精确检索低几个数量级的延迟与内存——一切向量索引的立身之本。
- 5暴力检索基线(Flat)与性能天花板
暴力检索(Flat / brute-force)对查询向量与全库每一条向量逐一计算距离后取 top-k:没有近似、没有索引结构、召回率恒为 100%,是所有 ANN 索引的正确性基线与 ground truth 来源。
- 6IVF:聚类倒排索引与 nprobe
IVF(Inverted File,倒排文件)用 k-means 把向量空间切成 nlist 个分区(Voronoi 单元),查询时只在与查询向量最近的 nprobe 个分区内做距离计算——"先粗定位、再细扫描"的分区剪枝思想,也是 PQ 组合(IVFADC)的经典载体。
- 7HNSW:分层可导航小世界图
HNSW(Hierarchical Navigable Small World)把全库组织成多层近邻图:上层稀疏、边长(跨大区域),底层稠密、覆盖全部向量;查询自顶向下贪心导航,到底层后用候选队列 efSearch 做精细扩散——当前低延迟高召回检索的事实标准。
- 8系统全景与谱系图谱
向量检索的承载系统分四大谱系:专用向量库(Milvus/Qdrant/Weaviate/Chroma)、关系库扩展(pgvector 系)、搜索引擎扩展(Elasticsearch/OpenSearch/Redis/MongoDB)、嵌入式算法库(FAISS/hnswlib/Usearch)——选型的第一问不是"哪个最好",而是"我的场景属于哪个谱系"。
- 9选型决策树:从五个问题到一套方案
向量库选型可以收敛为五问一树:数据量级 → 已有基础设施 → 过滤复杂度 → 混合检索刚需 → 团队运维能力,沿决策树走到底得到的是"方案 + 索引配置 + 重新评估触发条件"的完整 prescription(处方)。