什么是 向量嵌入?
向量嵌入是把文本、图像、实体或其他输入映射为数值向量的学习型表示,使特定训练目标关心的关系可以通过距离度量。只有模型、Revision、任务模式、预处理、维度、归一化和距离函数相互兼容时,向量才可直接比较。
快速了解
| 创建时间 | 2013 年由 Tomas Mikolov 等人提出(Word2Vec) |
|---|---|
| 规范文档 | 官方规范 |
工作原理
Embedding 模型把输入中的特定属性压缩为固定长度向量。Word2Vec 和 GloVe 学习静态词向量;基于 Transformer 的编码器可以生成上下文 Token、句子、文档、图像或多模态表示。向量空间受任务约束:擅长语义文本相似度的模型不一定适合非对称检索,部分检索模型还要求 Query 与 Document 使用不同指令。
模型选型是工作负载决策,不能只看一个全局榜单。MTEB 分别覆盖 Retrieval、Reranking、Classification、Clustering、Semantic Similarity、Pair Classification、Bitext Mining 与 Summarization,并提供语言、领域、代码、图像、音频和视频等不同套件。2026 年一项受控研究在 37 个任务上比较生成式 LLM 与专用文本 Embedding:两类方案的综合质量接近,但任务优势、吞吐和成本明显不同。这个结果不能证明它们可以互换,团队仍需按目标任务、语言、语料规模、延迟链路和计费方式评测。
相似度分数只在兼容的向量空间契约中有意义。生产系统应共同版本化模型 Revision、任务模式、预处理、维度、Dtype、归一化、距离函数、源内容、访问策略和索引代次。检索任务需要带标签 Query 与语料规模 Hard Negative;分类或聚类需要对应标签和不确定性。结果应按语言与领域切片报告,不能把多语言平均分或很小的榜单差异直接当成本地流量结论。
主要特点
- 在指定模型与输出契约下生成固定长度向量
- 编码训练目标选择的关系,而不是保留源数据的全部属性
- 可以采用对称输入,也可以区分 Query 与 Document 的非对称任务模式
- 需要匹配的归一化和距离函数才能形成有效相似度排序
- 维度、任务质量、存储、内存、吞吐和延迟需要结合本地语言、领域、规模与不确定性切片权衡
- 模型、Revision、预处理、任务指令或维度变化时,需要建立独立索引代次
常见用途
- 语义搜索引擎,查找概念相关的内容
- 检索增强生成(RAG),为大语言模型响应提供知识基础
- 基于内容相似度的推荐系统
- 文档聚类和主题建模
- 结合本地质量、吞吐、延迟与索引大小选择成本合适的模型
示例
Loading code...常见问题
什么是机器学习中的向量嵌入?
向量嵌入是文本、图像、实体等输入的学习型数值表示。模型把每个输入映射为固定长度向量,使训练目标关心的关系可以被度量。向量距离通常可表达相关性,但含义只在具体模型与任务契约中成立。
Word2Vec 和 BERT 嵌入有什么区别?
Word2Vec 为词表中的每个词生成静态向量;BERT 生成会随上下文变化的 Token Hidden State。原始 BERT 状态不会自动成为适合句子检索的 Embedding,句向量模型还需要 Pooling 和任务训练,使独立编码的文本能够比较。
如何使用嵌入进行语义搜索?
使用同一模型契约中兼容的任务模式编码文档和查询,再按模型指定的距离函数执行精确或近似最近邻检索。候选暴露前要应用权限过滤,并用带标签查询评测 Recall@k;Dense Retrieval 无法覆盖精确术语或排序要求时,再组合关键词检索和重排。
什么是嵌入维度,如何选择?
嵌入维度是单个模型输出包含的数值个数。维度更高不等于质量必然更好。只能使用目标模型明确支持的维度或缩短方法,再用版本化本地评测集比较任务质量、存储、内存、延迟和不确定性,确认结果后重建索引。
不同模型生成的 Embedding 可以比较或混存吗?
默认不可以。模型、Revision、任务指令、预处理、维度或归一化不同,都可能产生不兼容向量空间。迁移时应建立独立索引,用匹配模型分别编码查询,通过 Shadow Traffic 比较结果,并在质量和回滚门禁通过后切换。