noteQwen3-VL-Embedding/Reranker 通过统一架构、多阶段训练、高质量合成数据、效率优化实现了 SOTA 的多模态检索性能并在纯文本任务上保持竞争力为多模态搜索、RAG、内容理解等应用提供了强有力基础模型。三阶段训练的必要性弱监督预训练保证泛化高质量微调提升任务特异性蒸馏与融合解决任务冲突形成正向迭代Reranker 模型把 Query 和候选内容同时送入模型通过跨注意力做细粒度交互最后比较生成 “yes” 和 “no” 的概率得到相关性分数。文章目录note一、研究动机二、论文核心模型架构训练策略三阶段流水线Embedding 模型 LossReranker 模型 Loss数据构建三、实验结果多模态基准MMEB-V2视觉文档检索JinaVDR、ViDoRe-v3 等纯文本基准MTEB Multilingual效率分析MRL QAT训练阶段消融2B 模型四、结果分析一、研究动机Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking互联网多模态内容图像、文本、视频、文档等呈指数级增长传统纯文本检索已无法满足跨模态语义匹配需求。现有多模态检索面临以下挑战模态鸿沟不同模态如图文、视频文的语义对齐困难。复杂文档处理信息图、幻灯片等多模态交织文档难以被单一模态模型理解。效率与精度权衡大规模检索需兼顾存储成本、推理速度与排序精度。数据与任务不平衡公开数据集在模态、任务、领域上存在显著偏差。基于此作者提出利用 Qwen3-VL 强大的跨模态理解与指令跟随能力构建端到端的多模态嵌入与重排序模型统一处理文本、图像、视频等输入实现高精度检索。二、论文核心模型架构Qwen3-VL-Embedding双编码器 Bi-Encoder将多模态输入映射为统一空间的稠密向量使用余弦相似度衡量相关性。支持Matryoshka 表示学习MRL可灵活截断维度与量化感知训练QAT支持 int8/binary 量化输入最长支持32k tokens。Qwen3-VL-Reranker交叉编码器 Cross-Encoder对查询-文档对进行深度交叉注意力计算输出细粒度相关性分数yes/no 概率提升候选结果排序质量。两者均继承 Qwen3-VL 的多语言能力支持 30 语言提供2B/8B两种参数量级以适应不同部署场景。训练策略三阶段流水线对比预训练Stage 1使用大规模合成多模态弱监督数据做对比学习InfoNCE Loss建立基础相关性理解。多任务对比学习与监督微调Stage 2结合精选公开数据、合成数据与内部数据针对不同任务检索、分类、STS 等定制损失函数提升细粒度交互能力同时训练 Reranker。Embedding 模型 Loss核心是对比学习损失正样本 Query–Doc 的余弦相似度拉高Hard negative 和 batch 内负样本的相似度压低主要采用InfoNCE lossInfoNCE Loss就是让正确的 Query–Doc 相似度最高拉近正样本query ↔ 正确 doc推远负样本query ↔ 错误 doc再通过 softmax 交叉熵让正样本在一组候选中概率最大可理解为L − log ⁡ e s i m ( q , d ) / τ e s i m ( q , d ) / τ ∑ e s i m ( q , d − ) / τ L-\log \frac{e^{sim(q,d^)/\tau}} {e^{sim(q,d^)/\tau}\sum e^{sim(q,d^-)/\tau}}L−logesim(q,d)/τ∑esim(q,d−)/τesim(q,d)/τ​其中sim通常是余弦相似度d是正样本d-是负样本τ是温度系数控制分数差异的放大程度总结InfoNCE 就是在一堆候选里训练模型把正确样本排第一。训练数据举例{instruction:根据文本检索最相关的视频,query:一个人在厨房里切西红柿,positive_doc:视频A,negative_docs:[视频B,视频C,视频D]}另外不同数据会用不同目标分类任务把“类别文本”当作正 Doc 做对比学习STS 相似度任务用CoSent loss保持相似度排序最后阶段用 Reranker 的相关性分布蒸馏 Embedding采用交叉熵对齐两者的候选排序分布总结Embedding loss 学的是“谁应该在向量空间里更近”。Reranker 模型 Loss把 Query 和 Doc 一起输入做一个yes/no 二分类相关样本目标输出yes不相关样本目标输出no使用标准的 token 级交叉熵L − log ⁡ P ( 正确的 yes/no ∣ Q u e r y , D o c ) L-\log P(\text{正确的 yes/no}\mid Query, Doc)L−logP(正确的yes/no∣Query,Doc)推理时用score σ ( logit ∗ y e s − logit ∗ n o ) \text{score}\sigma(\text{logit}*{yes}-\text{logit}*{no})scoreσ(logit∗yes−logit∗no)作为相关性分数。总结Reranker loss 学的是“这一对 Query–Doc 到底相关不相关”。蒸馏与模型融合Stage 3用 Reranker 的软标签蒸馏 Embedding 模型弥补检索任务性能随后融合 Stage 2 与蒸馏后模型平衡分类/QA/检索等任务表现。数据构建构建四元组数据集( I i , Q i , C i , R i ) (I_i, Q_i, C_i, R_i)(Ii​,Qi​,Ci​,Ri​)指令、查询、语料、相关性标签。利用Qwen3-VL-32B进行多模态数据合成与标注图像/视频的分类、QA、检索、时刻检索等任务。设计正样本精炼与难负例挖掘Hard Negative Mining两阶段管道提升对比学习质量。三、实验结果多模态基准MMEB-V2VisRAG 是文本问题直接搜 PDF/PPT 等视觉页面Qwen3-VL-Embedding-8B平均得分77.8超越此前所有开源与闭源模型截至 2026 年 1 月在图像、视频、视觉文档三大领域均领先。2B 版本也达到73.2显著优于同规模基线如 VLM2Vec-V2 2B 的 59.2。评测的相关任务类型任务典型输入 → 候选Image RET文本 → 图片也可能图片/图文 → 图片Video RET主要是文本 → 视频MRET文本或文本关键帧 → 视频片段VisDoc VDR / VisRAG文本问题 → PDF/PPT 页面图片CLS图片/视频 → 类别文本QA图片/视频问题 → 答案文本Grounding文本描述 → 图像区域视觉文档检索JinaVDR、ViDoRe-v3 等8B Embedding 平均75.8接近计算成本更高的 ColPali 风格模型。Reranker-8B平均80.3大幅超越同规模 Embedding 与基线 Reranker如 jina-reranker-m0。纯文本基准MTEB Multilingual8B Embedding 得分67.9虽略低于纯文本 Qwen3-Embedding-8B70.6但在引入多模态能力后仍保持竞争力。效率分析MRL QAT维度从 1024 降至 512 时文本检索性能仅降 1.4%存储减半、速度翻倍。int8 量化几乎无性能损失binary 量化则下降明显。训练阶段消融2B 模型Stage 3 蒸馏显著提升检索任务但分类/QA 略降Stage 3 融合后整体最优73.2 → 优于单独阶段。四、结果分析多模态统一表示的有效性基于 VLM 的嵌入模型天然具备跨模态对齐与细粒度理解在复杂文档、图文混排场景下优于传统 CLIP 式双塔。三阶段训练的必要性弱监督预训练保证泛化高质量微调提升任务特异性蒸馏与融合解决任务冲突形成正向迭代。部署友好设计MRL QAT在不显著牺牲精度的前提下大幅降低存储与延迟适合工业级大规模检索。Reranker 的补充价值Embedding 负责召回Reranker 负责精排两者结合在多模态检索管线中效果显著。