铃阅
❌

普通视图

jina-ocr-v1:在低成本 GPU 上更快解析文档

2026年9月18日 15:00

原创 Jina AI 2026-09-18 15:00 新加坡

570M 激活参数,将吞吐推向帕累托前沿。

HF 🤗 https://huggingface.co/jinaai/jina-ocr-v1 

魔搭 🧙 https://modelscope.cn/models/jinaai/jina-ocr-v1

技术报告 📖 https://arxiv.org/abs/2609.03181 

API 💻 https://jina.ai/models/jina-ocr-v1

我们正式发布 Jina-OCR-v1。

这是一个总参数 3.4B,解码时每个 Token 仅激活 570M 的紧凑型端到端文档解析模型。在 OmniDocBench v1.6 (91.14) 与 olmOCR-Bench (83.4) 两大基准上,它均刷新了同级别最佳成绩;在 14 款主流端到端系统的吞吐实测中,它以 2.57 页/秒 领跑全场。

在单张 NVIDIA L4 这样的低成本显卡上,通过专门设计的推测解码草稿头,生成速度 几乎翻了一倍,而且输出序列与标准自回归解码严格一致,完全无损。

我们延续了 DeepSeek-OCR 的紧凑视觉编码与 MoE 解码路线,重点做了两处改动:

  1. FastMTP:用单个共享 dense block 递归前向 K=3 步生成候选 token,草稿参数量与前瞻深度解耦,不再随 lookahead 增长;

  2. Dense Verifiable Rewards(GRPO):每一项奖励都由确定性代码对照参考真值计算,并按部分正确程度分级给分,而非简单的 0/1 判定。

仅靠后训练改进,模型在 olmOCR-Bench 上就涨了 7.4 分,OmniDocBench 各细分维度也全面提升。

(a) 统计了单个视觉 Token 分摊的像素面积(对数坐标):DeepEncoder 将 1024×1024 画面直接从 4,096 个 Patch 压缩至 256 个 Token,平均单 Token 承载 3,887 像素;相比之下,主流编码器单 Token 仅覆盖 783~1,022 像素。前置压缩比越高,多模态 Prefill 阶段的计算与自回归期间视觉上下文占用的 KV Cache 就越低。

(b) 图是单张 A100、并发 32,olmOCR-Bench 上每秒做完几页。

(c) 图的横轴是激活参数,纵轴是基准分。实线连的是帕累托前沿。570M 这个点上,jina-ocr-v1 精度和吞吐两个都位于帕累托前沿。

14 个系统在单张 A100、并发 32 下的实测对比:(a) 每秒输出 token 数、(b) 每页输出 token 数、(c) 每秒处理页数(即 a 除以 b)。

Surya OCR 2 每秒能吐出 3,760 个 token,看起来最快,但单页要写 3,568 个 token,算下来实际吞吐只有 1.05 页/秒;而 jina-ocr-v1 输出极其精炼,1,085 tokens/页,配合 2,792 tokens/s 的生成速度,端到端吞吐达到了 2.57 页/秒。

模型与训练

文档解析在实际生产中最烧钱的环节,就是长序列的逐 token 生成(自回归解码)。

DeepSeek-OCR 已经帮我们砍掉了前置开销:它用高压缩视觉编码器配紧凑 MoE 解码器,把视觉 token 和激活参数压到了极低水平。jina-ocr-v1 继承了这套底座,将优化重点直接对准剩下的自回归生成瓶颈。

上面是整体架构图。

DeepEncoder 与 MoE 解码器延续 DeepSeek-OCR:单页先生成 1024x1024 全局视图(压缩为 256 个视觉 token),再切出 n 个局部 tile(每个 tile 100 个 token)。FastMTP 头(橙色)通过单个共享稠密块递归前向,一次提出 K = 3 个候选 token 交给主解码器验证。

文档 OCR 有个天然优势:排版局部结构高度确定,预测难度低,天生适合做推测解码(Speculative Decoding)。

传统的多 token 预测(MTP)方案很笨重:每多看一步就要多挂一个独立 draft head,前瞻越远参数越膨胀。我们用 FastMTP 换了个思路。只用一个共享 dense block,靠 hidden state 反馈递归执行 K=3 步前向预测,参数量与 lookahead 解耦。

因此,推测解码产出的文本与主模型直接自回归贪心生成完全一样:只提速,不降质。

组件

规格

视觉编码器

DeepEncoder (~380M): SAM (80M) → 16x conv → CLIP-L (300M)

视觉 Token

256 @ 1024x1024 (Base); 256+100n, n ≤ 9 (Gundam, ≤ 1,156/page)

解码器

DeepSeek-3B-MoE:12 层,d = 1280,64 个路由专家 + 2 个共享专家,top-6

激活参数 / 总参数

~570M / ~3B(解码器);< 1B / ~3.4B(整个模型)

词表

129,280

位置上限

32,768 (RoPE, θ = 106)

MTP 头

1 个共享稠密块,递归 K = 3 步(FastMTP)

输出格式统一为 Markdown,表格使用 HTML 结构,公式使用 LaTeX 语法。

预训练语料混合了主流公开 OCR 数据集(olmOCR-mix、FinePDFs、LightOnOCR、MMTab、UniMER 等),并针对性补充了高难度真实排版源,例如 Europeana 历史报纸、美国国会图书馆缩微文献和 NARA 档案。清洗时先用规则过滤掉死循环与重复退化内容,再用高精度视觉大模型做单次前向重打标。

为什么必须引入合成数据(JinaOCRSynth)?

真实文档里的复杂公式和深层表格分布太稀疏了。在强化学习(RL)阶段,如果直接用自然页面做采样探索(rollout),绝大多数样本根本碰不到几个结构奖励项,梯度直接停滞。JinaOCRSynth 专门在合成页面中高密度塞入结构化表格和公式,并自带单元测试断言,给训练提供充足信号。

后训练流程由监督微调(SFT)、长尾劣化页面鲁棒性微调以及 GRPO 强化学习交替迭代。GRPO 阶段的奖励函数由多个确定性可验证项相乘得出:

组件

信号

作用

内容

混合 LaTeX/HTML 上的归一化编辑距离

文本保真度

公式

公式字符串匹配

公式正确性

表格

TEDS、TEDS-S、表格编辑距离

结构还原

结构有效性

花括号配对、标签闭合、表格完整性

格式规范

单元测试

olmOCR 风格的存在性、顺序、数学与表格测试通过率

高密度反馈

重复与格式

重复惩罚、HTML 符合性

退化控制

总奖励是各项乘法,这相当于一票否决:任何一项得零分,整页产生的梯度就直接清零。

  • 对大部分检查项(文本、公式、表格),我们都设置了底线分(floor score),允许局部扰动,避免单项偶发失误毁掉整页更新。

  • 唯独重复惩罚坚决不设下限:因为自回归模型很容易靠陷入死循环复读来投机“刷高”局部文本重合度。只要出现这种退化死循环,直接给零分一票否决。

每轮迭代会产生一批候选检查点。我们用自动化 agent 在固定评测预算下搜索最佳模型融合(checkpoint merge)配比;优胜模型暴露出的错误案例,直接驱动下一轮数据的针对性采集。FastMTP 草稿头放在整个训练循环的最后,直接在最终定型的验证器上完成拟合。

评测结果

模型

参数

ArXiv

OldScans-Math

Tables

OldScans

Multi-col

LongTiny

Hdr/Ftr

Base

总分

Gemini 3 Flash

–

80.1

73.6

64.6

45.8

75.3

90.3

27.4

–

–

Qwen3-VL-235B

235B/22B

88.4

81.2

86.7

49.6

85.9

88.9

33.6

–

–

DeepSeek-OCR

3B/570M

77.5

74.5

77.3

33.1

67.3

83.0

96.1

99.3

76.0

dots.mocr

3B

85.9

85.5

90.7

48.2

85.3

81.6

94.0

99.7

83.9

olmOCR-2

8B

82.9

82.1

84.3

48.3

84.3

81.4

–

99.7

82.4

LightOnOCR-2

1B

89.6

85.6

89.0

42.2

84.8

91.4

19.7

99.6

83.2

chandra-ocr-2

4B

86.9

89.192.151.1

82.1

93.7

91.4

99.985.8
jina-ocr-v1

3B/570M

86.1

82.3

88.8

42.6

85.5

93.2

88.7

99.9

83.4

在 olmOCR-Bench 上,jina-ocr-v1 拿到 83.4 分,比基座 DeepSeek-OCR 高出 7.4 分,也超过了 8B 规模的 olmOCR-2。

这里说明一下 Hdr/Ftr(页眉/页脚)这一列:该基准的设计偏向剔除边角杂质,越是主动省略页眉页脚的模型得分越高;老老实实整页转录的系统在这项上反而会扣分。

方法

参数

总分 ↑

TextEdit ↓

FormulaCDM ↑

TableTEDS ↑

TableTEDS-S ↑

ROEdit ↓

Gemini 3 Flash

–

92.62

0.066

95.16

89.29

93.51

0.172

Qwen3-VL-235B

235B/22B

89.78

0.063

92.55

83.07

86.75

0.166

DeepSeek-OCR-2

3B/570M

90.25

0.050

91.84

83.89

87.75

0.144

HunyuanOCR-1.5

1B

94.74

0.039

94.50

93.67

94.71

0.129

PaddleOCR-VL-1.6

0.9B

96.340.03397.5394.7697.100.128
jina-ocr-v1

3B/570M

91.14

0.046

93.28

84.68

89.01

0.142

在 OmniDocBench v1.6 评测中,jina-ocr-v1 以 570M 激活参数拿到 91.14 分,各项指标全面领先 DeepSeek-OCR-2,也超过了参数大得多的 Qwen3-VL-235B。

在 L4 上的推测解码实测

模式

k

输出Token/秒 ↑

加速比 S ↑

接受率

τ

c ↓

Eager

0

42.7

1.00x

–

–

1.00

Eager

1

64.0

1.50x

82.6%

1.83

1.22

Eager

2

77.9

1.82x

69.1%

2.38

1.30

Eager

3

83.11.95x

57.6%

2.73

1.40

Graph

0

158.3

1.00x

–

–

1.00

Graph

1

185.61.17x

82.9%

1.83

1.56

Graph

2

183.8

1.16x

69.3%

2.38

2.05

Graph

3

172.9

1.09x

57.9%

2.74

2.51

测试环境:olmOCR-Bench,单卡 NVIDIA L4,vLLM 0.20.1,并发 batch size = 1。τ 代表单次推测平均接受的 token 数(含验证带出的 bonus token);c = τ/S 是单个推测步折算成多少步标准自回归。

这里有一条工程经验:基线自回归跑得越快,留给推测解码的边际收益空间就越窄。

先看 τ。k = 3 时,Eager 是 2.73,CUDA Graph 是 2.74,说明 draft head 质量根本不受运行环境影响。两边的最优前瞻步数却走到了两个极端,一个拉满 k=3 最快,一个退到 k=1 才快。

  • 在 Eager 模式下(CPU 调度受限,主模型太慢):原生自回归单步要 23.4ms,大半时间耗在 CPU 一遍遍发射 CUDA kernel。这时让 draft head 一次多带几个 token,等于少付几次发射税。所以激进推测最合适, k = 3 最优,加速 1.95x。

  • 在 CUDA Graph 模式下(显存带宽受限主导):Graph 打包了 kernel 发射,自回归单步耗时只需要 6.3ms(吞吐从 42.7 跃升至 158.3 tokens/s)。但推测解码由于有动态分支,依然要承担 9ms 的固定开销。此时多猜一步的成本已经比再生成一个 Token 更贵了,前瞻收益被严重摊薄。因此在 Graph 模式下,单步推测 k = 1 才是收益最高的最优解(1.17x)。

生产部署建议:无法使用 CUDA Graph 的环境(或轻量 Eager 实例)直接拉满k = 3;已经跑通 CUDA Graph 环境下,只开 k = 1。

快速上手

最简单的调用方式是走 Jina Reader API。

直接把文档或网页 URL 传给 r.jina.ai,并附带对应请求头:Reader 会自动抓取、渲染并调用 jina-ocr-v1,直接返回 Markdown:

curl "https://r.jina.ai/https://example.com/document.pdf" \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -H "X-Respond-With: jina-ocr-v1"

如果只要转录多页 PDF 中的某一页,加一个 X-Page 请求头即可。这两项开关在 Reader Web 控制台 https://jina.ai/reader/ 都支持可视化勾选。

若要直接调用模型,托管端点完全兼容 OpenAI 接口规范:

curl https://api.jina.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ***" \
  -d '{
    "model": "jina-ocr-v1",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "Transcribe the provided document image into a clean Markdown format, preserving the natural reading order."},
        {"type": "image_url", "image_url": {"url": "https://example.com/document.png"}}
      ]
    }]
  }'

Document OCR

把扫描页、照片或 PDF 转成干净 Markdown,表格和公式一并带上。 

我们准备了一个 demo,方便先 vibe check。 

https://jina.ai/api-dashboard/document-ocr-test

若要在本地私有化部署,权重与自定义建模代码均托管在 Hugging Face,加载时指定trust_remote_code=True。启用 FastMTP 推测加速需要 vLLM 0.21 以上,且在启动引擎前注册一次架构:

import sys
from huggingface_hub import snapshot_download
from PIL import Image
from vllm import LLM
sys.path.insert(0, snapshot_download('jinaai/jina-ocr-v1'))
from deepseek_ocr_mtp import DEFAULT_OCR_PROMPT, register, vllm_llm_kwargs, vllm_sampling_params
register()
llm = LLM(**vllm_llm_kwargs('jinaai/jina-ocr-v1',
                            num_speculative_tokens=3,
                            mtp_heads=1,
                            mtp_recursive=True))
image = Image.open('document.png').convert('RGB')
outputs = llm.chat(
    [{'role': 'user', 'content': [{'type': 'image_pil', 'image_pil': image},
                                  {'type': 'text', 'text': DEFAULT_OCR_PROMPT}]}],
    sampling_params=vllm_sampling_params(max_tokens=4096),
)
print(outputs[0].outputs[0].text)

部署避坑提示:

  1. 显式指定 method="eagle":FastMTP 草稿头是用递归隐状态反馈训练出来的。如果误用 vLLM 默认的 method="mtp",引擎会在每步草稿时重新对齐目标特征,导致推测加速失效。我们的注册辅助函数已经默认处理好了这一点。

  2. 原生 Transformers 不会加速:如果仅通过 Hugging Face 的 transformers 库加载,只会执行主 MoE 解码器,FastMTP 草稿权重会被直接忽略。想要翻倍吞吐,请使用 vLLM。

模型同时支持表格和数学公式的逐元素提取、图像图注生成、文档 VQA(视觉问答)以及关键信息抽取,中英文双语均支持。

模型权重遵循 CC BY-NC 4.0 协议开源。

结语

激活参数仅 570M 的 jina-ocr-v1 在两大主流评测同时位于“精度与计算效率”的帕累托前沿,实测整页吞吐同样是稳居第一梯队。

能用如此克制的体量榨出顶尖性能,核心来自两项精简的架构创新:一是针对可验证规则的分级密集奖励,二是通过递归推测解码,配合主模型实现无损加速。

这次实测也打破了一个常见选型误区:Token 吞吐高,并不代表实际解析速度快。

做选型时,大家往往只盯着每秒能吐多少个 Token(tokens/s),但如果模型结构冗余,输出臃肿,单页要生成 3,500 多个 token,哪怕能跑出 3,700 tokens,每秒也只能处理 1 页文档(比如 Surya OCR 2)。

只要解析质量不打折,输出越精炼,端到端吞吐就越高。

这才是 jina-ocr-v1 的核心优势所在,单页平均仅输出 1085 个 token。是所有 83 分以上高精度模型中最精炼的一个,正是这种不带水分的紧凑表达,让它在 A100 上跑出了 2.57 页/秒 的全场第一。

跳转微信打开

活动报名|2026 年做搜索就是在做 Test Time Compute

2026年8月14日 18:40

原创 Jina AI 2026-08-14 18:40 湖南

2026 年 8 月 21 日,下周五,深圳见!

2026 年 8 月 21 日,下周五,腾讯云与 Elastic 将在 深圳腾讯滨海大厦 举办 AI 搜索技术大会。Elastic AI 副总裁肖涵将在现场分享:《2026 年做搜索,就是在做 Test Time Compute》

一个模型训练完成、参数完全冻结之后,能力还能继续 Scaling 吗?

直觉上似乎不能。模型权重一旦固定,能力边界大体也就确定了。想要提升效果,通常只能换更大的底座模型、加参数,或者扩大训练数据量。

但在搜索里,这个结论可能并不成立。

同一个 Embedding Model,可以只算一次,也可以把文档切开算很多次;可以只算句子相似度,也可以继续 Rerank、Query Expansion、多向量检索;到了 Agentic Search,还可以让 Agent 在 Grep、Embed、Rerank 之间反复循环,动态决定下一步应该搜索什么。

这种用更长推理时间换取更好效果的逻辑,在大语言模型领域,我们习惯叫它 Test Time Compute。

那么同样的逻辑放进搜索,不训练模型,只增加推理阶段的计算,搜索效果能不能继续提高?如果增加 10 倍、甚至 100 倍算力,相关性会不会像模型 Scaling 一样,出现某种稳定的 Scaling Law?

Elastic VP of AI 肖涵此前做过一组 AutoResearch 实验:

在后端只有一个完全冻结、且不允许二次训练或添加任何参数的 Encoder 前提下,让 Agent 自主迭代检索程序。Agent 会不断修改代码、跑实验、校验指标,保留有效修改并回滚错误。一晚上时间,自动化循环跑出了 144 个不同的检索程序。

起初,实验结果完美符合预期:随着推理阶段算力投入增加,搜索效果指标稳步上升,甚至拉出了一条干净的 Scaling 曲线。

只看这张图,很容易得出一个令人兴奋的结论,搜索和推理模型一样,也可以靠 Test Time Compute 持续 Scaling。

然而,当把这套在特定任务上卷出来的程序,放到从未见过的全新任务和 Encoder 上时,那条漂亮的曲线瞬间消失了,在领域外任务上,十几倍的计算量并没有换来更好的效果。

这就带来了一个很现实的思考:到底什么样的计算,才能真正改善搜索的泛化能力? 为什么有些昂贵而复杂的复杂检索流程只能在特定数据上表现好,而某些轻量级的结构调整,反而能无缝迁移到陌生模型与任务中?

过去,我们设计的是一次检索。后来,我们开始设计一整条搜索流水线。2025 年,这条流水线的形态是 Deep Research,在开放网络上循环。

到了 Agent 时代,要写代码,进沙箱,跑评估。单次请求可以运行数小时。搜索系统的瓶颈从选一个更大的模型,转移到了如何给这一次请求分配算力,算力该花在召回、重排、阅读,还是下一轮搜索上。

于是,2026 年做搜索,一个越来越难绕开的问题是:

当模型不再变大,我们究竟该如何解 Test Time Compute 的题?

8 月 21 日,下周五,深圳腾讯滨海大厦。

腾讯云联合 Elastic 举办的 AI 搜索技术大会 上,Elastic AI 副总裁肖涵将现场分享: 《2026 年做搜索就是在做 Test Time Compute》

同场,腾讯云 Elasticsearch Service(ES)企业版将重磅发布。腾讯云大数据基础产品总经理程彬、Elastic AI 副总裁肖涵领衔,蔚来、腾讯 ima 等团队也将带来真实落地经验,现场展开向量搜索、混合检索、RAG、智能体构建等技术议题。

以及 Elastic 首席 AI 研究工程师王峰博士,也将分享《jina-reranker-v3.5:基于混合注意力机制与自蒸馏的高性能 Listwise 重排器》

还有 5 场开发者脱口秀穿插全天,现场抽取 30 位嘉宾解锁鹅厂 VIP 展厅参观。

更多议程与嘉宾详情见下方邀请函,扫码报名,或点击「阅读原文」报名。

这些问题,我们留到现场讲清楚。

阅读原文

跳转微信打开

Jina Reranker v3.5:专注垂直领域的 0.6B 列表式重排器

2026年7月29日 14:00

原创 Jina AI 2026-07-29 14:00 新加坡

0.6B 体量的卷王重排器

今天,我们正式推出 jina-reranker-v3.5。

作为 v3 系列的进阶版,它依旧保持了 0.6B 的参数规模以及标志性的 LBNL( Last but not late,一次前向传播处理整批文档)的列表式架构。在保持轻量化推理优势的同时,v3.5 专门解决了生产环境中最棘手的三个工程痛点:垂直领域适配、结构化记录的逻辑识别,以及长列表下的显存爆炸。

性能预览

维度

nDCG@10 表现

相比 v3 提升

核心亮点

BEIR (通用)63.20

+1.10

超越 4B 规模的 Qwen3-Reranker
MIRACL (多语言)74.11

+2.6%

0.6B 档位的性能标杆

RTEB (行业领域)70.95

+4.3%

覆盖法律/金融/医疗/代码

Struct-IR (结构化)48.3+24.8%

对 JSON 格式,表格,和字段背后的逻辑和规则的理解更清楚

推理速度

——

1.22×–1.56×

列表越长,加速越明显

为什么推出 v3.5?

Jina Reranker v3 的表现已经超出了我们的预期,它证明了 0.6B 参数配合 Listwise 架构,完全有能力在通用基准测试上和大模型掰掰手腕。但当我们将 v3 投入真实的业务时,却发现了一些榜单无法体现的坑。

  1. 垂直领域: 法律条文、临床诊断或金融研报,其语言模式与通用网页截然不同。BEIR 上的冠军模型,在复杂的法律判例面前也可能失效。

  2. 结构化数据: 面对 JSON 或表格数据,Reranker 如果不懂字段间的逻辑约束,比如“价格必须在 100~200 之间”、“必须是 L 码”等,就很容易给出离谱的评分。

  3. 长列表延迟:处理长文档列表时,全自注意力机制带来的显存开销是平方级增长的,延迟根本不可控。

v3.5 的出现,就是为了在保持轻量的同时,把这些工程盲区扫平。

三大核心演进

1. 3L2G 混合注意力架构

为了从根本上降低长列表下的计算开销,我们放弃了传统的全自注意力模式,转而采用 3L2G 混合注意力架构。

模型的大部分层运行 滑动窗口注意力(Sliding Window Attention),窗口大小设为 1024,这直接将计算复杂度从平方级拉到了线性级别。为了不丢失全局信息,我们周期性地 穿插了全局注意力层进行同步,并强制 末层必须全局可见,确保最终打分能吃透整组候选文档的特征。

2. 覆盖失效场景的数据策略

在训练阶段,我们将重点放在补齐 v3 的弱势场景上。

在法律和行业合规领域,我们补充了 EUR-Lex 和 AILA 等权威判例库,涵盖多国法律法规;医疗方面则补充了临床对话与生物医学论文。同时,利用大模型生成了大量极具干扰性的难负样本,逼模型学会区分细微的司法辖区和专业差别。

面对电商或企业系统中的 JSON 记录或者表格数据,传统模型往往只看字面词汇,不懂数字逻辑,比如搜 150 元以下,可能把 160 元的也匹配出来。我们采用 Struct-IR 策略,故意对 JSON 数据的关键字段,如价格、规格做微调或扰动,,逼模型去理解字段背后的约束与逻辑关系。

此外,多语言语料库 也扩展到了 50 多种语言,整体通用性与泛化能力进一步增强。

3. 三阶段自蒸馏流程

直接训练稀疏模型往往性能抖动,我们摸索出了一套迂回战术:

先练一个性能触顶的全注意力教师模型;再让 3L2G 学生模型去适应注意力路径的变化;最后通过 KL 散度和隐状态 MSE 等多维度蒸馏,让学生模型在大幅提速的同时,完美承接教师模型的排序质量。

性能实测

我们对比了 v3.5 与前代版本 v3,以及目前市面上主流的大参数重排模型。数据覆盖了通用搜索、多语言、垂直行业以及结构化数据四个维度。

1. 通用搜索:0.6B 规模超越 4B 模型

Jina Reranker v3.5 BEIR 基准测试结果与 Qwen3 和 Mixedbread rerankers 的比较

在通用的 BEIR 搜索基准测试中,v3.5 的平均分达到 63.20 (nDCG@10)。性能超过了参数量是其 7 倍的 Qwen3-Reranker-4B(62.28)。

2. 垂直行业:法律与金融场景的专项补强

Jina Reranker v3.5 RTEB 特定领域基准测试结果(法律、医疗和金融检索)

针对 法律、金融、医疗和代码 等行业语境(RTEB 基准),v3.5 的综合表现提升了 4.3%。在法律任务 AILA 上,v3.5 的 nDCG 指标相比 v3 猛增了 11 - 14 个点。

3. 结构化数据理解

Jina Reranker v3.5 在 Struct-IR 和 STaRK 上的结构化数据基准测试结果

这是 v3.5 进步最大的地方。在 Struct-IR 测试中,得分从 38.7 提升至 48.3,提升 24.8%。尤其在简历筛选等强约束场景中,Recall@5 指标已经能够与 Qwen-4B 持平。

4. 推理速度

数据集

平均文档长度

jina-reranker-v3

jina-reranker-v3.5

加速

BEIR

 短文档场景

~145 Tokens

371.1 ms

305.3 ms

22%
RTEB

 长文档场景

~1,900 Tokens

16,064.9 ms

10,290.9 ms

56%

混合注意力架构在长文档列表上展现了巨大的优势。以法律判例检索为例,处理速度提升了 56%,这直接解决了长上下文重排时最头疼的显存爆炸和延迟抖动的问题。

如何快速上手?

1. Jina AI API 

已在 Jina AI 官网同步上线,直接把模型名改成 jina_reranker_v3.5即可,代码逻辑不用改动。

curl https://api.jina.ai/v1/rerank \
  -H "Authorization: Bearer $JINA_API_KEY" \
  -d '{
    "model": "jina-reranker-v3.5",
    "query": "有机化学反应机制",
    "documents": ["SN2 亲核取代反应...", "如何烤制酸面包...", "钯催化偶联反应..."]
  }'

2. Elasticsearch 集成

通过 Elastic Inference Service (EIS) 调用,可作为 text_similarity_reranker retriever 接入混合搜索的流水线。

3. 私有化部署

https://github.com/jina-ai/jina-on-prem 支持 Docker 一键部署,适用于内网隔离或受监管的数据环境。

4. 模型已开源

模型权重已发布至 Hugging Face,支持通过 transformers 库直接加载。

model = AutoModel.from_pretrained("jinaai/jina-reranker-v3.5", trust_remote_code=True)

jina-reranker-v3.5 适用 CC BY-NC 4.0 许可协议,如有商业用途需求,请随时联系我们:sales@jina.ai

总结

在 0.6B 这个不挑卡的体量下,我们借由 3L2G 混合注意力架构,降低了长列表的推理门槛,并把对结构化数据的理解能力补齐到了生产可用的水平。

如果你现在的系统正面临长列表响应慢,或者垂直领域的检索,结构化数据的理解差点意思,Jina Reranker v3.5 提供了一个极具性价比的技术选型。

所有的技术细节与实验数据都已同步在技术报告 https://arxiv.org/abs/2607.18152 中公开,欢迎在实际业务中进行压测。

跳转微信打开

jina-embeddings-v5-omni 发布!全模态向量小模型

2026年5月13日 19:15

原创 Jina AI 2026-05-13 19:15 新加坡

文本、图片、音频,视频,还有 PDF,全模态支持!

jina-embeddings-v5-omni正式发布,我们把 v5-text 向量模型的能力延伸到图像、音频和视频。文本侧不变,v5-omni 产出的文本向量与 v5-text逐字节一致,无需重建任何已有索引。

  • jina-embeddings-v5-omni-small 在四模态上平均得分 53.93,以 1/5.7 的参数量几乎追平 LCO-7B(54.43)。

  • jina-embeddings-v5-omni-nano 在 0.95B 参数下,依然能在文档检索上交出有竞争力的成绩。

开源 Omni 向量模型(同时覆盖文本、图像、音频、视频)的帕累托前沿。
开源全模态向量模型(Omni embedding model)模型(同时覆盖文本、图像、音频、视频)的帕累托最优。

v5-omni-small(1.57B)的参数量不到 LCO-7B(8.93B)的 1/5,平均分却追平了它;v5-omni-nano(0.95B) 体量更小,但较 LanguageBind(1.14B)高出 8.9 分。横向对比基线包括 LanguageBind、Omni-Embed-Nemotron-3B、LCO-Embedding-Omni-3B 和 LCO-Embedding-Omni-7B。

不同模态的表现
不同模态的表现

按模态拆解,我们分别在 MMTEB(文本)、MIEB(图像)、MMEB-Video(视频)、MAEB(音频)上评测。

  • v5-omni-small 在文本上拿到 67.0,领跑所有 Omni 模型:这一分数从 v5-text-small 原样继承,没有损失。

  • 图像 56.05,其中聚类任务 84.57 是 全榜最高;

  • 音频 51.46 与 LCO-7B(52.37)几乎打平,音频分类任务 55.89 同样登顶。

  • 短板在视频上:41.20 对 LCO-7B 的 47.41,这是目前与端到端训练方案之间最显著的差距,时序推理更依赖端到端训练。

不同任务的表现
不同任务的表现

再把四个模态细拆成 13 类任务,图中星星标记的是 v5-omni-small 胜过最强开源基线(对方参数量普遍是它的 3-9 倍)的任务。

  • 领先的四项:图像分类(68.55 vs 64.30)、图像聚类(84.57 vs 83.24)、多语言图像检索(65.88 vs 61.99)、音频分类(55.89 vs 53.39)。

  • 主要差距:视频检索(27.82 vs 58.73)、组合检索 / VQA(44.23 vs 53.40):与上一张图的结论一致,视频是仍要补的一课。

文档检索
文档检索

单独看文档检索(ViDoRe-in-MIEB)。v5-omni-small 只激活 0.92B 文本 + 图像参数,就拿到 79.08,反超 LCO-3B(78.24,激活参数 4.07B)。

v5-omni-nano 更极致:0.31B 激活参数取得 70.05,把 LanguageBind(37.33)近乎翻倍。Nemotron-3B 以 85.64 暂居榜首,但参数量是 v5-omni-small 的 5.1 倍。

模型架构

v5-omni 的做法是:作为文本侧底座的 v5-text、新增的视觉与音频编码器整体冻结,中间只插一层小型可训练投影层(projector),负责把不同模态的表示对齐到 v5-text 的语义空间。三个塔分别长这样:

  • 视觉:基座是 Qwen3.5 视觉编码器(改自 SigLIP2),配合 2x2 空间合并把 token 数压到原来的 1/4。整块编码器都冻起来,只把最后一层 fc_vision_2 换成一层随机初始化的投影,负责把视觉特征对齐到 v5-text 的输入维度,这层也是整个视觉塔里唯一参与训练的部分。

  • 音频:基座是 Qwen2.5-Omni 编码器(改自 Whisper-large-v3),同样整块冻住。一层随机初始化的 fc_audio 把 1280 维输出投到 v5-text 的输入维度。

  • 视频:不引入新编码器,而是直接当成一串视觉帧喂给视觉塔,需要的话再带上从视频里抽出的音频段。

任务侧,v5-omni 直接继承 v5-text 的四个任务专用 LoRA 适配器(检索、文本匹配、分类、聚类),每个任务变体单独训练自己的投影层权重。

这种"冻结 + 投影"的架构带来一个直接好处:完全模块化。只用文本,就只加载文本权重(内存占用与 v5-text 一模一样);要做图文,就再挂图像塔;音频、视频按需挂载,只有跑全模态时,所有塔才一齐就位。

Architecture
v5-omni 架构图

真正参与训练的只有中间那条小小的投影层,占总权重的 0.35%。视觉、音频、文本三个塔全部冻结。任务专用 LoRA 适配器分别处理检索、分类、聚类和文本匹配。

特性

jina-embeddings-v5-omni-smalljina-embeddings-v5-omni-nano

基座文本模型

jina-embeddings-v5-text-small

(Qwen3-0.6B)

jina-embeddings-v5-text-nano

(EuroBERT-210m)

总参数量

~1.56B~0.95B

支持模态

文本、图像、音频、视频、PDF

文本、图像、音频、视频、PDF

向量维度

1024

768

Matryoshka 维度

32, 64, 128, 256, 512, 768, 1024

32, 64, 128, 256, 512, 768

上下文长度

32768 tokens

8192 tokens

视觉编码器

Qwen3.5-2B ViT(SigLIP2)

SigLIP2 Base

音频编码器

Whisper-large-v3

Whisper-large-v3

任务适配器

4 个(检索、文本匹配、分类、聚类)

文本兼容性

与 v5-text-small 逐字节一致

与 v5-text-nano 逐字节一致

可训练参数

~18M 投影层(0.35%)

~7M 投影层(0.35%)

池化方式

Last-token

Last-token

模型许可

CC BY-NC 4.0

CC BY-NC 4.0

快速开始

Elasticsearch(Elastic Inference Service)

如果你已经在 Elasticsearch 中用 jina-embeddings-v5-text,现有的文本索引开箱兼容 v5-omni。Omni 模型对文本输入产出的向量与 v5-text 逐字节一致:同样的输入,同样的向量,无需重新 embed,无需重建索引。要把图像、音频、视频也搜起来,只需新建一个 v5-omni 索引,把多模态内容写进去就行。

用 v5-omni 作为推理端点创建一个 semantic_text 索引,EIS 会在索引和检索时自动选择对应的 LoRA 适配器:

PUT multimodal-semantic-index
{
"mappings": {
"properties": {
"content": {
"type": "semantic_text",
"inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}

把文本、图像(base64 data URI)、音频、视频写入同一个字段、同一个索引:

// 写入文本
POST multimodal-semantic-index/_doc
{
"content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}
// 写入图像(base64)
POST multimodal-semantic-index/_doc
{
"content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}

用一条文本 query 跨所有模态搜索:

GET multimodal-semantic-index/_search
{
"query": {
"semantic": {
"field": "content",
"query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}

Jina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'

请前往 jina.ai/embeddings 获取 API Key。

Hugging Face

from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer(
"jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)
# 文本向量(与 v5-text 完全一致)
text_emb = model.encode("What is knowledge distillation?",prompt_name="query")
# 图像向量
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)
# 跨模态相似度
similarity = model.similarity(text_emb, img_emb)

训练方法

我们把这套架构叫做冻结编码器的模型组合(frozen-encoder model composition),拿一个足够强的文本向量模型做基座,把预训练好的视觉与音频编码器挂上去,中间只留一层小型可训练投影层,除此之外一律冻结。

整个联合模型只有 0.35% 的权重在训练,由此换来三件好处:1. 文本表现分毫未动:同样的输入产出同样的向量,字节级一致;2. 训练快、省显存:只训投影层,比全量训练快 1.8-3.9 倍,显存降低 42%-64%; 3. 模块化:各个塔可以独立加载。

训练效率
训练效率

上图是 4x H100、batch size 256、15K steps 下,投影层训练 vs 全量训练的耗时对比。音频侧的提速最明显:small 加速 3.2 倍 (154 min vs 497 min),nano 加速 3.9 倍(112 min vs 441 min)。显存能省下 42%-64%,因为冻结的编码器不需要保存梯度和优化器状态。

v5-omni 完整继承了 v5-text 的 Matryoshka 维度支持。图像与音频向量在维度截断下基本无损,视频向量在小维度下衰减更明显。

Radar summary

把四个模态汇总到一张雷达图上,v5-omni 各项 vs 最强基线。v5-omni-small(1.57B)在文本、图像、音频三项上的曲线 都贴住或反超基线;视频是雷达图上唯一明显凹下去的一块,也是我们下一版本要补的功课。

结语

这是 Jina 在全模态向量模型方向上的首次尝试,我们希望换个角度思考这个问题:多模态向量模型,真的必须端到端整体训练吗?

v5-omni 给出的回答是:不一定。

v5-omni 冻结文本底座、只训练 0.35% 的权重,就足以在文本、图像、音频三项追上参数量 5-7 倍于自己的模型。我们得到的经验是:组合(composition)胜过重训(retraining)。真正难的事情是先把一个足够强的文本编码器训出来,这件事一旦做好,通过轻量投影层把视觉和音频挂上去,代价几乎为零。

但这一版最值得说的还不是 benchmark,而是这种冻结底座的设计带给生产级用户的一个直接好处:现有的 v5-text 索引一行都不用动。

如果你已经在用 v5-text,把推理端点切到 v5-omni 就行。同样的 query,同样的向量,逐字节一致;不需要重新向量化任何一条数据,就能直接获得图像、音频、视频检索能力。这是我们对多模态检索升级这件事的看法:应该是一次原地升级,而不是一次迁移工程。

jina-embeddings-v5-omni-small 是当前 20 亿参数以下最强的开源 Omni 向量模型。jina-embeddings-v5-omni-nano 在 10 亿参数量级上仍保持有竞争力的全模态检索能力

两个模型现已上线 Hugging Face 与 Jina Search Foundation API,也可以在 Elasticsearch 的原生推理端点直接调用。

跳转微信打开

2026 年做搜索就是做 Agent Memory

2026年4月22日 14:30

原创 Jina AI 2026-04-22 14:30 新加坡

“大家今天还用 grep+md 做记忆召回,说明我们几年来语义搜索就没做好”

4 月 18 日,Elastic 中国 AI 搜索技术大会在北京召开。以下内容整理自 Elastic 全球副总裁肖涵,原 Jina AI 创始人兼 CEO 在会上的演讲。肖涵讲述了 AI 搜索的发展历程以及为什么说在 2026 年做 AI 搜索基本就是在做智能体记忆 (Agent Memory)。本文以第一人称呈现。

欢迎大家来到 Elastic 第一次在中国办这么大的技术研讨会。我是肖涵,北京人,大家可以先放松一下,欢迎来到我的家乡。

先简单介绍一下自己,以及我和 Elastic、尤其是和搜索的一些渊源,也帮大家回忆一下搜索这些年的发展。

我最早接触搜索是 2009 年,在惠普实验室(HP Labs)实习,拿 Lucene 做分词,做信息抽取。那时候叫 IE,不是 Internet Explorer,是 Information Extraction。还做了一些 LDA、主题模型这类东西。2009 年贝叶斯那套非常火,跟今天 Transformer 的地位差不多。

后来我去德国读博,做的就是贝叶斯机器学习。等我 2014、2015 年博士毕业出来,发现贝叶斯没什么人搞了,大家都在用 TensorFlow 做深度学习。又过了几年,Transformer 出来,把深度学习的架构统一了。

2018 年我回国,在深圳腾讯 AI Lab 做了两年搜索,做的是微信"搜一搜"背后的多模态和中文搜索。2020 年疫情的时候出来创业,成立了 Jina AI,专门做多模态搜索。

当时我立的 flag 是"颠覆 Elastic"。结果绕了一圈,2025 年 10 月被 Elastic 收购了。现在我在 Elastic 担任全球副总裁,专门负责 AI,主要是搜索底座模型的研发。

今天要讲的主题是智能体记忆。

先问一下在座有谁用过小龙虾?举个手。嗯,量不小,一看就是在中国,大家都很爱学习。那用过超过一个月的?少一些。超过两个月的?更少了。

那我相信大家都遇到过一个问题:用这类智能体,用一两次是尝鲜,但当你用了一周、两周之后,你是希望它越来越聪明的,随着你用它越久、它越记得住你的事。可惜目前这套记忆机制很不完善。

智能体记忆的痛点

讲一个两周前我自己的真实例子。

我跟小龙虾说:"我之前做了一个 911 的图表,你发给我一下。"911 是保时捷的一款跑车。然后它(我给它起名叫"小牛马")跟我说没找到,问我 911 是指恐袭还是别的东西。

我当时第一反应是模型降智了,或者被 fallback 到什么垃圾模型上去了。我特地查了一下,发现跑的是 Claude Opus 4.6,当时最好的模型。不是模型的问题。

那我就开始 debug。我问它:你刚刚用的什么搜索?怎么判断你记忆里没有这件事的?

它说它用了 Grep 做关键词匹配,又用 Memory Search 做向量语义搜索,把 Memory Markdown、Session Log、文件系统都扫了一遍。

方法上看着没问题。那接下来 debug 的点就是:你到底用的什么 Query?

它告诉我,第一次的 Query 是 911 chart graph visualization。它不知道 911 是什么,直接把我的中文翻译成英文去搜了,发生了一次 multilingual query 的转译。第二次更离谱,Query 变成了 September 11th chart visualization Twin Towers attack,直接搜成恐袭了。

这两个 Query,我的记忆库里当然都找不到。

后来我换了一个说法,"帮我把 992.2 的图表发给我"。992.2 是 911 这代车型的代号。一下就找到了,3 月 29 号做的。

所以就算你记忆系统整条链路都对,只要第一步 Query 构造错了,整个检索就是废的。而且这种事情从我 1 月份开始用到今天,一直在发生。

记忆,是今天 Agent 的一个很大的痛点。

回顾搜索的发展脉络

我们回顾一下,搜索是怎么走到"做智能体记忆"这一步的。

2009 年刚做搜索的时候,关键词就是 BM25、TF-IDF、倒排索引,Lucene 背后那套东西。

2015 年之后,向量搜索逐渐进入视野,最早是 Spotify 搞过一个,名字我都快忘了,然后是 Facebook 的 Faiss,Milvus,Elastic,这是第一批把 Vector Search 做出来的。但大家很快发现向量搜索也有问题:速度是一个,过度召回是另一个。向量搜索有个毛病,就是哪怕 Query 和文档完全不相关,只要分数差不多它就召回了。关键词搜索会零召回,向量搜索太柔,语义上都太柔化。所以后来大家把两者结合,做混合搜索。

2018 年 Transformer 统一了深度学习架构,BERT 成为把文本编码成向量的标配。

2022 年 11 月 ChatGPT 发布,RAG 起来,搜索和生成越走越近。我 2022 年写过一篇小随笔,搜索是过拟合的生成,生成是欠拟合的搜索。它们俩其实是对偶的。

2025 年还有一个时间点。春节前正月初一,DeepSeek 发布了 R1,非常火。它那套 reasoning 加 test-time compute 的范式让大家意识到,搜索可以边搜边 reasoning,再不断搜,最后生成一份很长的报告,这就是 Deep Research。2、3 月份 Google、OpenAI、Perplexity 都在做,包括后来做得比较好的 MiroMind。

2026 年呢?自从 OpenCloud 发布之后,大家对 Agent 的期待变了。不再是生成一份报告就结束,而是希望我一旦启动这个 Agent,它能连续干三四个小时,没人管、没人介入,它自己在那跑。

Jina AI by Elastic 搜索底座三件套

Jina AI 从 2020 年成立到现在六年,做的事情一句话讲完:我们在做搜索的底座。我们在观察这条进化路线上哪些东西是不变的。最后沉淀下来三套模型,Embedding、Reranker、还有一个 Reader (或者叫 Small Language Model)。

Embedding 大家都知道,就是向量,把文本或者图片转化成向量,然后用 cosine 余弦距离去匹配。

  • V1:默默无闻。

  • V2:2023 年 10 月发布,在海外引起了比较大的轰动,因为当时它是第一个开源的、支持 8K 上下文的模型,你能一次编码 8000 个 tokens,是第一家做开源长文本向量模型的,当时都是英语。之后我们还有很多双语版本。

  • V3:我们把所有双语版本都砍掉统一,重新训练了一个多语言的 embedding 模型。到现在仍然非常好用,在 Hugging Face 上月下载量大概在 500 万。

  • V4:2025 年发布的一个多模态 embedding 模型,可以同时编码图片和文本。有人说多模态模型 CLIP(OpenAI 的 CLIP)2022 年就搞了,你 2025 年才搞一个多模态的模型?其实它俩不一样。CLIP 用的是对齐训练,而 V4 的多模态是一个真正的多模态,它把图片拆成小的 patch,和语言一起放到一个大的语言编码器中编译成向量,而不是像 CLIP 那样有一个图片模态、一个文本模态,然后两个模态之间对齐。

  • V5:我们今年在加入 Elastic 之后,和 Elastic 一起研发的向量模型。V5 的性能和大小非常好。我们发布了两个版本:一个是 V5 text Nano,只有 2.39 亿参数;一个是 V5 Small,6.77 亿参数。相对于 V4 的大小(38 亿),小了很多。当然 38 亿对于大语言模型来说只是非常小的 toy example,但对于搜索任务我们要求的是快,在快的基础上做到精准。v5 的特点就是参数小,但性能强。

可以看到即便我们现在用更小的模型,其实可以达到更高的性能。V5 目前是文本领域做多语言搜索能够做到最好的。可以看到它是一个 Frontier model(前沿模型)。

放到 Pareto Frontier(帕累托前沿)上看,横轴是参数量,纵轴是任务分数,越靠左上越好,V5 目前在最左上那个角上。它是文本领域多语言搜索目前能做到最好的前沿模型。这个模型已经被 SIGIR 2026 录取了。

另一个我们做的是 Reranker。重排器有些人不太理解:我都有 Embedding 做语义搜索了,为什么还要 Reranker?你一次排好不就完了?

Jina Reranker v3: 全新“列式”重排器,0.6B参数刷新文档检索SOTA

原因是搜索是一个多层级联的 Pipeline。到最后一步,我们希望更细致地挖掘 Query 和候选文档之间字和字级别的相似度,也就是 token level 的语义匹配。Embedding 是把整篇文章压缩成一个向量,压缩过程必然有损失;Reranker 保留了每个 token 上的向量,因此可以把 Query 的每个 token 和 Document 的每个 token 两两对比。它的计算量比 Embedding 大,但粒度也更细。

Jina Reranker V3 是第一个真正意义上的长文本重排器,支持 131K 上下文,这篇工作获得了 AAAI 2026 FrontierIR Workshop Best Paper。除此之外我们还有一个 m0 版本,做多模态重排。

Jina Reader 相信很多人在用 Agent 的时候都碰过。对很多人来说,Reader 甚至比我们的模型更出名。这个今天下午 Reader 的作者会专门上台讲,我就按下不表。Reader 为什么是永远的神,YYDS。

长时程任务与智能体记忆

回到智能体搜索、长任务这件事。刚才说了 Deep Research 是 2025 年的一个重点,它就是一个 Loop。Agent 就是一个 Loop,在三个状态之间循环:Search、Read、Reason。

2026 年今天讨论最多的、你去问智谱、MiniMax 这些厂商,PR 稿里必提的一个词就是:他们的模型如何支持 long-horizon task。长时程任务,就是 Agent 能自主运行多长时间,三四小时、三四天没人管它还能接着干。有个叫 METR 的 Benchmark专门衡量每一个大模型放在一个环境中自主解决任务的最大时间长度。目前大约是 4 到 5 个小时,这个趋势在不断上升。

你让一个 agent 工作 4 个小时,中间它要搜索几百次、读几百个文档、在失败路径上回退几十次。这些经历不可能全部塞进 context window。它必须有一个地方去存、去查、去更新。

逻辑就很清楚了:当 Agent 的目标变成长时程任务,持久记忆就不再是可选项,是命门。

记忆该如何表征?

这就引出了很多问题。最基本的问题就是:记忆该如何表征(representation)?

很多人忽视了在机器学习里最大的一个问题,其实不是方法,而是表征。机器学习的顶会之一 ICLR 的全称就是 International Conference on Learning Representations,表征学习国际会议。顶会以"表征"命名,你就知道这个概念在整个 AI 领域的位置。

我们用了很多年才发现,BERT 是对语义的一个非常好的表达,它给"一段文本应该长什么样"这件事找到了一个好的 representation。当表征就位。Vector Database 才成立。向量数据库存的就是这种表征。

所以当我们要做智能体记忆,第一个问题不是"用什么数据库",而是:记忆的 representation 到底是什么? 基于这种 representation,我该怎么去做 CRUD?

一条聊天记录,一个事实三元组,一张知识图谱?还是一段向量,一个时间戳+事件对,还是模型权重本身?不同的答案,会催生完全不同的系统。这也是今天智能体记忆领域最混乱的地方,大家在不同的表征上各自开工,谁也说服不了谁。

而且即便选定了表征,还有三个问题要回答。

第一:基于这种表征。怎么做 CRUD,这是做数据库的人熟悉的。第二,如何在不破坏对话效率的前提下,把知识从对话里抽出来变成可检索的资产。这件事要难得多,因为对话是实时的,提取是有成本的,抽多了慢,抽少了漏。第三,也是我自己最在意的。记忆能不能跨模型迁移?

我今天用智谱,明天我不粉了,变黑粉了,投奔 MiniMax,我希望我的记忆能搬过去照常运行。所以记忆应该和上层模型解耦。

我们今天从生物学的角度强行关联一下,看一下人是怎么完成记忆的。大家知道这是什么吗?这是刀盾狗(Doge),现在非常火的一个生物。

人脑的记忆是分层的。当一个新概念进来,先有视觉输入,前额叶皮层判断值不值得记,海马体负责编入,睡眠会强化记忆,最后它变成一种长时程的技能,重新烧录到新皮层。

我们可以强行做一个映射。我说两次"强行",是因为 我本人并不太赞成把人脑的东西硬搬到 AI 上,碳基和硅基的运行方式可以完全不一样。但如果强行对应:海马体对应 RAG 的实时检索,新皮层对应微调或预训练模型,前额叶就是当前的 Context Window。

什么时候该忘?选择性遗忘

讲智能体记忆还有一个特别重要的问题:什么时候该忘?

举个例子,我第一次用小龙虾的时候,把我六年创业的事一口气全喂给它。结果它经常把我六年前想过、早就放弃的一个事情拿出来问我。但人是会变的,有些事我忘了,有些事我不做了。

这个问题其实 Andrej Karpathy 有一段很精准的描述。他说:现在我们看到的 agent 系统都有一个最致命的问题,就是它不会选择性遗忘。

如果系统不做选择性遗忘,最后一定是乱的。大脑不遗忘会超负荷;Agent 不遗忘,也会被自己的历史拖垮。

目前 Agent 记忆有几个缺陷:一是遗漏,就是 911 那个例子;二是失真,也就是幻觉(hallucination);三是幻觉继承。

这时候会有一个非常有意思的事情:冷启动悖论。反而是当你用一个新模型或新 agent 的时候,感觉会非常好,因为你知道这是一个全新的 agent,对它的期待非常低,所以用起来还挺顺手。而当你使用时间越来越长的时候,你期待这个 agent 变得越来越好,但它并没有,因为它的记忆体设计得非常差。这就导致它的用户留存时间会非常短,用户对 AI 的信任被长期蚕食。整个行业的节奏被记忆这件事拖住。

市面上智能体记忆产品的分类

我梳理了一下,目前做智能体记忆的产品,开源加闭源至少有十几家。再加上老牌数据库公司 PingCAP(做 mem9)、Milvus 也在做,以及平台内置的方案:ChatGPT 的用户记忆、Claude.ai 的知识库、Claude Code 和 Codex 的文件系统。

这么多产品,怎么区分它们?我用一句话概括:Source of Truth 在哪? 这是区分所有记忆产品的第一性原则。沿着这个原则,可以分成三大类:

第一类是数据库派,向量数据库、SQL、Key-Value 存储。对话经过 LLM 抽取 facts,存进向量库或图谱,检索时注入上下文。结构化程度高,查询效率好,但"一条记忆应该长什么样"这件事由 schema 锁死,灵活性有限。

第二类是文件派,Markdown、纯文本。Agent 读文件、工作、写回文件、不断累积。优势是透明可编辑、可版本化,缺陷是文件会膨胀,需要 intelligent forgetting。代表是小龙虾、MemSearch。

第三类是模型派,真相就是大模型权重或上下文本身。模型自决定记什么、忘什么、整合什么。优势是零配置、自适应,缺陷是完全黑盒、不可审计。代表是 Letta、ChatGPT。

我们刚才看到三大类别,目前所有记忆体基本可以按这三类划分。当然还有一些结构化存储、扁平化存储、主动管理和被动管理,这可以从另一个坐标轴对所有产品进行分类。

行业共识:主流的记忆工作流

虽然流派不同,但主流工作流有高度共识,我稍微总结了一下,我们今天看到的大部分智能体记忆框架基本上都 follow 这个工作流:

  1. 从聊天记录中,通过大模型提取事实或记忆结构

  2. 将这些记忆结构:

    • 要么转化成 向量

    • 要么转化成 知识图谱

    • 要么用一些 时序数据库(时序非常重要,因为就像我刚才说的,你需要选择性遗忘)

  3. 基于时序数据库、知识图谱和向量库做混合检索

  4. 检索完之后你还无法直接呈现到上下文中,要解决两个问题:

    • 冲突:当检测出两个记忆相互矛盾的时候,该怎么解决?

    • 随时间的衰减:旧记忆权重怎么降?

大部分主流框架基本 follow 这个设计理念。当然并不是每一个框架都采用所有技术,有些只选择做几个,有些则全链都做。

小龙虾记忆结构详解

既然现场这么多人用过小龙虾,我们具体拆一下它的结构。它是典型的文件派。

它的真相源是一个 memory 文件夹,里面按天组织 Markdown 日记。另外有一份 memory.md 主文件,存长期记忆,包括用户画像;还有一份 soul.md。存它自己的"灵魂画像",也就是它对自己是谁、自己怎么做事的内部表征。

从这些真相源派生出两个索引:SQLite FTS5 做 BM25 关键词检索,LanceDB 做向量检索。在索引之上做混合检索,用 RRF 融合、MMR 去重、再加时间衰减。对外暴露两个接口:memory_search 和 memory_get。

在此之上,它还模仿了人类的睡觉习惯:有深度睡眠、浅度睡眠、REM(Rapid Eye Movement,快速眼动)。在这三个基础上设置一套机制。 

这些是仿生学的概念,总体来说它设置了一套机制,能保证不是每一条记忆都完全被升级到长期记忆上,而是通过设置阈值、判断条件来提升一部分记忆。

模型派:真相在模型里

除了文件派,还有模型派。这是我个人比较看好的方向。 也许到某个点,大家发现 Transformer 架构本身就把记忆问题解决了,直接 The bitter Lesson,力大出奇迹。

目前已经看到这个趋势,比如千问 3.5 的 MoE 模型已经可以扩展到 1M token,在一个 24G 显存的 GPU 上可以流畅运行。如果我的全部记忆能被压进或者直接装进 1M 窗口,那我就不需要分层设计了,直接用模型本身做召回。

还有一家公司是 EverMind AI,他们最近把上下文推到了 100M token,你可以直接在 KV cache 中存 100M token。他做这个事情是因为:如果不做特殊的架构处理,上下文越长召回质量越差。所以 EverMind 这家初创公司在 Attention 机制上做了特殊设计,搞了一个叫 MSA(Memory Sparse Attention,记忆稀疏注意力) 的东西,保证它在超长 100M 上仍然有非常好的召回效果。

Benchmark

学术圈对智能体记忆已经做了不少 benchmark,我简单点一下。这个很重要,我们做一个任务的时候,和民科最大的区别就是:我们要跑 Benchmark,验证完效果才去说这个东西有用。

目前主要的数据集有 LongMemEval(500 问,测五大能力:信息提取、多会话推理、知识更新、时序推理、安全拒答)、MABench(ICLR 2026,测精确检索、测试时学习、长程理解、冲突解决)、MemoryArena、LOCOMO、EverMemBench(首个多方协作基准,100 万 + tokens)、清华的 MemoryBench(首个用户反馈持续学习基准)。

目前在做记忆体测试的时候,这些是主流的 Benchmark。大家可以发现:上下文越长,记忆体效果越差;多会话推理、冲突解决目前都是非常难的问题。

Evermind 还提过一个我觉得特别有意思的问题:今天我们讨论的记忆,不管是小龙虾还是别的,都假设 Agent 是一个一对一的个人助理,这是相对简单的场景。但如果把 Agent 丢进一个群聊里呢?它该记谁的?怎么分别记每个人的? 所以记忆的未解决问题还非常多。

这里列出一些关键论文。

我们看今天的 RAG(包括混合召回)之所以不够用,是因为它本身没有状态、没有层级,至少在做 embedding、做 keyword search 的时候,它并不包含状态,也不包含时间关系。它是一个非常扁平的召回模型,所以这种模型并不擅长做记忆。这已经是目前的共识,所以才有很多图数据库、时序数据库想介入进来一起把 agent 记忆模型做好。

基础设施构建

如果我们今天看所有的智能体叙事框架,底层一定要有:

  • 向量检索(必需),尤其是 多语言向量检索,比如刚才 911 的事情,中文需要翻译成英语,不能说中文搜不到英语的内容。跨语言搜索能力一定要有。

  • 重排器和 Reader:可能需要,有时可能不需要。

在此之上有存储和搜索,包括 Elasticsearch 中的向量数据库。可以看到 Jina 和 ES(Elastic)基本上包含了整个搜索的底座。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

能力

Jina + Elastic 怎么覆盖

向量语义检索

Jina Embeddings v5(677M / 239M)

BM25 关键词搜索

Elasticsearch 原生支持

稠密 + 稀疏混合

Elasticsearch 原生 RRF

精排重排序

Jina Reranker v3(131K 上下文)

网页和文档理解

Jina Reader

多模态向量化

Jina Embeddings v4(文本 + 图像 + PDF)

元数据和多租户

Elasticsearch index / alias

目前 Elastic 还没覆盖的,是知识图谱遍历,以及如何把大模型放到架构中做事实抽取(extraction)。

Hot Take

1. 统一范式还没出现。 我在做智能体记忆调研的时候发现:其实统一的范式并没有形成。有些人从仿生学角度看这个问题,有些人从自己的使用习惯、工作效率上看这个问题。这非常像 2017 年 Transformer 没出来之前的深度学习,百花齐放的状态,包括 CNN、RNN、LSTM,这些东西百花齐放。

2. 纯文本派是躺平。不想构建任何模型,也不想构建任何仿生学层级,基本靠 grep、keyword search。这几年 search 发展太快了,从 RAG 到 deep research,很多人已经疲惫到说:"反正一切终究会被大模型吃掉,那你又何必去奋斗呢?反正到最后你就躺三个月,没准大模型出来就已经把这个实现了。" 我个人认为这是一种躺平,这种想法是有一定天花板的,而且天花板是显而易见的。

3. Unlearning 是一笔多年的技术债,该还了。 目前所有系统都是只增不减,实际上是一笔技术债。我当时做机器学习的时候,2009 年大家就讨论过机器遗忘(Machine Unlearning):怎么把已经训练的、已经学到的东西忘掉?一个现实类比就是"刷抖音这号废了,重新开号吧"。推荐系统一旦被污染就无法恢复,本质就是它不会遗忘。智能体记忆面临完全一样的问题:噪声一旦写入,就永久污染所有后续检索。

4. 推荐系统会因为智能体记忆重新火起来。智能体记忆的核心是个性化:记住用户偏好、行为模式、历史决策。这跟推荐系统做了二十年的事完全一样。小红书、抖音、淘宝这些推荐系统做得好的公司,凭借经验和先天优势,可能会在这个智能记忆体的时代发挥出来。

这就是我今天的演讲。希望对大家有所帮助,也希望让大家对智能体记忆的发展脉络和未来走向有了一个整体的认识。

另外再号召一下:Elasticsearch 和 Jina 融合之后,我们对于智能体记忆的底层有了一个非常全面的覆盖。 我希望大家能够利用 Elasticsearch 去构造自己的智能体记忆框架。

谢谢大家。

图片

跳转微信打开

肖涵:2026 年的 AI 搜索就是智能体记忆 | Elastic 中国 AI 搜索技术大会

2026年4月9日 15:32

原创 Jina AI 2026-04-09 15:32 日本

一场智能体记忆的深度拆解,4/18 北京见!

智能体记忆(Agent Memory)成为了 2026 年 AI 基础设施的新战场。Mem0、Zep、Letta、HydraDB……十几款产品在过去半年密集涌现,几乎每周都有新玩家入场。与此同时,Claude Code 用一个纯文本文件 CLAUDE.md 做记忆,Cursor 用 .cursor/rules 管理项目上下文,这些看似原始的方案反而成了开发者日常最依赖的记忆工具。

智能体记忆这个概念并不算什么创新,它本质上就是我们过去几年反复讨论的个性化检索、用户画像、上下文管理。但在 2026 年,它突然获得了前所未有的紧迫感。

原因很简单:智能体能干的活变长了,但记性没跟上。

前沿智能体能自主完成的任务时长每 7 个月翻一倍,今天已经到了小时级别。你可以让一个 agent 花四个小时帮你做完一件极其复杂的事:调研、比对、写方案、跑数据、做决策。然后你关掉窗口。下次打开,它依然不记得你的偏好,得到的结论,踩过的坑。

于是行业开始给 AI 加记忆。但加完之后发现了一个更棘手的问题:它不光记不住该记的,还忘不掉该忘的。Karpathy 前阵子发推说的就是这件事,两个月前的一个随意提问,会被 AI 永远当成你的深层兴趣反复提及。这和刷抖音刷废了号是一个道理,推荐系统的画像一旦被污染就很难恢复。

要么完全不记,要么不加区分地全记。缺的是中间那层,像人脑一样,有选择地记住重要的,自然地遗忘过时的。

这标志着与传统搜索需求的重大转向。2025 年的关键词是 Deep Research:用更长的推理时间换更深的搜索结果,用户学会了等待。但到了 2026 年,问题已经不是怎么找到,而是找到了怎么记住。

搜索解决的是单次查询的精准度,记忆解决的是跨会话的知识连续性。二者看似不同,实则是同一条技术路线的自然延伸:数据怎么表示、怎么检索、怎么随时间演化。

从 Jina AI 到 Elastic,我们在搜索底座上积累了六年,五代共 26 个向量模型和重排器和小型语言模型。当我们把视角从怎么检索延伸到怎么记住时,发现这不是跨界,是沿着同一条线走到了下一个路口。

遗忘比记住更难

我们把市面上十几款智能体记忆产品拆了一遍之后,最大的感触不是哪家做得好,而是一个所有人都在回避的问题:怎么遗忘。

这不是个别产品的 bug,这是整个赛道的结构性缺陷。

人脑的记忆系统有一个被工程师严重忽视的机制:遗忘不是记忆的失败,而是记忆的核心功能。 海马体每天都在主动清理不再被访问的突触连接,新皮层会在睡眠期间重新整合记忆、淘汰冗余。没有遗忘的记忆系统不是完美的记忆系统:它是一个被噪声淹没的垃圾场。

但现在市面上的产品几乎都在回避这个问题。写入容易,清理极难。一条错误的记忆一旦进入系统,就会在后续的每次检索中被反复召回、被引用、被强化。时间越长,污染越深,最终整个记忆库的可信度都会坍塌。这跟机器遗忘(Machine Unlearning)在深度学习中的困境一模一样:至今没有完美解决。

少数几家产品已经开始尝试仿生衰减:让不再被访问的记忆像生物记忆一样自然退化,权重逐步降低,直到被回收。这个方向我们认为是对的,但目前的实现还非常粗糙。在 2026 年的智能体产品里,遗忘是最被低估的风险,也是最值钱的能力。

说来也巧,这跟我们 2025 年做 DeepSearch 时的经验完全呼应。当时我们发现,答案评估必须独立于答案生成:让同一个模型既生成又自评,效果很差。智能体记忆也是如此:记忆的写入和记忆的质量评估,如果不做成两个独立的过程,脏数据就会在系统里安营扎寨。

三条技术路线

拆完十几款产品之后,我们发现它们大致收敛到三条技术路线:用知识图谱做结构化记忆的,让大模型自己管记忆的,以及老老实实做存储管道的。

每条路线都有自己的优雅之处,也都有自己不愿意公开讲的致命弱点。

比如,图谱派的生态最成熟,但写入链路长到让人肉疼;大模型自管理派的思路最漂亮,但把记忆管理交给一个会产生幻觉的系统这件事,你品品;管道派最简单可控,但面对两条互相矛盾的记忆时,它分不清哪条该留、哪条该扔。

不过三条路线也已经形成了一些强共识。有五件事几乎所有人都在做,还有两件事正在成为新的分水岭:谁先做好谁就有护城河。

具体哪五件、哪两件?各自的架构取舍到底怎么选?这些肖总会在现场展开讲。

你以为你的 AI 记住了

我们把 LongMemEval、MABench、MemoryArena 几个主流基准测试的结果对齐之后,发现了一个跨基准的一致模式:

单条提取容易,跨会话推理难。

记住用户在某次对话中提到的一个具体事实,大部分产品都能做到。但把分散在多个会话中的信息关联起来做推理:比如用户上周说喜欢日料、这周说在减肥、然后问今晚吃什么:准确率会直接跳水。同一个测试里,产品之间的得分差距接近一倍。也就是说,你以为你的 AI 记住了,其实它记了个寂寞。

具体的数据、产品间的对比、以及我们从中推导出的技术趋势判断:这些留到现场说。这里只提一个值得思考的问题:Claude Code 的 CLAUDE.md 用纯文件做记忆,不用向量、不用图谱、不用 LLM 抽取:这到底是想明白了,还是想开了?

来现场听完整拆解!

以上只是 Elastic VP of AI 肖涵博士将带来分享的冰山一角。完整的分享会覆盖:

  • 搜索范式的六次跃迁,以及为什么最后一跳落在记忆

  • 10+ 款主流产品的架构全景对比:图谱派、大模型自管理派、管道派的设计取舍和工程代价

  • 三个基准测试的关键数据,以及它们揭示的行业真相

  • 几个未来技术趋势的判断:包括为什么推荐系统会因为智能体记忆重新火起来

这是一场把论文、产品、Benchmark 拉到同一张图上的高密度分享。做 agent 产品或者搜索基础设施的,一定不能错过。

活动信息

整场大会是 Elastic 今年在中国最大的技术活动,也是 Jina AI 团队今年第一次做这么系统的公开技术分享。搜索、可观测、安全等产品线都有深度内容;只要关心 Elastic 技术栈,一整天都有可听的东西。

📅 2026 年 4 月 18 日(周六)

📍 北京 · 北辰洲际酒店 

🎫 活动免费,快来扫码报名!

一天下来你能带走:Elastic VP of AI 肖涵的硬核分享,Reader 作者亲自拆解日均处理 3000 亿词元的背后工程细节,一场关于龙虾的圆桌,以及在展位上跟 Jina 团队面对面聊你的具体问题,如果聊得投缘,我们也在招人。

我们也建了一个微信交流群,活动前后有任何问题都可以在群里聊。

完整议程

跳转微信打开

4·18 北京 Elastic AI Tech Day|搜索基座模型议程(含 Jina 模型与 Reader)

2026年3月26日 07:30

原创 Jina AI 2026-03-26 07:30 新加坡

4月18号(周六),北京线下见!

这半年来,大家问我们最多的一个问题是:Jina AI 现在怎么样了?

这半年里,我们的模型迭代继续加速。Jina Embeddings 已经迭代到五代目,v5 成为 Elasticsearch 语义检索的默认向量模型。Jina Reranker v3 获得了 AAAI-2026 FrontierIR Workshop Best Paper。Reader 的技术栈在更大规模的工程体系里持续演进,越来越多 RL 训练团队把它当作默认的网页读取层。

以前你可能单独调用 Jina API 就能把检索跑起来;现在,同一条能力链可以更自然地落在 Elastic 的生产级搜索平台 上。Jina 官方 API 照常演进,但与 Elasticsearch 的集成路径,也成了很多团队更省心的默认选项。

我们做的依然是 搜索底座模型(Reader、Embeddings、Reranker),只是面向更大规模的生产场景,有了更完整的平台与更多工程资源来承载。

这些进展,文字只能讲个梗概,我们更想当面和大家聊聊细节。

4 月 18 日,Elastic AI Tech Day,北京

这是 Elastic 今年在中国最大的技术活动,也是 Jina 团队今年第一次做这么系统的公开技术分享。搜索、可观测、安全等产品线都有深度内容;只要关心 Elastic 技术栈,一整天都有可听的东西。

对一直关注 Jina 的朋友,我们特别划了几道重点。

1. 肖涵:搜索 AI 的技术演进与思考

听过肖总分享的人常有同感:不绕弯子、判断直接、信息密度高。

这场他会聊:搜索作为 AI 基础设施会往哪走、近半年行业与系统层面发生了什么变化、一线训练与发布模型的真实体会,以及站在平台视角看,下一步最值得押注的工程问题是什么。

2. 王彦龙:Jina Reader 技术架构分享

Reader 是我们最受欢迎的 API,日均处理约 3000 亿 token,很多头部模型训练团队把 Reader 当成默认的网页读取层。r.jina.ai 前缀一加,网页就能转成适配 LLM 的输入,但其实背后的工程量超乎想象。

读网页从最简单的 GET 请求到复杂的无头浏览器渲染,中间是一整条工程光谱:IP 池、出口带宽、proxy 调度、并发与隔离、PDF 与版式文档…… 每一层都能单独聊半小时。Reader 目前是领域内速度最快、吞吐量最大、边边角角考虑最全面的产品。

这场分享会讲:Reader 怎么处理复杂网页、如何扛住日均千亿级 token 的高并发、凭什么成为许多 RL 数据管线的默认读取层;PDF 这一路踩过哪些工程坑,才让 PDF 祖师爷 Adobe 团队都愿意采购。

这也是 Reader 作者 王彦龙第一次做完整技术栈的公开分享。做 RAG、Agent、LLM 数据工程,或 RL/RLHF 训练数据采集、需要大规模可靠网页来源的团队,都建议来听。

3. 肖涵 · 圆桌对谈:开源、商业与开发者成长

当 autoresearch 让 AI 自主加速研发循环,当模型迭代能够以天以单位时,公司和个人靠什么才跟得上节奏?开发者该押注当下的版本答案,还是押注可迁移的能力?

从开源声量到商业变现,从产品取舍到创业生死,肖总始终在第一线做大量决策。如果你对未来的职业方向感到迷茫,或者正在为公司的技术路径头疼,推荐来听。

4. Jina AI by Elastic 联合展位

Jina 从 2020 年起步,中间调整过两次方向,最后 All in 搜索底座模型。中文社区一直是我们非常重要的一部分:很多小伙伴从 Neural Search 神经搜索框架时期就开始关注;很多开发者在 GitHub / Hugging Face 上给过模型反馈,在群里讨论 API 的报错怎么修。

现在 Jina 的能力已经跑在 Elastic 的平台与集成路径上。大家关心的 模型更新节奏、API 与集成方式、开源规划 等等,我们团队在会场设了展位,期待和大家当面聊、当面叙旧。

活动信息

📅 2026 年 4 月 18 日(周六)

📍 北京 · 北辰洲际酒店 

🎫 活动免费,快来扫码报名!一天下来你能带走:肖涵对搜索 AI 下一步的方向判断,Reader 作者亲自拆解日均处理 3000 亿词元的背后工程细节,一场关于开发者怎么不掉队的圆桌,以及在展位上跟 Jina 团队面对面聊你的具体问题,如果聊得投缘,我们也在招人。

我们也建了一个微信交流群,活动前后有任何问题都可以在群里聊。

完整议程

阅读原文

跳转微信打开

从多模态大模型中「拆」出音频向量模型

2026年3月12日 15:03

原创 Jina AI 2026-03-12 15:03 新加坡

把任意多模态大模型变成小型音频向量模型

Google 最近发了 Gemini Embedding 2,他们第一个原生多模态向量模型。文本、图像、视频、音频、文档,全部映射到同一个 3072 维向量空间。这是 Omni Embedding(全模态向量模型)的大趋势:一个架构吃下所有模态,从 jina-embeddings-v4 到 Omni-Embed-Nemotron 再到 Omni-5,大家都在往这个方向收敛。

去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的关键方向之一。
去年 EMNLP BoF 上我讲过:Omni 模型是 2026 年 Dense Retrieval 的胜负手。

真正引起我们注意的是音频。大多数人听到多模态 Embedding 首先想到的是图像,顶多再加个视频。音频是被遗忘的模态:数据难采、标注难做、做的人少。

过去一段时间,我们 Jina AI 团队恰好在啃这块硬骨头:如何在 1.2B 规模内做出高性能的音频向量模型?这也是我们通向全模态愿景的关键一步。

趁着 Gemini Embedding 2 发布的节点,把我们一路上踩的坑和学到的东西分享给大家。

音频向量是什么

音频向量就是把一段音频压成一个定长向量。输入原始波形,模型输出一个稠密向量(通常 768 到 3072 维),编码了这段声音的语义内容。语义相似的两段音频,向量也相近;一段音频和它的文本描述,在共享向量空间中距离很短。这是 Omni Embedding 拼图里的一块:一旦音频能和文本、图像映射到同一个向量空间,跨模态检索就打通了。

2022 年以来的主流方案是 Contrastive Language-Audio Pretraining(CLAP),本质上就是把 CLIP 搬到音频域。思路很直接:一个音频编码器,一个文本编码器,中间用对比学习拉近配对的音频-文本、推远不配对的。LAION-CLAP 在这个基础上用 630K 对数据加 Feature Fusion 做了放大。当前最强变体(Elizalde et al., 2023)在 4.6M 对数据上训练,音频编码器横跨 22 种音频任务,配合自回归解码器,250M 参数量在 AudioCaps 上做到 42.0 cvR@5。

CLAP 的问题在哪?它从零开始学习音频和文本之间的对齐。这意味着你需要海量的配对数据去建立跨模态桥梁,460 万数据对不是白烧的。

我们走了一条完全不同的路:把已经听懂音频的多模态 LLM,直接改造成 Embedding 模型。 桥梁已经在预训练中建好了,我们要做的只是把它从生成模型重塑为向量模型。

模型架构

先说输入输出。输入是原始音频波形,从 WAV/MP3/FLAC 解码后重采样到 16kHz 单声道。音频编码器先转成 128-bin log-mel 频谱图,再处理成特征 token 序列,大约每秒 150 个 token。一段 10 秒音频约 1500 token。最大输入 30 秒,更长的需要切片。输出是单个稠密向量,维度在 896 到 3584 之间,取决于 LLM backbone 的规模。

起点是 Qwen2.5-Omni,一个原生音频理解的多模态 LLM。三个组件:

  • 音频编码器(约 0.6-0.8B 参数):把波形转成特征向量,中间有一个约 4.5M 参数的线性投影层。这个投影层虽小,却至关重要,它是音频特征空间到 LLM 表示空间的桥梁,负责把音频编码器输出的特征维度对齐到 LLM 的输入维度。

  • LLM backbone(0.5-7B 参数):每个 Transformer 层约 0.2B 参数,同时处理音频特征和文本 token。

  • 池化层:对最后一层 hidden state 做 mean pooling,输出最终向量。

两个模态共享同一个 LLM backbone。这不是我们做的对齐,是 Qwen2.5-Omni 在预训练时就建立的。音频特征和文本 token 经过同一堆 Transformer 层处理,在表示空间里天然就有一定程度的对齐。我们要做的是把这种隐式对齐显式化为一个向量模型。

架构对比
架构对比

左边是标准做法,端到端微调整个 MLLM(3-7B 参数)。右边是我们的模块化组合做法,把预训练音频编码器接到一个更小的 LLM backbone 上。共享 backbone 同时处理音频特征和文本 token,在同一个向量空间中生成 Embedding。

训练目标是 InfoNCE 对比损失。两个模态各自独立编码,双向计算 loss 后取平均:

deftraining_step(audio_batch, text_batch):
    audio_embeds = model.encode_audio(audio_batch)  # [B, D]
    text_embeds = model.encode_text(text_batch)      # [B, D]
    audio_embeds = F.normalize(audio_embeds, dim=-1)
    text_embeds = F.normalize(text_embeds, dim=-1)
    sim = audio_embeds @ text_embeds.T / temperature  # [B, B]
    labels = torch.arange(len(sim), device=sim.device)
    loss = (F.cross_entropy(sim, labels) +
            F.cross_entropy(sim.T, labels)) / 2
return loss

训练数据

五个音频-文本配对数据集,共 181K 样本:

数据集

样本量

说明

AudioSetStrong

108K

时序标注事件,GPT 生成字幕(AudioSet 子集)

FSD50K

41K

人工标注声音事件,200 类

Clotho

19K

音频字幕,详细描述

UrbanSound8K

9K

城市声音分类

MACS

4K

城市声学场景

CLAP 用了完整 AudioSet(200 万+音频)加上其他来源,总计 460 万对。我们只用了 AudioSetStrong 约 10 万条,数据量差了 25 倍。

为什么能少这么多?因为 CLAP 需要从零建立跨模态对齐,460 万对数据大部分精力花在教模型"什么声音对应什么文字"。而我们的起点是一个已经听懂音频的 MLLM,跨模态的桥已经造好了,训练只需要把这座桥从"生成"重新校准到"向量检索"。这是一个 fine-grained calibration,不是 from-scratch alignment。

defload_sample(audio_path, caption):
    waveform, sr = torchaudio.load(audio_path)
    waveform = torchaudio.transforms.Resample(sr, 16000)(waveform)
    audio_inputs = processor.feature_extractor(
        waveform, sampling_rate=16000, return_tensors="pt"
    )
    text_inputs = processor.tokenizer(caption, padding=True, return_tensors="pt")
return audio_inputs, text_inputs

四条路,三条半死胡同

我们的目标很明确:参数量压到 1.2B 以下,性能超过 CLAP。我们试了四种做法,前三种各有各的问题,在第四种拿到了结果,但过程本身比结果更有价值。

路径一:全模型微调

Qwen2.5-Omni-7B 直接在音频-文本对上做对比学习微调,结果不出意外地好:AudioCaps T2A cvR@5 = 63.2,Clotho T2A = 39.2。这个分数远超 CLAP 的 42.0,证明了思路本身是对的。但 7B 参数量摆在那里,推理成本和延迟都不现实。这条路的价值是给后面所有实验画了一条上限。

值得对比的是其他团队的类似尝试:Tevatron 2.0 也做全模型微调,但只用 AudioCaps 一个数据集,AudioCaps 上拿了 61.2,Clotho 上暴跌到 11.9。单数据集训练在分布内表现好看,出了分布立刻垮掉,这是向量模型老生常谈的问题了。还有 ColQwen-Omni,在视觉文档任务上微调、零音频数据,纯靠跨模态迁移拿到了 37.4。逼近 CLAP 但没超过。零数据能做到这一步,本身也说明 MLLM 的跨模态对齐的能力。

路径二:层剪枝

既然 7B 太大,能不能直接砍层?每个 Transformer 层约 0.2B 参数,从 28 层砍到 10 层就剩 3.5B,砍到 5 层剩 2.3B。

随 Transformer 层数减少的性能变化。
随 Transformer 层数减少的性能变化。

AudioCaps(红线)从 20 层的 63.2 降到 5 层的 56.0 cvR@5。所有配置仍然高于 CLAP baseline(虚线)。但即使砍到 5 层(2.3B 参数),离 1B 目标差了一倍多。

层数

参数量

AudioCaps T2A cvR@5

Clotho T2A cvR@5

20

5.8B

63.2

39.2

10

3.5B

58.2

36.5

5

2.3B

56.0

36.0

性能下降是平滑的,说明信息在各层间分布比较均匀,没有哪几层是可以无痛摘掉的。

另外一个有意思的观察是 Batch size(32、64、128)几乎没有影响最终性能。大 batch 在训练初期有优势,但后期可能过拟合负样本分布,batch 128 在 2K 步时 Clotho NDCG 打到 31.3,到 10K 步反而掉到 29.3。这说明在数据量有限的情况下,大 batch 带来的 hard negative 数量优势敌不过分布偏移的风险。

层剪枝的根本限制是:音频编码器本身就有 0.6-0.8B,加上投影层和 Embedding 层的固定开销,即使 LLM backbone 砍到零,模型也至少 1B 起步。此路不通。

路径三:纯文本模态迁移

这个思路更激进:完全不用任何音频-文本配对数据,只用纯文本 NLI 数据集(MultiNLI、SNLI、FEVER、SciFact)做微调。逻辑是这样的,MLLM 预训练时已经建立了音频和文本的对齐,那我只训练文本侧的向量质量,音频侧应该能搭上便车。

在完整 7B 上,这个赌注居然赢了:AudioCaps 46.1,超过了 CLAP 的 42.0。零音频训练数据,纯靠文本 NLI 就能做出一个比 CLAP 更好的音频向量模型,这本身就很说明问题,MLLM 预训练建立的跨模态对齐做得很深,不是表面功夫。

但在剪枝后的 10 层模型上,同样的做法直接塌了:cvR@5 = 5.9,几乎等于随机。

这里的 insight 很重要:跨模态对齐不是一个集中存储在某几层的对齐模块,而是分布在整个网络的每一层中。28 层的完整网络里,每一层都参与了音频和文本表示的渐进对齐。你砍掉大部分层,对齐就碎了。文本侧靠 NLI 数据还能补回来,但音频侧没有任何数据兜底,直接归零。

这条路教会我们的是:模态迁移的可行性和模型压缩的可行性是矛盾的。你不能同时既要又要。

路径四:模块组合

前三条路的共同问题是都从同一个 7B 模型出发往小了做。路径四我们换了一个思路:不从大模型上减,从小组件上加。 从一个模型里摘出音频编码器,从另一个模型里拿一个小 LLM backbone,拼在一起,甚至可以跨模型家族拼装。

为什么这也能行呢? 因为 Qwen2.5-Omni 的训练分了三阶段:1. 冻结 LLM,只训练音频/视觉编码器的投影层;2. 全参数解冻联合训练;3. 扩展到 32K 上下文。

关键在于第一阶段,音频编码器学会了如何把波形转成 LLM 能读懂的 token。这种说 LLM 语言的能力是通用的,不绑定某一个特定的 LLM。所以我们大胆假设:一个在第一阶段训练好的音频编码器,应该能直接插到任何 Qwen 系列的小 LLM 上。

我们测试了四种组合:

配置

音频编码器

LLM

参数量

M1

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-0.5B

1.1B

M2

Qwen3-Omni(0.6B,stage-1 之前)

Qwen2.5-3B

3.6B

M3

Qwen2.5-Omni-3B(0.8B,stage-3 之后)

Qwen2.5-3B

3.8B

M4

Qwen2.5-Omni-3B(完整)

完整 3B

3.8B

实现细节上有个坑,Qwen3-Omni 用的是 Qwen3OmniMoePreTrainedModel,standalone Qwen3 用的是 Qwen3ForCausalLM,两者的模型壳子不一样。我们的做法是初始化一个维度匹配的 Omni 模型壳子,然后把权重拷贝到对应位置。

各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现
各配置在 AudioCaps 和 Clotho T2A cvR@5 上的表现

用 stage-3 之后对齐更好的音频编码器效果更好(M3 vs M2:AudioCaps +4.2)。LLM 预训练的 stage 2-3 对 Embedding 质量影响不大(M3 vs M4 在误差范围内)。

结果里有三个发现:

第一,M1(1.1B)在 AudioCaps 上就打到了 49.7,超过 CLAP 的 42.0 整整 18%。 我们目标达成:参数量 1.1B,低于 1.2B 的目标线,性能大幅领先 CLAP,并且只用了 CLAP 1/25 的训练数据。

第二,音频编码器的对齐质量决定上限。 M3 用的是第三阶段之后完整训练过的音频编码器,M2 用的是 stage-1 之前的初始版本,两者 LLM backbone 相同(Qwen2.5-3B),但 M3 在 AudioCaps 上比 M2 高了 4.2 个点。这说明音频编码器在多阶段训练中获得的对齐精度直接传导到了最终的 Embedding 质量。

第三,LLM 的 stage 2-3 训练对 Embedding 质量几乎没有影响。 M3(拼装的 LLM)和 M4(原装完整 3B)的性能在误差范围内。这也意味着 LLM backbone 在 stage 2-3 学到的那些能力:更好的指令跟随、更长的上下文处理,对向量化任务没有贡献。向量模型需要的是表示能力,不是生成能力。

评测

音频 Embedding 的评测本质上就是看检索质量:给一段文本 query,能不能找到对的音频?

难点在于对的定义因数据集而异。

AudioCaps 的描述很具象("一个男人说话,然后门关上了"),这种描述和声学特征是一一对应的,模型只要记住声学 pattern 就能得分。

而 Clotho 的描述更抽象("安静的氛围中远处有隆隆声")。这需要模型理解场景级别的语义,而不只是频谱特征。一个只记住表面声学特征的模型在 AudioCaps 上跑分好看,到 Clotho 上就原形毕露。我们最看重的是跨描述风格的泛化能力,这才能反映模型真正理解了什么。

CV-Recall@5(cvR@5):对每个文本 query,看 top-5 结果中是否命中正确音频。二值打分,所有 query 取平均。这是 MTEB 音频检索的标准 metric。

defevaluate_cvr_at_k(model, dataset, k=5):
    audio_embeds = model.encode_audio(dataset.audio_clips)
    text_embeds = model.encode_text(dataset.text_queries)
    sim = F.normalize(audio_embeds) @ F.normalize(text_embeds).T
    hits = 0
for i in range(len(dataset.text_queries)):
        top_k = sim[:, i].argsort(descending=True)[:k]
if dataset.ground_truth[i] in top_k:
            hits += 1
return hits / len(dataset.text_queries)

三个评测集均来自 MTEB:AudioCaps(视频衍生,人工字幕)、AudioSetStrong(时序标注,GPT 描述)、Clotho(多样化,抽象字幕)。CLAP 用了完整 AudioSet(200 万+),我们只用了 AudioSetStrong 约 10 万条,这在一定程度上解释了 CLAP 在该 benchmark 上的优势。

所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比
所有配置在 AudioCaps、AudioSetStrong、Clotho T2A 检索上的横向对比

红色虚线为 CLAP baseline。模块组合方案(绿色)以远远更小的模型尺寸取得了有强竞争力的结果。全量微调的 7B 模型(深蓝)是性能上限。

应用场景

传统的音频检索里,输入文字找音效当然是最直接的场景。但更值得关注的是音频 Embedding 在 Agentic 系统中的角色。当语音成为 Agent 的主要输入方式时,第一步往往是 ASR 转文字再处理。但 ASR 有延迟、会丢失语气语调信息、还依赖转写质量。如果 Agent 能直接对语音输入做向量化,根据语义相似度分发到正确的工具或子 Agent,就跳过了 ASR 这个瓶颈。不是所有语音输入都需要逐字转写,很多时候你只需要知道"这段话的意图是什么"。

工业场景里的声音事件分类也是一个被低估的方向。设备异响检测、安防系统、智能家居,这些场景需要的不是转写,而是"这个声音像什么",这正是 Embeddings 的强项。

更远一步看,当 Omni Embedding 做成了,文本、图像、音频、视频都在一个向量空间里,Agent 就获得了一个统一的感知接口。不管输入是什么模态,都转成向量后统一检索、比较、推理。这是多模态 Agent 能真正 scale 的前提。

而这一切有个硬性前提:模型要够小,能在端侧跑。 语音交互容不下云端传输带来的延迟损耗,而且语音数据的隐私敏感度远高于文本。所以高性能的小模型不是加分项,而是入场券。这也是我们把目标定在 1.2B 以下的原因。

结论

预训练 MLLM 是做新模态 Embedding 最大的杠杆。 它一次性提供了跨模态对齐、强文本编码器和能力不错的音频编码器。

模块化组合是目前最有前景的方向。 从不同模型、不同训练阶段里拆出组件自由拼装,我们在音频向量任务上验证了可行性。实验结果也指向了一个清晰优先级:音频编码器的对齐质量是第一位的(stage-3 vs pre-stage-1 差了 4.2 个点),LLM backbone 的生成能力对向量化任务没有贡献(stage 2-3 训练前后没有差异)。这也意味着构建向量模型时,选组件的优先级是:编码器对齐 > LLM 的表示能力 > LLM 的其他能力。

跨模态迁移和模型压缩不能既要又要。 文本模态迁移在完整 7B 上漂亮地跑通了(46.1 vs CLAP 42.0),但在 10 层剪枝模型上直接归零(5.9)。对齐分布在整个网络中,压缩就碎。

AudioCaps 领跑不代表问题解决了。 我们模型在 AudioCaps 上大幅领先 CLAP,但在更依赖抽象语义的 Clotho 榜单上只是持平。暴露了模型的场景级语义理解不够。只看 AudioCaps 你会觉得模型已经很好了;加上 Clotho 就知道还差得远。

这项工作是我们迈向 Omni Embedding(全模态向量模型)的关键一步,模块化组合让我们找到了无需大规模烧数据即可开启新模态的方法,但 Clotho 的结果提醒我们:光靠复用预训练组件还不够,数据质量和多样性仍然是底层硬约束。

接下来我们会探索 MoE 架构把激活参数压到 500M 以下,尝试模块组合和模态迁移的深度结合,引入 WavCaps、MusicCaps 和语音数据集做数据扩充,重点补上抽象描述的短板。

我们开源社区见!https://github.com/jina-ai/audio-embedding-kickstarter

阅读原文

跳转微信打开

从向量里逆向出原始文本和模型来源

2026年3月9日 16:26

原创 Jina AI 2026-03-09 16:26 新加坡

不就是一堆浮点数嘛,能看出什么?87% 识别出模型,81% 还原文本。

🔬 在线 Demo: embedding-inversion-demo.jina.ai

📊 技术报告: jina.ai/news/embedding-fingerprints 

📊 技术报告: jina.ai/news/embedding-inversion 

📄 论文: arxiv.org/abs/2602.11047 

💻 代码: github.com/jina-ai/embedding-fingerprints

用户把文本发到我们的 API,我们返回一串浮点数。没有标签,没有水印,没有任何元数据告诉你它从哪来、用的什么模型。大多数人看到这串数字,反应都是"不就是一堆浮点数嘛,能看出什么?"

过去两周,我们做了两项研究,发现能看出的东西远比想象中多:

  1. 模型溯源:我们训练了一个仅有 80 万参数的小模型。光看一串浮点数,就能判断出这是哪个模型生成的,准确率高达 87%,覆盖 68 个模型和任务组合。

  2. 文本逆向:我们用掩码扩散模型,直接从向量中反推出原始文本。Token 级还原准确率达到了 81%。

也就是说,向量不仅携带语义,还带着生成它的模型的基因,以及原始文本的大量信息残留。

demo: https://embedding-inversion-demo.jina.ai/

向量溯源:这串数字是谁生成的?

当有人给你一个 1024 维的向量,你能判断它是 BGE-M3 生成的,还是 jina-embeddings-v3,还是 Qwen3-Embedding 吗?

再往前走一步: 同一个模型,你能分辨推理时用的是 retrieval 指令还是 classification 指令吗?

直觉上这似乎不可能。向量就是一堆数字,模型之间的差别应该体现在语义空间的几何结构上,而不是数值本身的分布细节。但实验结果直接推翻了这个直觉。

不同模型产生的浮点数,在统计上有非常显著的差异。值域范围、各小数位数字出现的频率、维度间的相关模式...... 这些特征拼在一起,构成了模型独特的数字指纹。这有点像笔迹鉴定,同一段话让不同人抄写,内容一样,但笔画的力度、倾斜和连笔方式都会无意间暴露书写者的身份。

把浮点数当文本来读

这个方法最反直觉的地方在于输入表示。我们没有把向量当成一堆浮点数,而是把每个数字转成了字符串,像处理文本一样,逐个字符拆开喂给模型。

如下图所示,-0.1234 会变成 token 序列 [CLS] - 0 . 1 2 3 4,维度之间用 [SEP] 隔开。整个词汇表极简,只有 15 个 Token:数字 0 到 9、负号、小数点、几个特殊分隔符。

位级别分词(Digit-level Tokenization)
位级别分词(Digit-level Tokenization)

为什么不使用更直观的量化分桶(Binning):把数据范围划分为 256 个区间(bin),一个维度对应一个 Token,这样 1024 维的向量只需 1024 个 Token 就能表达完。

因为量化需要预设边界,而不同模型的数值分布天差地别:有的集中在 0 附近,有的铺满整个 [-1, 1] 区间,同一个模型不同维度的分布也完全不同。任何固定的分桶方案,都会在某些模型上造成严重的分辨率损失,掩盖掉最关键的特征。

所以我们选了最“无假设”的方案:位级别分词(Digit-level Tokenization)。虽然这会让一个 1024 维向量膨胀成 7700 个 Token 的长序列,但它原样呈现了数字的每一位,保留了所有的统计痕迹,不预设规律,让模型自己去学习其中的统计特征。

比如某些模型在特定位上出现数字 7 的频率更高,或者某些维度的排列模式更独特。这些看似无意义的微观特征,恰恰构成了模型的数字指纹。

模型架构

分类器本身是个 4 层 Transformer,128 维,4 个注意力头,总共约 80 万参数 。用 RoPE 做位置编码,SwiGLU 做 FFN,RMSNorm 归一化。CLS token 池化后投影到 68 个输出类别。

模型架构图
模型架构图,比 GPT-2 小 150 倍,但对 15 token 词汇表的分类任务完全够用。

80 万参数是什么概念?比 GPT-2 小两个数量级。但这个任务词汇表只有 15 个 token,分类目标是 68 个类别,瓶颈不在模型大小,而是如何从 7700 个 token 的长序列里提取出能区分 68 个类别的统计特征。

训练数据方面,我们准备了一万条多语言文本,分别送入 25 个以上的模型,配合不同 task prefix 编码,产生 68 个类别。每类 7000 条训练样本,3000 条验证样本。

这 68 个类别不只是 68 个模型。其中包含了同一个模型搭配不同 instruction prompt 的组合,比如 jina-embeddings-v5-text-small 配 retrieval 指令和配 classification 指令算两个不同类别。如果分类器能区分它们,说明仅仅换一个 instruction prompt,就足以在输出数值上留下可检测的痕迹。

在这些类别中,最难的分组是 1024 维度,包含 32 类模型,分类器无法通过序列长度投机取巧,必须纯粹依赖数值模式。

维度

类别数

示例模型

384

8

BGE-small, E5-small, MiniLM, GTE-small

512

2

BGE-small-zh

768

24

BGE-base, E5-base, jina-embeddings-v5-text-nano, Nomic, INSTRUCTOR, LaBSE

1024

32

BGE-M3, E5-large, jina-embeddings-v3, jina-embeddings-v5-text-small, Qwen3-0.6B, Snowflake, mxbai

1536

2

GTE-Qwen2-1.5B

68 类分类,87% 准确率

我们在 A100 上跑了 14 个 Epoch,处理了大约 430 亿个 Token。

14 个 epoch 的训练和验证曲线
14 个 epoch 的训练和验证曲线

最终,训练准确率达到了 87.3%,验证准确率为 86.0%。两条曲线贴得很近,说明模型真的学到了真实的数值规律,而不是在死记硬背训练集。

87% 准确率,随机猜的话是 1.5%。比瞎猜好 59 倍。

68 类验证集混淆矩阵,每类 3000 样本,共 204000 样本。对角线越亮说明分类越准确。
68 类验证集混淆矩阵,每类 3000 样本,共 20.4 万样本。对角线越亮说明分类越准确。

观察这 20.4 万个样本的混淆矩阵,能看到几个有趣的现象:GTE-large、LaBSE、Paraphrase MiniLM 等模型被 100% 准确识别。跨系列的区分(如 BGE vs Jina)非常容易,模型底层的架构和训练方法留下的指纹最深。最难分辨的是同一个基础模型搭配不同的任务前缀。

最让人意外的是,同一个模型、完全相同的权重,仅仅是推理时换了一个 instruction prompt,输出的数值分布就会产生可检测的差异。jina-embeddings-v5-text-small在 5 个不同 task prefix 之间达到了 92% 的区分准确率。任务适配(Task adaptation)不只是在语义空间里挪了个位置,它实际上改变了数值的统计分布。

这件事有非常直接的用途。接手了一个向量数据库但不知道当初用的什么模型?取出一条向量送进分类器就能识别。怀疑某个 API 声称用的是 model A 但实际偷偷换成了 model B?向量指纹可以验证。向量模型的提供商悄悄升级了版本?指纹同样会暴露这个变化。

从向量逆向文本

如果识别模型来源只是让人意外,那接下来的事就有点狠了:从向量里逆向出原始文本。

给你一个 1024 维的向量,还原出生成它的那段文本。

这不是全新的问题。2023 年 Morris 等人做的 Vec2Text 用 T5 编解码器(Encoder-Decoder)在 32 token 的序列上做到了 92% 的精确匹配(Exact Match)。但那个方法有个根本限制:它需要反复调用目标模型的 API 进行迭代修正,动辄 20 多轮,推理成本直接翻了一个数量级。

我们的目标更激进: 只看向量本身,不碰目标模型,一次性把文本还原出来。

用掩码扩散逆向出文本

我们将这个问题重新定义为一个条件掩码扩散(Conditional Masked Diffusion)问题。

从一个全 [MASK] 的序列开始,模型在每一步同时预测所有位置的 token,逐步替换成真实词汇。整个过程只需要 8 步。不是从左到右一个个生成,而是所有位置并行去噪。

步骤 8/8  [MASK] [MASK] [MASK] [MASK] [MASK]
步骤 6/8  [MASK] quick [MASK] [MASK] [MASK]
步骤 3/8  The   quick brown [MASK] jumps
步骤 1/8  The   quick brown fox   jumps

去噪过程: 从全掩码出发,每一步同时预测所有位置,8 步内完成还原。

我们通过自适应层归一化(Adaptive Layer Normalization,AdaLN) 将目标向量注入到 Transformer 的每一层。向量先经过一个投影层,然后在每一层生成缩放(Scale)和位移(Shift)参数,用来调制层归一化的输出。时间步也通过同样的机制注入。两个信号相加,模型同时知道"当前去噪到了哪一步"和"目标向量长什么样"。

Embedding Inversion 架构图

条件掩码扩散语言模型的架构。上半部分是训练流程: 输入文本经 embedding encoder 编码后,通过 MLP 投影注入 Transformer。下半部分是去噪过程: 从全掩码序列出发,逐步还原。

这个设计一举解决了 Vec2Text 的两个问题。第一,推理时完全不需要接触原始模型,向量是唯一的输入。第二,所有位置并行预测,避免了自回归从左到右的误差累积。而且 AdaLN 的条件注入方式天然不挑编码器:不管目标向量来自什么模型、什么维度,过一遍投影 MLP 就能注入同一个 Transformer。

底座模型我们选用了 22 层、3.8 亿参数的多语言 BERT。在冻结预训练权重后,我们只训练投影层、AdaLN 模块和输出层,实际训练参数量约 1.9 亿。训练数据是 mC4 的 200 万条多语言样本,统一截断到 32 个 token。

# 训练核心伪代码
for text, embedding in dataloader:
    t = uniform(0, 1)              # 随机采样时间步
    masked = random_mask(text, t)   # 按比例随机掩码
    cond = mlp_project(embedding)   # 投影 embedding
    logits = model(masked, t, cond) # 条件预测
    loss = cross_entropy(logits[masked_pos], text[masked_pos])

训练流程: 随机掩码 + 条件去噪。噪声调度用 log-linear schedule,集中在后期掩码,前期保留结构。

81% 的 Token 级还原准确率

我们分别在三个主流模型上进行了实测,还原率都很惊人。

编码器

Token 还原率

向量维度

Qwen3-Embedding-0.6B

81.3%

1024

EmbeddingGemma-300m

78.8%

768

jina-embeddings-v3

76.0%

1024

三个编码器上的 token 还原准确率,使用顺序贪心解码(Sequential Greedy Decoding),序列长度 32 token。每个编码器单独训练。

训练曲线

四个编码器配置的训练准确率曲线。所有模型在 50K 步后趋于收敛。

为了看清这个数字的含金量,我们设定了一个基准对照组:让一个普通的语言模型在完全不看向量的情况下盲猜文本。它能写出非常流畅的句子(BLEU 分数很高),但 Token 准确率只有 2.1%。随机 token 更惨,0.02%。

"能说人话"和"说对的话"是两回事。 模型必须从向量中真正提取语义信息,才能在最低的编码器上也做到 76% 的还原。

在解码策略上,我们测试了五种方案。表现最好的是欧拉 + 重掩码(Euler + Remasking):模型每一步去噪后,都会自我检视一遍,把置信度最低的 5% 重新掩码,交给下一步去修正。相当于把 Vec2Text 的外部修正循环内化到了扩散过程里。

实验证明 5% 是一个最优平衡点,比例太多丢掉正确的预测,太低则修正力度不够。

解码策略

jina-v3

Qwen3

Gemma

顺序贪心(Sequential Greedy)

0.715

0.585

0.621

欧拉采样(Euler Sampling)

0.667

0.556

0.604

欧拉 + 重掩码(Euler + Remasking)

0.665

0.584

0.595

两阶段(Two-Stage)

0.667

0.591

0.605

不同解码策略在 10 种语言上的平均余弦相似度。需要注意,这里衡量的是还原文本与原始文本的向量相似度,而非 Token 级准确率。两个指标下的最优策略不完全一致。综合来看,Sequential Greedy 在大多数编码器上表现得最为稳健,是目前最可靠的还原主力。

一个 1024 维的 float32 向量只有 4KB。但这 4KB 足以让一个扩散模型还原出 32 个 token 中超过 80% 的内容。

向量并非不可逆

在很多人的认知中,向量是一道天然的脱敏屏障:文本转化为高维坐标后,原始信息便不可回溯。很多系统也都宣称:“我们只存向量,不存原文,所以用户隐私是绝对安全的。”

这两项研究动摇的正是这个假设。向量不是不可逆的哈希,而是一个有损但信息密度极高的压缩表示。模型的身份、原始文本的内容,都编码在里面,提取的门槛也在不断降低。

指纹研究(Fingerprint)证明了每个模型编码语义的数值风格各不相同,区分度高到一个 80 万参数的小模型就能认出 68 个来源。逆向研究(Inversion)则证明了这些数字里编码的原始信息,足够扩散模型还原出 80% 以上的内容。两个工作串联起来,先用指纹分类器锁定编码器,再用对应的逆向模型还原文本,就构成了一条完整的攻击链路。

对模型开发者来说,这些发现迫使我们直面一个此前被忽视的问题:向量模型的安全边界到底在哪里?过去我们把精力都投在提升语义检索性能上,但从来没认真想过这些向量在安全性上到底暴露了多少。

我们是否该在训练中引入某种信息瓶颈?在保留检索能力的同时,降低向量的可逆性,或者至少让模型的数值指纹不再那么容易被识破?

当然,硬币有另一面。在 API 提供商可以悄悄换模型的世界里,能从数值本身验证模型来源,本身就是一种有价值的审计能力。

两个项目的代码和在线 demo 均已开源:

🔬 在线 Demo: embedding-inversion-demo.jina.ai

💻 代码仓库: github.com/jina-ai/embedding-fingerprints

阅读原文

跳转微信打开

❌