铃阅时讯
❌

普通视图

jina-embeddings-v5-omni 发布!全模态向量小模型

2026年5月13日 19:15

原创 Jina AI 2026-05-13 19:15 新加坡

文本、图片、音频,视频,还有 PDF,全模态支持!

jina-embeddings-v5-omni正式发布,我们把 v5-text 向量模型的能力延伸到图像、音频和视频。文本侧不变,v5-omni 产出的文本向量与 v5-text逐字节一致,无需重建任何已有索引。

  • jina-embeddings-v5-omni-small 在四模态上平均得分 53.93,以 1/5.7 的参数量几乎追平 LCO-7B(54.43)。

  • jina-embeddings-v5-omni-nano 在 0.95B 参数下,依然能在文档检索上交出有竞争力的成绩。

开源 Omni 向量模型(同时覆盖文本、图像、音频、视频)的帕累托前沿。
开源全模态向量模型(Omni embedding model)模型(同时覆盖文本、图像、音频、视频)的帕累托最优。

v5-omni-small(1.57B)的参数量不到 LCO-7B(8.93B)的 1/5,平均分却追平了它;v5-omni-nano(0.95B) 体量更小,但较 LanguageBind(1.14B)高出 8.9 分。横向对比基线包括 LanguageBind、Omni-Embed-Nemotron-3B、LCO-Embedding-Omni-3B 和 LCO-Embedding-Omni-7B。

不同模态的表现
不同模态的表现

按模态拆解,我们分别在 MMTEB(文本)、MIEB(图像)、MMEB-Video(视频)、MAEB(音频)上评测。

  • v5-omni-small 在文本上拿到 67.0,领跑所有 Omni 模型:这一分数从 v5-text-small 原样继承,没有损失。

  • 图像 56.05,其中聚类任务 84.57 是 全榜最高;

  • 音频 51.46 与 LCO-7B(52.37)几乎打平,音频分类任务 55.89 同样登顶。

  • 短板在视频上:41.20 对 LCO-7B 的 47.41,这是目前与端到端训练方案之间最显著的差距,时序推理更依赖端到端训练。

不同任务的表现
不同任务的表现

再把四个模态细拆成 13 类任务,图中星星标记的是 v5-omni-small 胜过最强开源基线(对方参数量普遍是它的 3-9 倍)的任务。

  • 领先的四项:图像分类(68.55 vs 64.30)、图像聚类(84.57 vs 83.24)、多语言图像检索(65.88 vs 61.99)、音频分类(55.89 vs 53.39)。

  • 主要差距:视频检索(27.82 vs 58.73)、组合检索 / VQA(44.23 vs 53.40):与上一张图的结论一致,视频是仍要补的一课。

文档检索
文档检索

单独看文档检索(ViDoRe-in-MIEB)。v5-omni-small 只激活 0.92B 文本 + 图像参数,就拿到 79.08,反超 LCO-3B(78.24,激活参数 4.07B)。

v5-omni-nano 更极致:0.31B 激活参数取得 70.05,把 LanguageBind(37.33)近乎翻倍。Nemotron-3B 以 85.64 暂居榜首,但参数量是 v5-omni-small 的 5.1 倍。

模型架构

v5-omni 的做法是:作为文本侧底座的 v5-text、新增的视觉与音频编码器整体冻结,中间只插一层小型可训练投影层(projector),负责把不同模态的表示对齐到 v5-text 的语义空间。三个塔分别长这样:

  • 视觉:基座是 Qwen3.5 视觉编码器(改自 SigLIP2),配合 2x2 空间合并把 token 数压到原来的 1/4。整块编码器都冻起来,只把最后一层 fc_vision_2 换成一层随机初始化的投影,负责把视觉特征对齐到 v5-text 的输入维度,这层也是整个视觉塔里唯一参与训练的部分。

  • 音频:基座是 Qwen2.5-Omni 编码器(改自 Whisper-large-v3),同样整块冻住。一层随机初始化的 fc_audio 把 1280 维输出投到 v5-text 的输入维度。

  • 视频:不引入新编码器,而是直接当成一串视觉帧喂给视觉塔,需要的话再带上从视频里抽出的音频段。

任务侧,v5-omni 直接继承 v5-text 的四个任务专用 LoRA 适配器(检索、文本匹配、分类、聚类),每个任务变体单独训练自己的投影层权重。

这种"冻结 + 投影"的架构带来一个直接好处:完全模块化。只用文本,就只加载文本权重(内存占用与 v5-text 一模一样);要做图文,就再挂图像塔;音频、视频按需挂载,只有跑全模态时,所有塔才一齐就位。

Architecture
v5-omni 架构图

真正参与训练的只有中间那条小小的投影层,占总权重的 0.35%。视觉、音频、文本三个塔全部冻结。任务专用 LoRA 适配器分别处理检索、分类、聚类和文本匹配。

特性

jina-embeddings-v5-omni-smalljina-embeddings-v5-omni-nano

基座文本模型

jina-embeddings-v5-text-small

(Qwen3-0.6B)

jina-embeddings-v5-text-nano

(EuroBERT-210m)

总参数量

~1.56B~0.95B

支持模态

文本、图像、音频、视频、PDF

文本、图像、音频、视频、PDF

向量维度

1024

768

Matryoshka 维度

32, 64, 128, 256, 512, 768, 1024

32, 64, 128, 256, 512, 768

上下文长度

32768 tokens

8192 tokens

视觉编码器

Qwen3.5-2B ViT(SigLIP2)

SigLIP2 Base

音频编码器

Whisper-large-v3

Whisper-large-v3

任务适配器

4 个(检索、文本匹配、分类、聚类)

文本兼容性

与 v5-text-small 逐字节一致

与 v5-text-nano 逐字节一致

可训练参数

~18M 投影层(0.35%)

~7M 投影层(0.35%)

池化方式

Last-token

Last-token

模型许可

CC BY-NC 4.0

CC BY-NC 4.0

快速开始

Elasticsearch(Elastic Inference Service)

如果你已经在 Elasticsearch 中用 jina-embeddings-v5-text,现有的文本索引开箱兼容 v5-omni。Omni 模型对文本输入产出的向量与 v5-text 逐字节一致:同样的输入,同样的向量,无需重新 embed,无需重建索引。要把图像、音频、视频也搜起来,只需新建一个 v5-omni 索引,把多模态内容写进去就行。

用 v5-omni 作为推理端点创建一个 semantic_text 索引,EIS 会在索引和检索时自动选择对应的 LoRA 适配器:

PUT multimodal-semantic-index
{
"mappings": {
"properties": {
"content": {
"type": "semantic_text",
"inference_id": ".jina-embeddings-v5-omni-small"
      }
    }
  }
}

把文本、图像(base64 data URI)、音频、视频写入同一个字段、同一个索引:

// 写入文本
POST multimodal-semantic-index/_doc
{
"content": "'Kraft Dinner' is what Canadians call macaroni and cheese when prepared from a kit."
}
// 写入图像(base64)
POST multimodal-semantic-index/_doc
{
"content": "data:image/png;base64,iVBORw0KGgoAAAAN..."
}

用一条文本 query 跨所有模态搜索:

GET multimodal-semantic-index/_search
{
"query": {
"semantic": {
"field": "content",
"query": "Was bedeutet 'Kraft Dinner' für Kanadier?"
    }
  }
}

Jina Embedding API

curl https://api.jina.ai/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "jina-embeddings-v5-omni-small",
    "task": "retrieval.query",
    "dimensions": 1024,
    "input": ["What does this image show?"],
    "images": ["data:image/png;base64,..."]
  }'

请前往 jina.ai/embeddings 获取 API Key。

Hugging Face

from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer(
"jinaai/jina-embeddings-v5-omni-small-retrieval",
    model_kwargs={"dtype": torch.bfloat16},
)
# 文本向量(与 v5-text 完全一致)
text_emb = model.encode("What is knowledge distillation?",prompt_name="query")
# 图像向量
from PIL import Image
img = Image.open("photo.jpg")
img_emb = model.encode(img)
# 跨模态相似度
similarity = model.similarity(text_emb, img_emb)

训练方法

我们把这套架构叫做冻结编码器的模型组合(frozen-encoder model composition),拿一个足够强的文本向量模型做基座,把预训练好的视觉与音频编码器挂上去,中间只留一层小型可训练投影层,除此之外一律冻结。

整个联合模型只有 0.35% 的权重在训练,由此换来三件好处:1. 文本表现分毫未动:同样的输入产出同样的向量,字节级一致;2. 训练快、省显存:只训投影层,比全量训练快 1.8-3.9 倍,显存降低 42%-64%; 3. 模块化:各个塔可以独立加载。

训练效率
训练效率

上图是 4x H100、batch size 256、15K steps 下,投影层训练 vs 全量训练的耗时对比。音频侧的提速最明显:small 加速 3.2 倍 (154 min vs 497 min),nano 加速 3.9 倍(112 min vs 441 min)。显存能省下 42%-64%,因为冻结的编码器不需要保存梯度和优化器状态。

v5-omni 完整继承了 v5-text 的 Matryoshka 维度支持。图像与音频向量在维度截断下基本无损,视频向量在小维度下衰减更明显。

Radar summary

把四个模态汇总到一张雷达图上,v5-omni 各项 vs 最强基线。v5-omni-small(1.57B)在文本、图像、音频三项上的曲线 都贴住或反超基线;视频是雷达图上唯一明显凹下去的一块,也是我们下一版本要补的功课。

结语

这是 Jina 在全模态向量模型方向上的首次尝试,我们希望换个角度思考这个问题:多模态向量模型,真的必须端到端整体训练吗?

v5-omni 给出的回答是:不一定。

v5-omni 冻结文本底座、只训练 0.35% 的权重,就足以在文本、图像、音频三项追上参数量 5-7 倍于自己的模型。我们得到的经验是:组合(composition)胜过重训(retraining)。真正难的事情是先把一个足够强的文本编码器训出来,这件事一旦做好,通过轻量投影层把视觉和音频挂上去,代价几乎为零。

但这一版最值得说的还不是 benchmark,而是这种冻结底座的设计带给生产级用户的一个直接好处:现有的 v5-text 索引一行都不用动。

如果你已经在用 v5-text,把推理端点切到 v5-omni 就行。同样的 query,同样的向量,逐字节一致;不需要重新向量化任何一条数据,就能直接获得图像、音频、视频检索能力。这是我们对多模态检索升级这件事的看法:应该是一次原地升级,而不是一次迁移工程。

jina-embeddings-v5-omni-small 是当前 20 亿参数以下最强的开源 Omni 向量模型。jina-embeddings-v5-omni-nano 在 10 亿参数量级上仍保持有竞争力的全模态检索能力

两个模型现已上线 Hugging Face 与 Jina Search Foundation API,也可以在 Elasticsearch 的原生推理端点直接调用。

跳转微信打开

智能体 AI 正在重塑客户体验:一场设计范式的永久变革

2026年5月13日 12:01

原创 Thoughtworks 2026-05-13 12:01 北京

我们将深入探讨这场智能体变革与客户体验的演进路径,并带您重新构想在多元化的业务场景下,人机协同的无限可能。

在智能体 AI 的众多应用场景中,客户体验(CX)无疑是最具价值潜力的领域。过去,自动化互动的效果往往参差不齐;而现在,智能体 AI 正在弥合自动化与人工辅助之间的鸿沟,为客户旅程注入了“超个性化”的灵魂。

然而,智能体化客户体验(Agentic CX)的落地并非无本之木。它要求企业的客户数据、系统和流程必须是可访问、可连接、结构化且受治理的。缺乏这一基石,智能体将无法在完整的客户旅程中可靠运作,而只能沦为孤立触点上的被动反应工具

动态个性化:这仅仅是开端

智能体 AI 在客户体验中最直观的应用莫过于动态个性化。当用户与 AI 智能体交互时,获得的不再是千篇一律的回复,而是量身定制的建议与交互体验。

但智能体 AI 的真正野心远不止于此。其核心价值在于对客户旅程关键环节的“编排(Orchestration)”与加速。这标志着一种范式的转移:AI 的焦点正从单纯的“流程自动化”,转向对“最终成果”的编排。

以我们与某领先保险公司的合作为例:我们构建了一个自主 AI 智能体,能够代表客户针对误判拒赔的索赔自动发起申诉。这不仅为处在压力下的客户简化了繁琐流程,也为保险公司员工节省了大量宝贵时间。

随着 AI 驱动的购买旅程质量不断跃迁,整个客户体验格局正在发生巨变。过去,聊天机器人或自动化零售往往难以完全满足用户需求;而现在,AI 智能体让我们从“更快的响应”进化到“更优的决策”。它们能跨系统协作、理解历史交互背景,并基于客户的核心诉求(而非仅仅是当前会话的片面信息)采取行动。对于许多消费者而言,这种“智能体化购买”将成为首选渠道。而这,正是变革真正开始的地方。

核心在于选择,而选择权始终在人

尽管 AI 智能体正演变为一种独立的购物与服务渠道,但消费者的偏好依然多元。有人会全心拥抱智能体,有人则偏爱线下门店的温度或人工客服的直觉。有时人们想亲力亲为地筛选决策,有时则希望 AI 智能体代劳。核心在于赋予客户选择权。

从这个维度看,客户体验的本质并未改变。品牌仍需构建覆盖多触点的卓越体验,保障客户按需互动的自由。这本质上是一个由人驱动的过程,因此,人们的工作模式以及团队的组织形态也必须随之进化。

为什么“可组合企业”是智能体化 CX 的基石?

为了让智能体生态系统释放出转型的能量,必须打破“技术孤岛”。如果客户数据被困在无法共享上下文的系统中,智能体就无法在旅程中表现出连贯性。因此,智能体技术只有在“可组合企业(Composable Enterprise)”架构中才能如鱼得水——这种架构提供了一个极具适应性的平台,能随技术演进和需求变化而持续进化。

在可组合企业中,业务被解构为独立的业务能力、数据产品、AI 模型和智能体组件。这些组件可以像乐高一样被重用和灵活组装。在此模式下,智能体负责自动化与流程编排,而人类则保持“人在回路(Human-in-the-loop)”,负责战略定调并处理复杂的异常情况。

更重要的是,人类需要为智能体划定“护栏(Guardrails)”,设定其追求的意图,并对结果承担责任。这种设计工作绝非可有可无,它是构建“可信智能体化体验”的关键。

在 CX 场景中,这些智能体通过特定的业务模型进行推理规划,并利用 API 在现实世界中执行任务。

同时,这套体系必须依赖强有力的治理。在客户体验领域,任何越界的行为都可能带来灾难性的品牌声誉、法律或财务风险。

有了这些坚实的基础,组织便可以随着智能体能力的增强,动态地调整其运作边界。这种演进并非由模型驱动,而是由企业通过在可组合架构中有意识地重新设计运作方式来驱动的。

可组合企业不仅是智能体化 CX 的起点,更是支撑其持续改进的底层结构: 它足够模块化,让我们在无需重建平台的前提下优化工作流;它又足够受控,确保我们在收紧护栏时不会中断客户的旅程。

作者:Jackeline Gonzalez - Lead Experience Designer, Thoughtworks

跳转微信打开

王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (二)

2026年5月13日 06:23

原创 硅谷王川 2026-05-13 06:23 美国

王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (二)

本文是王川:当隔壁老王投资存储股票赚了三十倍后,如何还能不焦虑 (一)的续篇。

1/ Anth 正在融资的九千亿美元的估值,是根据什么逻辑设定出来的?坊间流传着几种说法。一个说法是如果  Anth 率先达到通用人工智能 (AGI) 的时候,拥有 Anth 就意味着拥有“一个存在于数据中心里的,全是天才的国家”。和这样伟大的愿景相比,区区 9000亿美元就不要讨价还价了,否则格局太小让人鄙视。另一个说法是,Anth 内部有预测 2028年收入可以到700 亿美元,现金流可以到170亿美元, 13倍收入,53倍现金流,听上去非常合理。而且这样估值可以刚好超过  OpenAI (下简称为 Oai)  三月份融资 1220亿美元时的 8500 亿美元估值, 气势上就把对手盖过去了。

2/ Oai 三月份融资时对外宣称的 1220亿美元投资,500亿来自亚马逊,但只有150亿美元是现钱,其它350亿要取决于 Oai 是否能成功上市或者实现   AGI,  资金到位的时间会和 Oai 使用亚马逊算力的用量绑定。另外 300亿美元来自英伟达,据说主要是以算力的方式入股。还有300亿美元来自软银的孙正义。剩下 120亿美元来自一些小的风投基金。Oai 自创立以来,累积融资 1900亿美元,但同样有着巨大亏损。

3/ Anth 和 Oai 估值看多者无法绕过去的一个问题是: 

一个有着持续巨大训练成本,和激烈竞争 (竞争者之间差距不到三个月),巨大价格压力, 产品切换成本不高(网络效应基本不存在,用户粘性微弱),仍然严重亏损的公司, 是否可以最终扭亏为盈,并且利润越来越高?一个需要持续对外融资才能活下来的 AGI,那还能叫 AGI 吗?

4/ 在 Anth 和 Oai 之外,历史上累积融资超过 200亿美元的公司只有四家:特斯拉,Uber, Wework(已破产), Xai ( 被 spacex 兼并)。其中特斯拉和 Uber 现金流转正时,累积融资都只有 200亿美元出头。而最近 Xai 刚刚和 Anth 达成协议,把自己建造的一个数据中心以据说每个月5亿美元的费用租给 Anth 用于推理任务,一年 60亿的租金,正好让 Xai 现金流打平。

5/ 和文学青年们想象中的可以一劳永逸,不断自动循环进步,轻飘飘就可以达到颅内高潮的乌托邦式的 AGI 不同,Anth 和 Oai 是史无前例的需要持续劳作和训练的超级重资产公司。 Oai 累积融资 1900亿美元,Anth 累积融资 723亿美元,预计两家今年的亏损仍然都会超过 100亿美元  (2025年 Oai 的亏损是 90亿美元,Anth 亏损 52 亿美元)。黄仁勋老师曾说,英伟达的 GPU 你买的越多,就省的越多。而 Oai 和 Anth 迄今为止的公开纪录是:卖得越多,亏得越多。在没有任何可信的财务数据显示 Anth 和 Oai 的亏损会收敛的前提下,一个中立的观察者有理由怀疑,它们仍然有相当大风险可能步 Wework 后尘。事实上,知名英国记者和作家 Sebastian Mallaby 4月26号在旧金山的一个科技会议上公开声称,Oai 未来18个月有 百分之五十的可能性破产。借用某个伟人的话说,“亏一亿美元,是你的问题 ; 亏一万亿美元,是全世界的问题。” 既然都已经融了这么多了,现在阻力最小的演化方向,仍然是再融更多,再亏更多,再把估值继续做高,循环往复。

6/ 既然有这么大风险,为什么谷歌, 亚马逊和微软还在持续给 Oai 和 Anth 注入巨资?它们的动机是什么,有什么好处?如果仔细看,亚马逊和谷歌对 Anth  的投资,微软对 OpenAI 投资大部分是以云计算算力的价值入股,而不是现钱。价值一美元的算力对于云服务商而言的实际成本可能只有 70美分甚至更低,这是其一。第二点是通过算力的绑定,增加自己的云计算业务的收入,跟上未来 AI 增长的步伐,免得生意跑到竞争者那里去了。第三点,通过支持 Anth, 谷歌和亚马逊自行开发的 AI 专属芯片的研发费用得到了分摊,这对未来降低对英伟达芯片的依赖有用。第四点,也是最重要的一点,就是云服务商在两家大模型公司上的投资,迄今为止,有着理论上极为丰厚但尚未套现的回报。

7/ 微软在 Oai 上累积投资 130 亿美元,这块股权按照最近 Oai的 8500亿估值,价值 1350 亿美元,理论回报超过 10 倍。亚马逊给 Anth 在2026年之前注资 80亿美元,这块股权 2026年一季度的时候就已经价值 700亿美元 (当时  Anth 估值 3800 亿), 现在就更高了。谷歌给 Anth 在 2026年之前注资 30亿美元,一季度时这块价值 500亿美元以上。

8/ 每一轮的估值上涨,意味着之前的投资不是白送,那么下一轮新的注资在云服务商的董事会遇到的阻力就会比较小。Anth 和 Openai 就还可以继续玩下去。但理论的十几倍回报,迟早需要套现,投资者的耐心也是有限的。所以 Oai  和 Anth 很快就要面临第一个硬约束,必须要尽快上市。

9/ 如果无法上市,之前投资者已经承诺的部分资金也无法到位, 这个游戏也玩不下去。要上市就必须能刷出好数据,讲出一个好故事。目前坊间的传闻是  Anth 可能在年底前上市 (Polymarket 上概率超过 60%),而 Oai 因为业绩没有之前预计的那么理想,据说上市时间可能要拖到 2027年下半年。丑媳妇终于要见公婆了,正规全面严谨的财务数据终于要公示了。

10/ 创业公司在一级市场融资时,绝大部分早期股东无法卖股票,管理层可以人为控制供给,强行把估值持续托高,利用信息不透明不对称,长时间营造出一种持续上涨的和谐美好的景象。但股票到了二级市场,早期股东套现不被限制,几千亿美元的卖盘需要接盘者,交易每天公开透明,价格和估值每天的上下波动,将直接迅速的影响 AI 下游产业链上各个公司的规划,和投机散户的脆弱的小心灵。

11/ 而几家大规模云服务商 (Hyperscaler)自己也面临一个硬约束:因为巨大的资本性支出,它们的自由现金流接近于零甚至已经变负,再发新债融资的空间也不大,地主家也快没余粮了。欲知后事如何,且听下回分解。

(未完待续)

---

所有文章表达笔者个人观点仅供参考,不构成对所述资产投资建议,投资有风险,入市须谨慎。笔者推特号"Svwang1", 新浪微博 “硅谷王川", 网站 chuan.us。

点击下面链接可看到本公众号过去两百多篇原创文章的链接目录:

硅谷王川的公众号文章目录 (2026年一月)

跳转微信打开

❌