铃阅
❌

阅读视图

阿里正式发布Qwen4-Max万亿参数模型,Thinking Machines开放Inkling 2 Small模型权重

原创 每日发现最新 2026-11-16 18:47 中国香港

通用模型Qwen4-Max,多模态混合专家模型Inkling 2 Small,Agent安全文献资源库Awesome-Agent-Security-Papers,全双工语音交互模型Haru-4B,视觉语言动作模型NEO-VLA。

11 月 16 日,今天值得关注的项目覆盖通用模型、Agent 安全、语音交互与具身智能:Qwen4-Max 正式发布,Inkling 2 Small 追加开放权重,Haru-4B 将同时听说的语音交互带到本地设备。

🧠 通用模型

★ Qwen4-Max

结合原生视觉与百万 Token 上下文,处理编码、工具调用和复杂工作任务。

阿里巴巴于 11 月 16 日正式发布 Qwen4-Max。官方公布模型总参数量为 2.4 万亿、激活参数量为 710 亿,支持原生视觉与 100 万 Token 上下文,面向编码、工具任务及复杂工作场景,将图像信息与长篇材料纳入任务处理。

正式版已通过 QwenCloud 的 Token Plan 和 API 开放,也可在 QwenWork、QwenStudio 中使用。个人用户可以从工作产品进入,开发者则可通过云端接口接入自己的应用;此次尚未开放 Max 模型权重。

★ Inkling 2 Small

以混合专家架构处理图像理解、推理、编码与 Agent 任务,并开放模型权重。

Thinking Machines 于 11 月 5 日发布 Inkling 2 Small,并在 11 月 12 日追加开放 Apache 2.0 许可的模型权重。模型采用混合专家架构,总参数量为 5940 亿、激活参数量为 170 亿,覆盖图像理解、推理、编码和 Agent 任务。

项目已获得 vLLM、SGLang 等推理框架支持,为开发者提供自行部署路径。不过,激活参数描述的是单次计算参与的规模,不能据此估算完整模型的存储需求。部署仍须围绕 5940 亿总参数规划硬件,更适合具备大型计算资源的团队。

上手门槛

自行部署:🔴 极高|需按 5940 亿总参数配置内存与显存资源

模型权重:https://huggingface.co/thinkingmachines/Inkling-2-Small

官方介绍:https://thinkingmachines.ai/news/inkling-2-small/

🛡️ Agent 安全

★ Awesome-Agent-Security-Papers

按 Agent 生命周期梳理攻击、评测与防御文献,帮助定位不同环节的安全风险。

这是一份围绕通用 Agent 安全的论文与文献资源库,对应综述 Pandora's Toolbox: A Survey of Generalist Agent Security from the Lifecycle Perspective。仓库提供中英文 README,按来源准入、编排、执行及持久状态反馈组织风险、攻击、评测和防御研究。

整理范围包含技能文件投毒、工具输出注入和跨会话记忆污染等问题,将外部内容进入系统后的影响放回完整生命周期中观察。开发者可据此查找相关论文、梳理安全设计中的薄弱环节;该项目本身不提供可直接运行的安全扫描或防护工具。

🎙️ 语音交互

★ Haru-4B

支持同时听说的全双工语音交互,并通过文字角色设定和短音频参考调整角色与音色。

higurashi-ai 发布的 Haru-4B 支持全双工语音交互,可以在说话的同时接收声音,覆盖中、英、日等九种主要语言。使用者可提供文字角色设定和一段简短的音色参考,探索不同角色下的语音交互。

模型以 Qwen3.5-4B 为骨干,完整模型在 Hugging Face 标注约 50 亿参数,采用 Apache 2.0 许可。它是面向研究的预训练模型,尚非经过指令微调的助手。项目提供约 12GB NVIDIA 显存的运行路径,以及基于 MLX 的 Apple Silicon 本地应用。

上手门槛

自行部署:🟢 较低|约 12GB 显存的 NVIDIA 显卡,或 Apple Silicon 本地应用路径

模型权重:https://huggingface.co/higurashi-ai/Haru-4B

项目地址:https://github.com/higurashi-ai/Haru

🤖 具身智能

★ NEO-VLA

将图像、语言和动作纳入原生架构,用约 20 亿参数模型完成机器人抓取、放置等任务。

南洋理工大学 S-Lab、商汤与 Ropedia 推出的 NEO-VLA,是约 20 亿参数的原生视觉语言动作模型。它通过轻量卷积将图像切分为图像块,并与语言一起送入同一主干,无需独立的预训练视觉编码器。

模型再将多层特征送入基于流匹配的动作专家,生成机器人动作。项目在模拟环境和真实机器人上测试了抓取、放置等任务,已公开论文、代码、模型权重及动作预训练数据,供具身智能开发者继续研究;用于实机时还需准备机器人硬件并完成控制适配。

上手门槛

自行部署:🔴 高|实机运行需机器人硬件及控制适配

项目主页:https://weichenfan.github.io/NEO-VLA-Page/

代码仓库:https://github.com/EvolvingLMMs-Lab/NEO

模型权重:https://huggingface.co/weepiess2383/NEO-VLA

跳转微信打开

  •  

Google发布Gemini 4 Hydrogen模型,阿里推出Qwen4-Max-Preview,xAI发布Grok Bot 1.0

原创 每日发现最新 2026-11-13 18:32 中国香港

编程与Agent模型Gemini 4 Hydrogen,多模态编程模型Qwen4-Max-Preview,团队协作Bot Grok Bot 1.0,本地部署量化模型Unsloth Qwen3.8-27B GGUF,机器人学习模型Runway Praxis-1,第一视角动作数据集Ropedia Xperience 2,基因调控预测模型AlphaGenome 2。

11 月 13 日,今天值得关注的项目覆盖编程与 Agent、团队协作、本地部署、机器人学习和基因调控预测:Gemini 4 Hydrogen 补充快速编程与任务执行能力,Praxis-1 开放权重和训练代码,AlphaGenome 2 向非商业研究开放 API。

💻 编程与 Agent

★ Gemini 4 Hydrogen

理解多模态材料,快速执行编程与多步 Agent 任务。

Google 于 11 月 12 日发布 Gemini 4 Hydrogen,面向快速编程和 Agent 执行,同时支持多模态输入。其 100 万 token 额度由输入与输出共用,长材料处理和代码生成需要共同计入这段预算。

模型已接入 API、AI Studio 和 Gemini App。Orchestrator 可在同一会话中动态选择 Carbon 或 Hydrogen;Antigravity 中的相关使用面向 Pro、Ultra 付费用户。模型未开放权重,实际可用额度取决于账户和计划。

上手门槛

在线使用:🟢 低|需 Google 账户|可用功能和额度依账户计划而定

开发接入:🟢 低|通过 Gemini API 接入|用量受账户配额限制

在线体验:https://aistudio.google.com

发布说明:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-hydrogen/

★ Qwen4-Max-Preview

接收文本、图像和视频,以文本输出完成复杂编程、办公和工具调用任务。

Qwen4-Max-Preview 提供 100 万 token 上下文,支持文本、图像和视频输入,输出为文本。模型面向复杂编程与办公任务,同时支持工具调用和结构化输出,便于将分析结果交给后续程序处理。

API 兼容 OpenAI 和 Anthropic 接口,但当前仅向 Token Plan 用户提供,不支持按量付费。预览期为北京时间 11 月 11 日 10 点至 11 月 25 日 24 点,结束后该预览模型退役,接入时需预留替换模型的安排。

上手门槛

开发接入:🟢 低|需订阅 Token Plan,不支持按量付费|预览模型于北京时间 11 月 25 日 24 点退役

API 文档:https://docs.qwencloud.com/developer-guides/getting-started/latest-model

🤝 团队协作

★ Grok Bot 1.0

把共享 Bot 接入团队聊天与会议,完成摘要、主动跟进及浏览器中的工作任务。

Grok Bot 1.0 结束测试阶段,11 月 11 日更新日志列出了 1.0.0 和 1.0.1 版本。团队可共享 Bot,并在 Slack、Teams 等协作场景中使用;会议能力涵盖视频会议、文字聊天及会后摘要,帮助团队保存讨论结果。

除了回应提问,Bot 还支持主动跟进,并具备浏览器、文档和演示相关能力。Team Bot 面向 Team、Enterprise 套餐;会议功能覆盖 Team、Enterprise、Ultra。团队落地还需管理员授权,不能把个人账户可访问等同于组织内已开通。

上手门槛

在线使用:🟡 中|Team Bot 需 Team 或 Enterprise 套餐|会议功能需 Team、Enterprise 或 Ultra 套餐|组织接入需管理员授权

官方网站:https://x.ai/bot

更新日志:https://x.ai/changelog/bot

🛠️ 本地模型部署

★ Unsloth Qwen3.8-27B GGUF

以更新后的 GGUF 量化文件,在本地运行 Qwen3.8-27B 的视觉语言、编程与推理能力。

Unsloth 在 11 月 10 日至 12 日更新 Qwen3.8-27B 的 Dynamic 3.1 量化文件。这是既有底模的量化更新,底模覆盖视觉语言、编程和推理任务,可通过 llama.cpp、Ollama 或 Unsloth Desktop 等工具在本地运行。

最新 UD-Q3_K_XL 文件约 13.1GB,4bit 文件约为 14.4—17.7GB,可按设备资源选择版本。这些数字仅指下载文件大小,不能直接作为总显存需求;运行开销和长上下文缓存还会占用额外内存,部署前需留出余量。

上手门槛

自行部署:🟢 较低|可用成熟 GGUF 工具加载|量化文件之外还需预留运行内存,长上下文占用更高

模型权重:https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

更新记录:https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/commits/main

🤖 机器人学习

★ Runway Praxis-1

联合预测视频与动作,将视频预训练能力迁移到机器人控制,并开放权重与微调代码。

Runway 于 11 月 11 日正式开放此前在 9 月预告的 Praxis-1。这一 270 亿参数 MoE 模型联合预测视频与动作,探索将视频预训练中学到的世界变化规律迁移到机器人控制,为动作学习提供可继续适配的模型基础。

项目以 Apache 2.0 许可开放权重、推理和微调代码,支持 LoRA、全量微调及 LeRobot 工作流。开放模型并不意味着可直接控制任意机器人:实际应用仍需机器人数据、GPU 资源和硬件适配,适合具备训练与机器人实验条件的团队。

上手门槛

自行部署:🔴 高|标准快速开始示例需单张至少 80GB 显存|实机运行需机械臂及相机适配

模型权重:https://huggingface.co/runwayml/praxis-1-droid

项目地址:https://github.com/runwayml/praxis-1-oss

发布说明:https://runway.com/news/company-news/praxis-1-is-now-available

★ Ropedia Xperience 2

对齐三维场景与第一视角动作,为交互模拟和人类动作向机器人迁移提供研究数据。

Ropedia Xperience 2 的论文于 UTC 11 月 12 日发布,对应北京时间 11 月 13 日。项目介绍了 1,589 个三维扫描、4,230 条第一视角记录,覆盖 74 项任务、共 131 小时,将环境结构与人在其中的动作联系起来。

这种场景与动作对齐的数据可用于交互模拟,以及研究如何把人类动作迁移到机器人。当前应将其视为研究预览:项目官网的数据和代码仍标注 Coming soon,尚不能按已全面开放下载的数据集使用,现阶段可先阅读论文了解采集与任务设计。

项目介绍:https://ropedia.com/xperience/2-research/

论文地址:https://arxiv.org/abs/2611.17060

🧬 基因调控预测

★ AlphaGenome 2

预测 DNA 变异在特定人类细胞类型和状态下对基因调控的影响,向非商业研究开放 API。

DeepMind 于 11 月 11 日发布 AlphaGenome 2,将 DNA 变异的影响预测进一步落实到特定人类细胞类型和状态。研究者可据此分析同一序列变化在不同细胞环境下可能带来的调控差异,辅助研究基因调控与疾病相关机制。

目前非商业研究 API 已开放,可通过科研 SDK 接入;商业使用处于私有预览阶段,需要走相应申请渠道。此次开放的是研究服务入口,模型权重并未随之开放。研究者可先围绕目标细胞类型与状态设计分析,再结合实验与其他证据判断预测结果的意义。

上手门槛

开发接入:🟢 较低|通过科研 SDK 调用 API|已开放入口限非商业研究,商业使用为私有预览

API 文档:https://www.alphagenomedocs.com/

发布说明:https://deepmind.google/blog/alphagenome-2-deciphering-how-cells-read-dna-to-better-understand-disease/

跳转微信打开

  •  

百度发布ERNIE 5.5 Flash Preview,NexAGI开放Nex-N2.6权重,Google扩大Gemini 4 Carbon开放范围

原创 每日发现最新 2026-11-12 18:30 中国香港

编程与工具调用模型ERNIE 5.5 Flash Preview,多模态电脑操作模型Nex-N2.6,多模态推理模型Gemini 4 Carbon,世界模型PAN2,本地工具调用模型QVAC BotPsy-0.8B,协作与数据分析功能Claude Whiteboards / Sheets / Data,机器人智能体框架uni-robot-agent。

11 月 12 日,今天值得关注的更新覆盖编程与工具调用、世界模型、本地智能体和协作办公:ERNIE 5.5 Flash Preview 开放千帆 API,Nex-N2.6 在 API 之后补上开放权重,PAN2 则用图像与文本动作生成未来场景视频。

💻 编程与工具调用

★ ERNIE 5.5 Flash Preview

处理编程、工具调用与知识工作,支持百万 token 纯文本上下文。

百度于 11 月 11 日发布首次后训练预览版,基于 Flash Base,采用 280B 总参数、14B 激活参数的架构,支持 1M 上下文。模型面向编程、工具调用与知识工作,适合需要读取长材料并连续执行任务的开发流程。

当前开放的是千帆 API,权重计划于 11 月 25 日前开放,尚不能下载部署。该版本输入输出为纯文本,演示中的 3D 或视频工作流需要外部工具配合,不能理解为模型直接生成这些媒体。

★ Nex-N2.6

运行多模态电脑操作、编程和长期工具任务,新增开放 FP8 权重。

由上海创智学院发起的 NexAGI 推出 Nex-N2.6,基于 GLM-5.3-Flash 构建,规模为 321B。继 API 开放之后,本次新增可下载的 FP8 权重,并采用 Apache 2.0 许可证,让开发团队可以进一步评估自行部署。

模型面向电脑操作、编程和长期工具任务,重点减少重复推理及调用不存在工具等问题。开放权重不等于轻量部署:这一规模仍需要多卡服务器;希望先验证任务效果的团队可以通过 OpenRouter API 接入。

上手门槛

开发接入:🟢 低|可通过 OpenRouter API 调用

自行部署:🔴 极高|321B FP8 权重|需多卡服务器

模型权重:https://huggingface.co/nex-agi/Nex-N2.6

API 接入:https://openrouter.ai/nex-agi/nex-n2.6

★ Gemini 4 Carbon

结合多模态输入与百万 token 上下文,处理复杂推理和长程编程。

Google 于 11 月 10 日扩大 Gemini 4 Carbon 的开放范围,面向付费开发者提供 AI Studio API 接入,并覆盖企业用户及 Ultra 应用用户。模型重点处理复杂推理与长程编程,适合需要持续理解材料和推进任务的工作。

它支持文本、图像、音频与视频输入,输出为文本,上下文达到 1M token。多模态输入便于把不同形式的材料放入同一任务,但本次开放不包含模型权重,开发者仍需通过付费服务调用。

上手门槛

开发接入:🟢 低|面向付费开发者开放 API

官方发布:https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-carbon-now-available/

API 接入:https://aistudio.google.com

🎬 世界模型

★ PAN2

根据图像和文本动作生成最长 20 秒视频,用于模拟未来场景。

MBZUAI 的 IFM 团队于 11 月 11 日发布 PAN2 动作条件世界模型。它以图像和文本动作作为条件,生成最长 20 秒、704 × 1248 分辨率、24fps 的视频,用连续画面呈现动作之后可能出现的场景变化。

系统包含 29B 视频骨干与 9B 文本编码器,规划环节还需要外部大语言模型。代码和权重采用 Apache 2.0 许可证,适合研究动作驱动的视频模拟;生成画面不构成真实物理保证,部署也需要承担多个大型组件的资源成本。

上手门槛

自行部署:🔴 高|多个大型模型组件|需 GPU 资源及外部规划模型

模型权重:https://huggingface.co/IFM/PAN2

🧪 本地工具调用

★ QVAC BotPsy-0.8B

用 0.8B 小模型在本地执行函数调用与多步任务,提供 BF16 和 GGUF 权重。

Tether 于 11 月 11 日发布 QVAC BotPsy-0.8B,基于 Qwen3.5,面向本地函数调用与多步任务。模型以 Apache 2.0 许可证提供 BF16 和 GGUF 权重,给开发者在本地应用中加入工具选择能力提供了较轻的起点。

它优先面向英语和中低复杂度任务,更适合边界清晰的操作流程。模型并非装好即可使用的手机助手:开发者仍需接入工具、实现执行逻辑,再把模型输出转换为实际操作;小参数规模主要降低了本地运行的资源门槛。

上手门槛

自行部署:🟢 低|0.8B 小模型可本地运行|提供 GGUF 权重

模型权重:https://huggingface.co/qvac/BotPsy-0.8B

GGUF 权重:https://huggingface.co/qvac/BotPsy-0.8B-GGUFs

📊 协作与数据分析

★ Claude Whiteboards / Sheets / Data

在 Claude 中协作整理白板、编辑多标签表格,并开展数据分析。

Claude 于 11 月 10 日更新 Whiteboards、Sheets 和 Data:前两项以测试版面向付费计划开放,Data 则进入正式版。白板支持协作整理内容,Sheets 支持公式、多标签工作表,以及导出 XLSX 和 CSV 文件。

Data 面向数据分析、数据仓库连接和分享等工作,其中部分能力仍处于测试阶段。这些功能并非全部免费开放,企业用户使用白板和表格还需要管理员开启。选用时应结合账户计划与团队设置确认可用范围。

上手门槛

在线使用:🟢 低|需付费计划|企业白板与表格需管理员开启

官方介绍:https://claude.com/resources/articles/more-ways-to-work-with-claude-sheets-whiteboards-and-interactive-connectors

🤖 机器人控制

★ uni-robot-agent

用统一工具接口连接机器人仿真与实机,支持直接调用和动作模型协同。

uni-robot-agent 是 MIT 许可证开源的跨环境机器人智能体框架,使用 Codex 或 Claude Code 作为运行时,通过统一工具接口连接仿真和实机。最新 v0.2 增加 Clean 四工具模式,并扩展 Hybrid 模式的使用范围。

Direct 模式直接调用工具,Hybrid 则结合 Pi0.5 动作模型,支持 RoboDojo、LIBERO 等环境及监控回放。目前可用的实机路径包括 ARX ONE;仿真仍需 Linux、GPU 和视觉模型 API,完整部署更适合具备机器人开发条件的团队。

上手门槛

自行部署:🔴 高|仿真需 Linux 与 GPU|需视觉模型 API 及智能体运行时|需完成仿真环境适配

项目地址:https://github.com/Open-RUA/uni-robot-agent

跳转微信打开

  •  

MiniMax开放H3-Image图像生成模型权重,蚂蚁灵波发布LingBot-Touch机器人触觉模型

原创 每日发现最新 2026-11-11 18:09 中国香港

图像生成与编辑模型MiniMax-H3-Image,机器人触觉表征模型LingBot-Touch,语音识别模型ElevenLabs Scribe v3 / v3 Live,编程与工具调用模型Nex AGI Nex-N2.6。

11 月 11 日,今天值得关注的项目覆盖机器人触觉、图像生成、语音识别与 Agent:LingBot-Touch 开放触觉表征模型,MiniMax-H3-Image 开放高分辨率生图与编辑权重,Scribe v3 系列更新录音和实时转写能力。

🎨 图像生成与编辑

★ MiniMax-H3-Image

用 6 步采样生成约 1600 万像素图片,支持最多 16 张参考图参与编辑。

MiniMax-H3-Image 正式开放权重,将文生图和多参考图编辑统一到同一模型。它支持最多 16 张参考图,可组合人物、物品和场景素材;以 6 步采样直接生成约 1600 万像素的图片,例如 4096×4096,无需后置放大器。

模型同时提供在线产品和 API,开发者也可下载权重自行部署。权重采用自定义社区许可证,适用地域不含欧盟、英国、韩国和美国;年化收入超过 100 万美元,或向第三方提供托管服务时,须事先取得单独书面授权。

上手门槛

在线使用:🟢 低|通过海螺网页使用

开发接入:🟢 低|提供图像生成与编辑 API

在线体验:https://hailuoai.com

开发平台:https://platform.minimax.cn

模型权重:https://huggingface.co/MiniMaxAI/MiniMax-H3-Image

许可证:https://huggingface.co/MiniMaxAI/MiniMax-H3-Image/blob/main/LICENSE

🤖 机器人触觉

★ LingBot-Touch

将不同传感器的触觉信号转成统一表征,为机器人精细操作提供感知信息。

蚂蚁灵波发布 LingBot-Touch,统一处理磁触觉、压阻式和视触觉信号。模型通过共享 Transformer 学习时空触觉表征,让不同硬件采集的触觉经验可以迁移到下游任务,减少操作模型对单一传感器的依赖。

官方已提供推理代码、样例及 Tiny、Small 权重入口,代码采用 Apache-2.0 许可证。开发者可先在 CPU 上运行样例提取特征;接入真实机器人时,仍需适配传感器数据并连接下游控制模型,它本身并非完整的机器人控制系统。

上手门槛

自行部署:🟡 中|支持 CPU 样例推理|需匹配传感器数据接口与下游模型

模型权重:https://huggingface.co/robbyant/lingbot-touch-tiny

Small 权重:https://huggingface.co/robbyant/lingbot-touch-small

代码与使用说明:https://github.com/Robbyant/lingbot-touch

🎙️ 语音识别

★ ElevenLabs Scribe v3 / v3 Live

分别处理录音转写和实时语音识别,改善多语言音频与多人对话的转写准确性。

ElevenLabs 发布 Scribe v3 与 v3 Live,前者面向录音文件,后者面向实时音频。官方报告,在覆盖 102 种语言的测试中,Scribe v3 相比 v2 的词错误减少 27%,同时改善多人录音中的说话人标注,适合会议记录、字幕和客服通话整理。

Scribe v3 可通过网页和 API 使用,v3 Live 通过实时 API 接入,适合需要边说边转写的应用。两者提供的是语音转文字能力,并非语音生成模型;当前按托管服务提供,未开放模型权重。

上手门槛

在线使用:🟢 低|Scribe v3 支持网页转写

开发接入:🟢 低|录音与实时音频使用不同接口

使用说明:https://elevenlabs.io/docs/help-center/product/core-capabilities/speech-to-text/what-is-speech-to-text

发布说明:https://elevenlabs.io/blog/scribe-v3

💻 编程与工具调用

★ Nex AGI Nex-N2.6

处理计算机操作、代码和长程工具任务,减少重复推理并适配当前可用工具。

Nex AGI 的 Nex-N2.6 已上线 OpenRouter,基于 GLM-5.3-Flash 构建,面向计算机操作、编程及需要连续调用工具的任务。平台说明,相较 Nex-N2.5-Pro,新版本重点减少重复推理,并更贴近当前环境提供的工具开展工作。

模型提供约 262K 上下文,适合保留较长的任务记录和代码材料。开发者可以通过 OpenRouter API 接入已有 Agent,评估其在多步骤任务中的执行表现,并按调用量付费。

上手门槛

开发接入:🟢 低|通过 OpenRouter API 按量付费使用

模型与调用入口:https://openrouter.ai/nex-agi/nex-n2.6

跳转微信打开

  •  

Anthropic发布Claude Fable 5.2与Mythos 5.2,字节跳动推出Seedream 5.5图像生成模型,美团开源LongCat-2.5模型权重,

原创 每日发现最新 2026-11-10 18:23 中国香港

通用推理与Agent模型Claude Fable 5.2 / Mythos 5.2,多模态Agent模型LongCat-2.5,轻量多模态推理模型Meta Muse Ember,工作流Agent API LG K-EXAONE 2.5,图像生成与编辑模型Seedream 5.5,实时语音交互系统Shizuku-Duplex。

11 月 10 日,今天值得关注的项目覆盖通用推理、Agent、图像编辑与实时语音:LongCat-2.5 正式开放权重,Claude Fable 5.2 升级代码、推理和视觉能力,Seedream 5.5 支持更稳定的多轮编辑与透明图层。

🧠 通用推理与 Agent

★ Claude Fable 5.2 / Mythos 5.2

处理复杂代码、推理与视觉任务,提供公开接入和机构验证两种使用范围。

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,更新代码、推理和视觉能力,面向复杂软件迁移、科学研究等长时间技术任务。两者使用同一底层模型,主要区别在于安全措施和开放范围。

Fable 5.2 已通过公开 API 提供,开发者可将其接入自己的应用与工作流。Mythos 5.2 则只向通过验证的网络安全或生命科学机构开放。对于一般开发者,当前可选择的公开接入版本是 Fable,不能将 Mythos 的发布理解为面向所有用户开放。

上手门槛

开发接入:🟢 低|Fable 提供公开 API

开发平台:https://platform.claude.com/

发布说明:https://www.anthropic.com/claude-fable-and-mythos-5-2

★ LongCat-2.5

结合视觉理解与长程 Agent 编程,支持整项目构建、设计和 3D 任务。

美团 LongCat-2.5 本次正式开放模型权重,并采用 MIT 许可证。模型使用原生多模态 MoE 架构,将视觉理解与长程 Agent 编程放在同一能力框架中,覆盖整项目构建、设计及 3D 等任务,面向需要连续完成多步工作的开发场景。

开放权重提供了自行部署的路径,但部署规模仍是关键条件:BF16 权重仓库约为 3.56 TB,另有 W4A4 版本可选。量化版本不能直接等同于普通设备可运行;自行部署仍需大规模多卡资源,适合有相应计算基础设施的团队评估。

上手门槛

在线使用:🟢 低|官方聊天网站可用

自行部署:🔴 极高|需大规模多卡资源|提供 BF16 与 W4A4 权重

在线体验:https://longcat.ai/

模型权重:https://huggingface.co/meituan-longcat/LongCat-2.5

量化权重:https://huggingface.co/meituan-longcat/LongCat-2.5-W4A4

★ Meta Muse Ember

接收文本、图像和音视频输入,处理代码子任务、工具调用与长文档。

Meta 本次发布 Muse Ember,定位轻量多模态推理模型,可接收文本、图像、音频和视频输入。其任务范围包括代码子任务、工具调用、路由、信息提取与长文档处理,适合在较大的工作流中承担明确的分工。

对开发者而言,模型既能处理多种输入,也可用于决定任务流向或提取后续步骤需要的信息。当前官方提供 Muse Code 与 Meta API 两条使用入口,开发接入采用标准 API 方式。模型尚未公开权重,因此现阶段应按托管服务评估接入,而非规划本地部署。

上手门槛

开发接入:🟢 低|通过 Meta API 接入

模型介绍:https://dev.meta.ai/models/muse-ember

接入文档:https://dev.meta.ai/docs/choose-a-model

★ LG K-EXAONE 2.5

通过免费 API 提供代码、推理和工作流 Agent 能力,仅限非商业使用。

LG 免费开放 K-EXAONE 2.5 API。该版本在 8 月版本基础上追加训练,重点面向复杂推理、代码开发与工作流自动化,开发者可用于代码生成、调试、重构和测试等任务。本次值得关注的变化是 API 开放,而非模型首次发布。

免费开放同时附带明确的使用边界:服务严格限于非商业用途,并禁止集成到产品中供第三方调用。因此,开发者可以按官方规则开展非商业试用与评估,但不能将免费 API 直接作为对外产品的模型服务。当前未提供模型权重,开放范围是 API 接入。

上手门槛

开发接入:🟢 低|免费 API,仅限非商业用途|禁止集成产品供第三方调用

API 文档:https://docs.exaone.ai/en/docs/overview

服务条款:https://docs.exaone.ai/en/terms/terms-of-service

🎨 图像生成与编辑

★ Seedream 5.5

在多轮编辑中保留未修改区域,并生成可提取的透明与半透明 RGBA 图层。

字节跳动本次发布 Seedream 5.5,更新重点包括多轮编辑的稳定性与图像真实感。连续修改图片时,模型强调保留未编辑区域,让用户围绕选定内容逐步调整,减少每轮修改对其余画面造成的变化。

另一项变化是原生支持透明与半透明 RGBA 图层,并可从图像中提取素材。这让输出不只是一张完整画面,也能用于需要独立素材的后续编辑。官方页面提供 Dola 与 BytePlus Playground 入口,可通过网页体验;当前未开放权重,不能据此推定已有自行部署版本。

上手门槛

在线使用:🟢 低|通过 Dola 或 BytePlus Playground 网页使用

在线体验:https://www.dola.com

在线工作台:https://ai.byteplus.com

发布说明:https://seed.bytedance.com/en/seedream5_5

🎙️ 实时语音交互

★ Shizuku-Duplex

在日语对话中边听边说、响应插话,并异步检索信息而不打断谈话。

Shizuku 于 11 月 8 日展示 Shizuku-Duplex,探索日语全双工语音交互。系统能够边听边说,并允许用户在对话中插话;交互过程不必始终按照一方说完、另一方再回答的固定顺序展开,重点是让连续语音交流更自然。

系统将实时对话与后台任务分开处理:后台异步检索信息时,前台仍可继续交流。当前官方提供技术介绍与演示,尚未确认公开代码、模型权重或 API 入口,本次按技术预览收录。

技术演示:https://shizuku.ai/blog/1/

跳转微信打开

  •  

Google发布Gemini Omni 1.2 Flash视频生成模型,AI降临派开源Sophon-Realtime v1实时语音模型

原创 每日发现最新 2026-11-09 18:23 中国香港

视频生成模型Google Gemini Omni 1.2 Flash,实时语音模型Sophon-Realtime v1,轻量决策模型HAL-X THX-02,价值观对齐模型Nous Research Arete-27B,机器人训练环境Ai2 ToyBlocks,多语言翻译模型PLaMo 3 Translate,3D生成评测基准Einsia Frontier3DBench。

11 月 9 日,今天值得关注的项目覆盖视频生成、实时语音、轻量决策、价值观对齐、机器人训练、多语言翻译与 3D 评测:Gemini Omni 1.2 Flash 支持多轮视频编辑,Sophon-Realtime v1 开放实时语音模型,ToyBlocks 串起机器人演示生成与闭环评测。

🎬 视频生成

★ Google Gemini Omni 1.2 Flash

通过多轮对话生成和编辑原生 15 秒视频,并支持参考内容跟随。

Google 在 11 月 5 日公布 Gemini Omni 1.2 Flash,将原生 15 秒视频生成、多轮对话编辑和参考跟随整合到同一流程。用户可以围绕已有结果继续提出修改要求,让视频创作从单次生成延伸到连续调整。

模型已通过 API 和 Gemini for business 正式提供,720p 视频价格为每秒 0.07 美元。流程支持先生成 360p 或 720p 草稿,再放大到 1080p 或 4K;4K 属于后续放大结果,不应理解为原生输出。模型权重未开放。

上手门槛

开发接入:🟢 低|通过 Gemini API 调用|720p 每秒 0.07 美元

API 文档:https://aistudio.google.com/docs/omni

官方介绍:https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemini-omni-1-2-flash/

🎙️ 实时语音

★ Sophon-Realtime v1

持续聆听、理解语气并处理打断,让语音交互包含轮次判断与表达控制。

AI 降临派开放了 Sophon-Realtime v1 的代码与权重,采用 Apache 2.0 许可。系统以 32B 模型作为共享的理解与轮次决策核心,处理持续聆听、用户打断和语气理解,使回应时机成为语音交互的一部分。

项目提供侧重表达控制的 Tag、侧重低延迟的 Flash,以及 E2E 研究预览。项目方报告 Flash 首音延迟为 0.31 秒,这一结果不代表所有场景的通用延迟。Tag 和 Flash 需要单张 80GB GPU,E2E 需要两张 80GB GPU。

上手门槛

自行部署:🔴 高|Tag、Flash 需单张 80GB GPU|E2E 研究预览需两张 80GB GPU

模型权重:https://huggingface.co/adventists-ai/Sophon-Realtime-32B-Tag

项目地址:https://github.com/adventists-ai/sophon-realtime

🧠 轻量决策

★ HAL-X THX-02

结合选项概率与按需短思考,处理文本、JSON 和最多四张图片的决策输入。

HAL-X 开源的 THX-02 由 4.5B 决策模型与 60M 思考适配器组成,支持文本、JSON 和最多四张图片输入。它先直接计算候选选项的概率,仅在不确定且需要多步推理时加入短思考,可用于工单分流、内容筛选和 Agent 下一步动作选择。

项目方在 Decision Index 0.3 的 6018 条样本上报告 65.06 分,直接回答为 63.83 分;这是抽样自测结果,并非完整或独立榜单。模型采用 Apache 2.0 许可,提供限流免费 API;本地 GPU 部署需单张 24GB 显卡,CPU 仅支持直接回答。

上手门槛

开发接入:🟢 低|REST API 限流免费

自行部署:🟢 较低|单张 24GB GPU|CPU 仅支持直接回答路径

API 文档:https://api.hal-x.ai/docs/thx-02

模型权重:https://huggingface.co/HAL-X-AI/THX-02

🧭 价值观对齐

★ Nous Research Arete-27B

公开模型与训练数据,用于研究特定政治敏感话题的回答倾向如何随对齐训练变化。

Nous Research 的 Arete-27B 基于 Qwen3.8-27B 进行监督微调,将特定政治敏感话题上的回答倾向作为价值观对齐研究对象。它的意义在于提供可检查的模型与训练材料,帮助研究者分析训练选择如何影响回答。

模型权重采用 Apache 2.0 许可,团队也公开了训练数据。项目方在自设评测中观察到目标回答倾向发生变化,所测通用能力没有显著退化;这些结果仍需在其他任务和评测协议下验证。它更适合作为研究模型价值观对齐的材料,而不是通用能力升级版本。

上手门槛

自行部署:🔴 高|原始 BF16 权重规模为 27B|需高显存设备或选择兼容量化版本

模型地址:https://huggingface.co/NousResearch/Arete-27B

🤖 机器人训练

★ Ai2 ToyBlocks

在机械臂积木环境中生成演示数据、训练策略,并通过闭环评测定位任务失败环节。

Ai2 的 ToyBlocks 基于 Isaac Sim 与 Isaac Lab 构建受控的机械臂积木环境,可自动生成 LeRobot 格式演示数据,用于训练 VLA 与 ManiFlow 策略。项目同时提供数据和模型,串起从示范生成到策略测试的流程。

闭环评测允许替换高层规划或低层动作组件,便于分辨失败来自任务分解还是动作执行。官方提供单 GPU 生成小规模数据的方式,但未给出统一最低显存。主体代码采用 Apache 2.0 许可,附属子模块和资源仍需分别查看许可。

上手门槛

自行部署:🔴 高|需要 GPU 仿真环境及策略组件|官方提供单 GPU 生成小规模数据的方式

使用文档:https://allenai.github.io/ToyBlocks/docs/user_guide/index.html

项目地址:https://github.com/allenai/ToyBlocks

🌐 多语言翻译

★ PLaMo 3 Translate

支持 53 种语言翻译,并结合上下文、术语表和日语语体控制调整译文。

Preferred Networks 在 11 月 5 日介绍 PLaMo 3 Translate 权重开放,提供 0.8B、2B、8B 和 31B 四种规模,覆盖 53 种语言。模型支持上下文、术语表和日语语体控制,便于在翻译过程中维持术语和表达风格的一致性。

已提供 BF16、GGUF 和 MLX 等版本。系列采用自定义社区许可:非商业使用无需登记;商业使用时,使用者或关联企业上一财年收入或营收不超过 10 亿日元,可登记后免费使用,超过则需另签许可协议。

上手门槛

自行部署:🟢 较低|选择 0.8B 或 2B 量化版本|商业使用需按社区许可办理登记或授权

模型权重:https://huggingface.co/pfnet/plamo-3-translate-0.8b

官方介绍:https://www.preferred.jp/en/blog/tech/plamo-3-translate-weight-release

🧊 3D 生成评测

★ Einsia Frontier3DBench

通过 145 项任务评估可编辑、可执行的 3D 产物,覆盖外观、结构与行为。

Frontier3DBench 包含九类共 145 项任务:65 项对象和 65 项场景使用 Blender,另有 15 项交互开放世界任务使用 Unreal Engine。它检查生成产物的外观、结构和行为,关注 3D 内容能否继续编辑与实际运行。

项目方比较了 11 组模型与 Agent 执行框架配置:GPT-6.1 Sol 总分为 66.02,GPT-6 Astra 在交互世界部分得分最高。结果显示,生成看似合理的内容比准确还原参考更容易,局部交互也比协调完整活动更成熟。评测软件采用 Apache 2.0,任务素材保留各自许可。

评测仓库:https://github.com/Einsia/Frontier3D

评测主页:https://lab.einsia.ai/frontier3dbench/

跳转微信打开

  •  

OpenAI发布GPT-6 Cyber代码安全模型,Thinking Machines推出Inkling 2 Small视觉编程模型

原创 每日发现最新 2026-11-06 18:34 中国香港

代码安全模型GPT-6 Cyber,视觉编程模型Inkling 2 Small,结构化决策模型THX-02,结构化决策模型Sarvam Prism,交互仿真模型NVIDIA Cosmos3 Nano。

11 月 6 日,今天值得关注的项目覆盖代码安全、视觉编程、结构化决策与交互仿真:OpenAI 发布面向获批安全团队的 GPT-6 Cyber,Inkling 2 Small 开放推理与微调服务,NVIDIA 集中介绍四款 Cosmos3 Nano 仿真模型。

🛡️ 代码安全

★ GPT-6 Cyber

在授权网络安全任务中发现、验证和修复漏洞,面向经过审核的安全团队开放。

OpenAI 于 11 月 5 日公布 GPT-6 Cyber,将漏洞发现、验证与修复串入安全工作流程。官方公布的 ExploitGym 成绩为 48.5%,前代为 32.1%;这一变化反映的是该项评测表现,实际效果仍需结合目标系统和任务验证。

模型通过 API 和 Codex 向获批的 Daybreak Red 用户提供。它适合已有授权、安全流程和验证能力的团队,目前不属于面向所有 ChatGPT 用户的通用功能,也未开放模型权重。接入前需要先完成安全审核。

上手门槛

开发接入:🔴 高|须通过安全审核并获批 Daybreak Red 访问权限|通过 API 或 Codex 使用

模型文档:https://developers.openai.com/api/docs/models/gpt-6-cyber

官方介绍:https://openai.com/index/introducing-gpt-6-cyber/

💻 视觉编程

★ Inkling 2 Small

结合图像反馈完成长程编程任务,支持调整推理强度并迭代网站、游戏与 3D 内容。

Thinking Machines 于 11 月 5 日发布 Inkling 2 Small,采用总参数 594B、激活参数 17B 的 MoE 架构。模型支持图像输入,可依据视觉反馈持续修改网站、游戏和 3D 内容,推理强度也可调整。当前不支持音频,聊天呈现仍有局限。

Tinker Playground 以及推理、微调服务已经开放,开发者可以先通过服务测试自己的任务。模型权重目前仍未公开;团队计划在下周完成安全评测后,以 Apache 2.0 许可开放,因此现阶段还不能按已开放权重的模型安排本地部署。

上手门槛

在线使用:🟢 低|可通过 Tinker Playground 体验

开发接入:🟢 较低|Tinker 已提供推理与微调服务

在线体验:https://tinker.thinkingmachines.ai/playground

接入文档:https://tinker-docs.thinkingmachines.ai/cookbook/inkling/

官方介绍:https://thinkingmachines.ai/news/inkling-2-small/

⚖️ 结构化决策

★ THX-02

把文本、JSON 或最多四张图片转成选择、是非与评分概率,仅在必要时加入短思考。

HAL-X 的 THX-02 由 4.5B 决策模型与 60M 思考适配器组成。它先直接判断,仅在不确定且任务需要多步推理时,生成短思考辅助再次判断。它为选择、是非和有序评分问题返回概率分布,便于业务系统依据概率设置分流规则。

项目方在 Decision Index 0.3 的 6,018 条抽样上报告 65.06 分,直接判断为 63.83 分;这不是全量评测或独立榜单结果。权重与运行时已按 Apache 2.0 开放,API 提供免费限流访问。CPU 只能运行直接判断,使用思考能力需要 GPU。

上手门槛

开发接入:🟢 低|提供 REST API|免费访问有限流

自行部署:🟢 较低|官方提供单张 24GB GPU 部署路径|思考能力需要 GPU

模型权重:https://huggingface.co/HAL-X-AI/THX-02

API 文档:https://api.hal-x.ai/docs/thx-02

★ Sarvam Prism

针对固定候选同时回答多个决策问题,返回概率结果,便于接入分类与判断流程。

Sarvam 于 11 月 3 日发布 Prism,基于 Sarvam 105B,接收文本或 JSON 上下文,为多个问题的候选答案返回概率,不生成自由文本。开发者可以据此设置自动处理与人工复核的分界,用于工单分流、内容筛选和 Agent 执行结果评估。

项目已提供托管 API,并按 Apache 2.0 开放权重。自行部署的资源要求较高:FP8 单卡路径需要约 120GB 空闲显存,对应 H200、B200 等设备。模型还需要专用推理代码,不能直接用通用 AutoModel 加载;缺少相应设备时,可先通过托管服务验证任务。

上手门槛

开发接入:🟢 低|提供托管 API

自行部署:🔴 极高|FP8 单卡需约 120GB 空闲显存|需使用专用推理代码

API 文档:https://docs.sarvam.ai/api/token-factory/models/sarvam-prism

模型权重:https://huggingface.co/sarvamai/prism

🌐 交互仿真

★ NVIDIA Cosmos3 Nano

为驾驶与机器人仿真生成受动作或场景控制的视频,覆盖多视角转换与流式预测。

NVIDIA 在 11 月 5 日的官方文章中集中介绍四款交互仿真模型:Transfer-Auto 改变驾驶场景的天气和光照,最多支持 11 路相机;Sim-Auto 流式生成相机与 LiDAR 输出;Sim-Transfer 将仿真控制和文本转成 RGB;Sim-Bimanual 根据机器人与相机动作预测视频。

这些模型的权重已开放,采用 OpenMDW 1.1 许可,可按条款商用。Sim-Transfer 可为物理仿真生成视觉观测,Sim-Bimanual 则直接根据动作预测下一段画面;驾驶闭环还需仿真运行时持续更新控制信号。开发者可以基于自己的传感器布局和场景继续训练,将其用于合成数据与策略评估。

上手门槛

自行部署:🔴 高|需要 NVIDIA GPU|闭环使用需对接仿真运行时与控制信号

模型集合:https://huggingface.co/collections/nvidia/cosmos3-examples

官方介绍:https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation

跳转微信打开

  •  

Anthropic开源FlashProve,腾讯发布Hy4正式版

机器之心SOTA 2026-11-05 00:04 中国香港

腾讯 Hy4 正式版加入视觉理解,Anthropic 开源推理来源验证工具 FlashProve;另收录 P-H3-Image、nanoMuse、ReSFlow 与 Transformers MIC。

11 月 4 日,今天值得关注的项目覆盖推理验证、视觉 Agent、图像生成与模型测试:腾讯 Hy4 正式版加入视觉理解,PrunaAI 开放八步图像生成与编辑模型,Anthropic 则探索用零知识证明核验回答是否来自约定模型。

🔐 推理来源验证

★ FlashProve

用零知识证明验证回答来自预先承诺的模型,同时保护模型权重。

Anthropic 于 11 月 2 日发布 FlashProve,探索如何让模型服务提供可核验的推理来源。它利用零知识证明,证明一次回答由预先承诺的模型计算得到,而不向验证方泄露模型权重。这为需要核对服务端实际使用哪个模型的场景提供了研究路径。

项目公开了代码、Lean 证明与文档,采用 Apache 2.0 许可证。需要分清验证对象:它不证明回答内容正确,也不是推理加速工具。官方将其定位为不持续维护的研究原型,更适合研究者检查证明方法与实现,而非直接作为生产服务部署。

项目地址:https://github.com/anthropics/FlashProve

研究介绍:https://www.anthropic.com/research/provable-inference

🤖 视觉与跨端 Agent

★ 腾讯 Hy4 正式版

结合视觉理解、百万级上下文与工具调用,处理包含图像的 Agent 长任务。

腾讯于 11 月 4 日发布 Hy4 正式版,首次加入视觉理解,并强化 Agent 长任务能力。模型支持100 万 token 上下文,可接收文本与图像并输出文本,让开发者在同一任务中组织文字资料、图片信息和较长的交互过程。

Hy4 支持工具调用与结构化输出,适合需要读取图片、调用外部工具并持续执行的工作流。开发者目前可通过腾讯云提供、在 OpenRouter 上架的 API 按量调用;本文按 API 开放介绍,正式版权重的公开下载状态尚待确认。

上手门槛

开发接入:🟢 低|标准 API 调用|按量收费

API 入口:https://openrouter.ai/tencent/hy4

★ nanoMuse

连接手机、电脑与浏览器,让个人 Agent 结合记忆执行跨设备操作。

nanoMuse 由浙江大学 Guangyi Liu、Yong Liu、Jiangning Zhang 开发,结合记忆、屏幕操作与同账号多端使用,让个人 Agent 在手机、电脑和浏览器之间开展任务。项目首发于 9 月 25 日,当前 1.0.9 版本发布于 10 月 29 日。

新版本加入任务 token、费用与时间预算,以及全库记忆检索,帮助用户约束任务消耗并找回已有信息。代码采用 GPL-3.0-or-later 许可,支持自选模型服务和自托管中继。网页入口是模拟手机演示;实际跨端使用需下载客户端,不能把演示页视为完整远程手机控制服务。

上手门槛

在线使用:🟢 低|普通登录|体验模拟手机演示

自行部署:🟢 较低|官方 Docker 中继|可接自选模型服务

在线演示:https://demo.nanomuse.dev

客户端下载:https://nanomuse.cn/dl

项目地址:https://github.com/nano-muse/nanoMuse

更新说明:https://github.com/nano-muse/nanoMuse/releases/tag/v1.0.9

🎨 图像生成与编辑

★ P-H3-Image

基于 MiniMax H3,以八步生成或编辑图像,支持最高 8MP 与八张参考图。

PrunaAI 于 11 月 3 日公布 P-H3-Image,基于 MiniMax H3 提供图像生成与编辑能力。项目方公布的能力包括八步生成、最高 8MP 图像和最多八张参考图,既可从文字生成画面,也可在参考图约束下进行编辑。权重和 ComfyUI 量化版本均有公开入口。

部署资源须按版本区分:ComfyUI 量化路径约需21GB 显存,并需要组合相关组件;默认 BF16 配置加上提示扩写约需 101GB 显存,不能把前者作为完整版配置。模型采用自定义 MiniMax H3 社区许可,包含地区限制,公开权重不等于无条件商用。

上手门槛

自行部署:🟡 中|ComfyUI 量化版本约需 21GB 显存|需组合相关组件

模型权重:https://huggingface.co/PrunaAI/P-H3-Image

量化模型:https://huggingface.co/PrunaAI/P-H3-Image-Comfy

发布说明:https://www.pruna.ai/blog/oss-p-h3-image-launch

🧪 离散生成研究

★ ReSFlow

将类别概率映射到球面,通过流学习与路径校直研究一步离散状态生成。

ReSFlow 研究如何用连续的球面流处理离散数据:先把类别概率映射到球面,再学习流,并通过 reflow 校直生成路径。其一步生成包含一次向量场评估和一次球面更新,最终得到离散状态;这里的一步描述的是该研究方法的生成过程。

仓库包含二值 MNIST、字符级 Text8 和启动子设计相关代码,可用于查看不同离散对象上的实验实现。它不是通用语言模型的一步推理产品,目前也没有已确认的预训练权重入口。仓库采用 MIT 许可,但涉及的第三方 Sei 另有学术研究限制,复用相关实验时需要分别检查授权范围。

上手门槛

📱 手机端模型推理

★ LuxiInfer

在兼容的安卓手机上离线运行 35B MoE 与 2B Dense 模型,支持文本对话和图文理解。

陆兮科技发布 LuxiInfer Android v1.0.0,用户可在应用内下载配套模型并在手机本地运行。目前支持 LuxiLLM-1.7B、Qwen3.5-0.8B、Qwen3.5-2B 和 Qwen3.6-35B-A3B,当前应用适配范围为搭载 Snapdragon 8 Elite Gen 5 的安卓设备。

项目通过低比特量化、专家按需加载和动态缓存降低资源占用。官方报告,35B MoE 在 16GiB 内存手机上运行时峰值内存约 5GiB,配套模型包约占 10.9GB 存储;在输入、输出各 1024 token 的纯文本测试中,生成速度为 14.179 token/s。2B Dense 在该芯片的 4K 上下文测试中生成速度为 50.95 token/s。以上均为项目方测试结果。

模型下载后可离线使用。当前官方仓库提供应用下载与技术说明,尚未公开推理引擎源码及其开源许可证,因此应区分可下载体验与源码开源。

上手门槛

自行部署:🔴 高|需 Snapdragon 8 Elite Gen 5 安卓设备|应用内下载配套模型后离线运行|35B 模型包约占 10.9GB 存储

安卓下载:https://github.com/LuxiTech/LuxiInfer/releases/download/v1.0.0/LuxiInfer-20261102-v1.0.0.apk

使用说明:https://github.com/LuxiTech/LuxiInfer

🛠️ 模型集成测试

★ Transformers MIC

以缩小模型、可执行用例和人工审核基线,在 CPU 上检测模型集成回归。

Hugging Face 于 11 月 3 日介绍 Transformers MIC,为模型集成提供更轻量的回归测试方案。它缩小模型规模,同时保留关键层,再配合可执行测试用例与经过人工审核的基线,在 CPU 上检查代码修改是否改变预期行为,让日常集成验证更容易运行。

代码采用 Apache 2.0 许可,提供 tmic 命令行工具,生成测试草稿时需要调用模型,并产生相应费用;草稿仍需人工审核,不能直接当作可靠基线。MIC 更适合作为开发过程中的回归检查环节,不能替代完整模型测试。涉及完整规模模型的行为与效果,仍需另行验证。

上手门槛

开发接入:🟡 中|需为模型建立测试用例并人工审核基线|生成草稿涉及模型调用费用

项目地址:https://github.com/huggingface/transformers-mic

方案介绍:https://huggingface.co/blog/transformers-mic

跳转微信打开

  •  

深度原理开放Hydrogen-1.0科学模型,微软发布Mage-VL-Cowork电脑操作模型

原创 每日发现最新 2026-11-03 18:32 中国香港

本期精选Hydrogen-1.0、Mage-VL-Cowork、CoworkOS,补收Xiaomi-OCR-0与Wuli MiniMax-H3 Turbo。

11 月 3 日,本期从近期项目中精选科学推理、电脑操作、人机协同、文档解析与有声视频生成能力:Hydrogen-1.0 开放科学模型权重,Mage-VL-Cowork 将图形界面与终端操作纳入统一策略,MiniMax-H3 Turbo 提供少步数有声视频生成适配。

🔬 科学推理

★ Hydrogen-1.0

围绕化学、材料与生命科学问题开展推导、实验规划和工具协同。

Deep Principle 基于 GLM-5.3 进行科学后训练,推出 Hydrogen-1.0。它面向化学、材料与生命科学任务,将科学问题推导、实验规划与工具协同纳入模型能力,适合探索需要多步分析的科研工作流。

模型权重采用 MIT 许可开放,但训练数据与完整训练配方尚未全部公开。项目提供 BF16,以及面向 NVIDIA Blackwell 的 NVFP4 和 AMD MI350X、MI355X 的 MXFP4 版本;量化格式对应具体硬件,部署仍需承担大型模型的资源要求。

上手门槛

自行部署:🔴 极高|需大型模型推理资源|NVFP4/MXFP4 需匹配指定硬件

模型权重:https://huggingface.co/deep-principle/Hydrogen-1.0

官方介绍:https://blog.deepprinciple.com/introducing-hydrogen-1.0/

🖥️ 电脑操作与协同

★ Mage-VL-Cowork

以统一策略结合图形界面和终端操作,执行电脑上的多步骤任务。

微软发布 Mage-VL-Cowork,将 GUI 操作与终端执行放在同一策略中处理,让模型可以根据任务选择操作界面或调用命令。官方标称模型规模为 4B,运行上下文为 32K。

权重与评测代码采用 Apache 2.0 许可开放,BF16 权重文件约 9.48 GB,这一大小并不等于运行所需显存。模型采用自定义 llava_onevision2 架构,需要配套运行时与电脑执行环境,不能直接套用通用视觉模型的加载方式。

上手门槛

自行部署:🟡 中|需配套自定义运行时|需配置电脑执行环境

模型地址:https://huggingface.co/microsoft/Mage-VL-Cowork

★ CoworkOS

追踪长程任务、保留执行状态,让人与 Agent 围绕共享工件持续协作。

RUC-NLPIR 开源的 CoworkOS 用 Main Agent 负责规划、分派和评估,由 Coordinator 追踪任务生命周期,并可按需加入子 Agent。Jobs 保存任务日志与状态,便于长程工作中断后继续推进。

项目文档展示了围绕 CAD、Blender 等共享工件开展协作并由人工审核的方式。它是需要外接模型服务的协同框架,不自带模型;源码采用 MIT 许可,桌面端面向 Apple Silicon Mac,命令行支持 macOS 与 Linux。

上手门槛

开发接入:🟢 较低|通过 CLI 接入|需配置外部模型服务

项目与安装说明:https://github.com/RUC-NLPIR/CoworkOS

📄 文档解析

★ Xiaomi-OCR-0

用 0.8B 模型解析文档,输出结构化内容、关键信息与文档问答结果。

Xiaomi-OCR-0 已于 9 月 30 日发布,本期补收。这个 0.8B 模型覆盖文档解析、关键信息抽取与 OCRVQA:文档内容可转为 Markdown,关键信息可输出 JSON,公式以 LaTeX 表达。

代码与权重采用 Apache 2.0 许可开放。表格使用 OTSL 表达,可经后处理转为 HTML;既可整页解析,也可结合额外布局模型逐区域处理。区域解析需要增加布局组件,不能将其视为模型单独完成的默认能力。

上手门槛

自行部署:🟢 较低|0.8B 权重已开放|区域解析需额外布局模型

模型权重:https://huggingface.co/xiaomi-research/Xiaomi-OCR-0

项目地址:https://github.com/xiaomi-research/Xiaomi-OCR-0

🎬 有声视频生成

★ MiniMax-H3 Turbo

以 4、6 或 8 步生成有声视频,支持文本、首尾帧及参考素材控制。

Wuli 发布的 MiniMax-H3 Turbo 提供少步数视频生成适配,并配有 ComfyUI 节点与示例工作流。除文本与首尾帧输入外,8 步 Ref2VA 版本支持参考图像或视频,也可同时加入参考音频;音频不能作为独立的参考输入。参考能力已于 10 月 23 日更新。

不同版本需要搭配不同基座组件:4 步版本提供 LoRA 与融合输出投影,仍依赖官方 Transformer;6、8 步版本提供完整 Transformer,但仍需要官方文本编码器和 VAE。因此,下载 Turbo 权重并不意味着已经获得完整运行组件。

权重采用 MiniMax H3 自定义社区许可,使用时需遵守原模型许可条款。部署还需要相应 GPU 资源,具体配置应按所选版本和生成设置评估。

上手门槛

自行部署:🔴 高|需加载 H3 基座组件与 Turbo 权重|ComfyUI 节点要求 CUDA GPU

模型权重:https://huggingface.co/Wuli-art/MiniMax-H3-Turbo

ComfyUI 节点:https://github.com/wuli-art/MiniMax-H3-Turbo-ComfyUI

跳转微信打开

  •  

美团上线LongCat-2.5正式版,商汤开源SenseNova-Loop-9B-Preview循环架构模型

每日发现最新 2026-11-02 18:51 中国香港

LongCat-2.5、SenseNova-Loop、Vela 3.0、MOSS-Live与DeepSeek编程Agent原型,附Mistral Large 4开放权重回顾。

11 月 2 日,今天关注的项目覆盖多模态编程、请求路由、实时语音与团队协作:LongCat-2.5 正式版上线,商汤开放循环架构模型 SenseNova-Loop,MOSS-Live 将全双工对话与后台任务执行结合。

👁️ 多模态理解与编程

★ LongCat-2.5

结合原生视觉理解与 Agent 编程,处理视觉设计、3D 创作及复杂代码库任务。

LongCat-2.5

美团 LongCat-2.5 正式版于 11 月 2 日上线。在此前 Preview 版本的基础上,正式版继续将原生视觉理解与 Agent 编程结合,面向需要同时理解画面和执行代码操作的任务。

它可以围绕视觉编程、创意设计和 3D 场景展开任务,也面向复杂代码库中的完整项目开发,通过多步工具调用推进工作。对开发者而言,重点是把图像中的需求与后续代码操作放进同一条任务链,减少在理解画面与执行修改之间反复转述。

官方提供与 Claude Code、Codex、Hermes 等工具的兼容接入路径。开发者可通过官方 API 将模型接入已有工作流,按需求测试视觉编程、代码库修改与多步工具调用。

上手门槛

开发接入:🟢 低|通过官方 API 接入|支持兼容编程工具

官方网站:https://longcat.chat

API 文档:https://longcat.chat/platform/docs/zh/api-docs

更新日志:https://longcat.chat/platform/docs/zh/ChangeLog.html

★ SenseNova-Loop-9B-Preview

用共享权重的循环计算增加模型深度,支持图文理解、文档处理、代码与工具任务。

SenseNova-Loop-9B-Preview

SenseNova 于 10 月 30 日开放这款预览模型的权重,采用 Apache 2.0 许可证。模型接收文字和图像,输出文字,可用于文档理解、代码及工具相关任务。

它的特别之处在于循环架构:32 层中有 24 层共享权重并执行两遍,总计进行 56 次层计算。这让模型增加计算深度,而不用为重复的层再复制一套参数。

自部署需要推理实现适配循环架构。模型卡提供自定义 Transformers 的单 GPU 示例;vLLM、SGLang 需采用指定开发分支,选择部署框架时应先核对支持情况。

上手门槛

自行部署:🟡 中|已开放模型权重|自定义循环架构需匹配推理实现

模型权重:https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

🧭 路由与信息抽取

★ Vela 3.0

为请求提供分类、路由和信息抽取结果,帮助系统选择后续处理路径。

Vela 3.0

vLLM Semantic Router 与 KRLabs 推出六款 Vela 3.0 模型,覆盖约 0.3B 至 27B 的不同规格。它们服务于决策与抽取,不是面向用户生成长篇回答的聊天模型。

fast 面向英文,支持 32K 输入,可返回分类概率、文本片段偏移、证据、实体与个人敏感信息识别结果。其骨干约 380M,但完整模型含适配器约 1.65B、文件约 6.6GB,不能将完整部署体量理解为 0.4B。

fast-vision 是图像决策与定位预览模型;lite 面向多语言和小型 GPU;mini 提供平衡选项,flash 与 turbo 则提供更大规格。系列采用 Apache 2.0 许可证,支持官方加载和本地 HTTP 服务,可按路由精度、语言及资源预算选择。

上手门槛

自行部署:🟢 较低|fast 可在 CPU 上运行|更大规格资源成本上升

模型合集:https://huggingface.co/collections/vllm-sr/vela-30

fast 模型:https://huggingface.co/vllm-sr/vela3-fast

🎙️ 实时语音交互

★ MOSS-Live 1.0

接收实时语音与视频,边听边说,并将复杂长任务交给后台继续处理。

MOSS-Live 1.0

MOSS-Live 1.0 目前处于 Beta 阶段,支持全双工实时交互,以语音和视频为输入,输出语音与文字。用户可以自然打断,它也能在持续对话中处理新的输入。

复杂推理或耗时任务可以异步委派到后台,前台继续交流。这种设计适合需要一边沟通、一边执行工作的语音助手,避免每次长任务都让对话停下来。官方还列出主动回应、多方场景中忽略非对己讲话、工具使用及同声传译等能力。

开发者可通过 WebSocket 的 /v1/realtime 接口,使用 moss-live-1.0 模型接入。应用需要持续传送音视频、接收语音与文字结果,并处理打断和播放进度等交互事件。

上手门槛

开发接入:🟢 较低|提供实时 WebSocket API|需对接音视频流

模型介绍:https://platform.moss.cn/en/docs/models/moss-live/

API 文档:https://platform.moss.cn/en/docs/reference/moss-live/

💻 编程 Agent 协作

★ DeepSeek dsh-superagent-prototype

围绕一个 GitHub 仓库组织任务、独立 Agent 会话与人工介入,探索持续协作方式。

DeepSeek dsh-superagent-prototype

DeepSeek 开放 dsh-superagent-prototype,采用 MIT 许可证。这是基于 DeepSeekHarness 的研究原型,不能视为正式产品或已经生产就绪的服务。

其设计围绕一个 GitHub 仓库展开:监听 GitHub 事件,也可连接飞书;授权请求形成工作项,再进入独立 Agent 会话与工作目录,处理结果及 PR 回到原会话。Web 面板用于呈现工作状态和需要人工介入的环节。

值得关注的是它如何把请求、执行空间与协作反馈连接起来。不过,仓库描述的研究设计不代表全部能力已完整实现。试用者需要配置仓库授权、事件接入及模型服务,适合探索团队编程工作流,不宜直接当作无人值守交付系统。

上手门槛

开发接入:🟡 中|需配置仓库授权与事件接入|需连接模型服务|研究原型

安装文档:https://github.com/deepseek-ai/dsh-superagent-prototype/blob/main/SETUP.md

项目地址:https://github.com/deepseek-ai/dsh-superagent-prototype

跳转微信打开

  •  

Mistral Large 4正式开放权重,Pika发布H3 Flex有声视频模型

原创 每日发现最新 2026-10-30 18:40 中国香港

本期关注 Mistral Large 4、Pika H3 Flex、BabelArena、MiniCPM-OCR 1.0、ElevenLabs SFX v3 与 GitHub Replica。

10 月 30 日,今天值得关注的项目覆盖编程与安全、多模态视频、多语 Agent 评测、文档解析、音效生成和交互原型。Mistral Large 4 在 API 发布后开放权重,Pika H3 Flex 提供有声视频适配器与推理代码,MiniCPM-OCR 1.0 将文档解析与结果复核组合起来。

💻 编程与代码安全

★ Mistral Large 4

接收文本与图像,在百万 token 上下文中处理编程、Agent 和网络安全任务。

Mistral 于 10 月 29 日开放 Mistral Large 4 权重,其 API 已于月初发布。模型采用混合专家架构,总参数量为 1 万亿,每次激活约 490 亿参数,计入嵌入层和输出层后约为 520 亿。它支持 100 万 token 上下文,接收文本和图像,输出文本,面向编程、Agent 与网络安全等任务。

本次提供 FP8 与 NVFP4 权重,但万亿参数的整体规模仍对本地部署提出很高要求,NVFP4 路径面向 Blackwell 硬件。模型采用基于 MIT 修改的 Mistral Ecosystem Open-Weight License;将模型用于模型即服务业务,需要另行取得商业许可。开放权重不等于所有商业使用方式都无附加条件。

上手门槛

开发接入:🟢 低|通过 Mistral API 调用

自行部署:🔴 极高|万亿参数权重需多卡资源|NVFP4 路径面向 Blackwell

模型权重:https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B

API 文档:https://docs.mistral.ai/

发布公告:https://mistral.ai/news/mistral-large-4-oss/

🎬 有声视频生成

★ Pika H3 Flex

结合最多 12 个图像、视频和音频参考输入,以六步推理生成有声视频。

Pika 于 10 月 29 日发布 Pika H3 Flex,在 MiniMax H3 基础上进行后训练,将生成过程压缩到六步推理。模型可组合最多 12 个图像、视频和音频参考输入,原生输出支持 480p 与 768p,适合围绕已有素材约束画面与声音。

本次开放适配器和推理代码,权重受 MiniMax H3 社区许可约束,不能将其整体理解为 Apache 许可项目。4K 超分、五音轨分离和加速服务由 API 提供;创作网页计划于 11 月 2 日上线,尚不属于当前可用入口。官方验证的自行部署环境使用 H100 80GB,大请求可通过 CPU 卸载缓解显存压力。

上手门槛

自行部署:🔴 高|官方验证环境为 H100 80GB|大请求可使用 CPU 卸载

模型与适配器:https://huggingface.co/Pika-Labs/Pika-H3-Flex

发布说明:https://creation.pika.art/blog/pika-h3-flex

🌐 多语 Agent 评测

★ BabelArena

在 23 种语言的任务和工具环境中,评估 Agent 的任务完成能力与语言一致性。

Qwen 的 BabelArena 覆盖 23 种语言、13 个领域和四个基准家族。它将多语评测延伸到工具环境、模拟用户和评分文本,让 Agent 在相应语言的完整交互链路中执行任务,减少只翻译题目带来的评测偏差。

基准同时观察任务成功率、连续三次均成功的稳定性,以及执行过程中的语言一致性。项目报告显示,低资源语言场景更容易出现工具调用错误或切换到英语的现象,这些问题可能被单次任务的最终得分掩盖。

代码和数据已公开,统一运行器采用 Apache 2.0 许可,上游组件和数据各有许可边界;仓库同时标明,DeepPlanning 等部分内容的再分发许可尚未明确。运行评测需独立下载数据,并接入被测模型和辅助模型,部分任务还需工具沙箱。

上手门槛

自行部署:🟡 中|需接入被测模型与辅助模型|部分任务需要工具沙箱

评测仓库:https://github.com/QwenLM/BabelArena

数据集:https://huggingface.co/datasets/Qwen/BabelArena

📄 文档解析与复核

★ OpenBMB MiniCPM-OCR 1.0

以 1.3B 模型解析中英文复杂文档中的文字、表格、公式、印章及关键信息。

OpenBMB 于 10 月 28 日发布 MiniCPM-OCR 1.0。这个 1.3B 参数模型面向扫描件和拍照文档,可处理弯曲、倾斜等版面情况,提取中英文文字、表格、公式、印章与关键信息。项目同时提供 PPDocLayoutV3 布局模型与 SDK,将版面分析和内容识别组织为解析流程。

同批发布的 2B 参数 MiniCPM-OCR-Jev 用于检查已有 OCR 结果,对文字、公式和表格输出 0—1 分数,供后续复核参考。解析模型负责生成结果,评估模型为结果筛查提供另一条路径;分数仍需结合业务要求设定复核规则。

项目代码和权重采用 Apache 2.0 许可,并提供多种量化版本。开发者可以通过 SDK 组织解析管线,也可以调用云端 OCR 服务;自行部署时需考虑布局识别与内容识别组件的组合。

上手门槛

开发接入:🟢 较低|提供 SDK 与云端 OCR 服务

自行部署:🟡 中|需组合布局识别与内容解析管线|提供多种量化版本

模型权重:https://huggingface.co/openbmb/MiniCPM-OCR-1.0

项目仓库:https://github.com/OpenBMB/MiniCPM-OCR

云 API 文档:https://platform.modelbest.ai/console/docs/api/ocr

🔊 音效生成

★ ElevenLabs Sound Effects v3

根据文字提示生成音效,改进同一提示中多个声音元素的呈现。

ElevenLabs 于 10 月 29 日发布 Sound Effects v3。此次更新重点是更准确地响应包含多个音效元素的提示,同时改进音乐和人声内容的自然度,便于创作者在一个描述中组织更丰富的声音场景。

Sound Effects v3 已在 ElevenCreative 和 ElevenAPI 上线,采用托管服务,没有开放模型权重。官方文档将其列为有限开放,账号与地区会影响可用性,尚未获得权限的 API 请求可能返回 Unknown model;接入前需确认账户实际权限,使用按平台服务计费。

上手门槛

在线使用:🟡 中|受账号权限及地区开放范围限制

开发接入:🟡 中|受账号权限及地区开放范围限制|按平台服务计费

在线体验:https://elevenlabs.io/sound-effects

API 文档:https://elevenlabs.io/docs/overview/capabilities/sound-effects

发布公告:https://elevenlabs.io/blog/sound-effects-v3

🛠️ 交互原型制作

★ GitHub Replica

结合现有组件、设计规范与文档,用自然语言构建和迭代交互原型。

GitHub 于 10 月 28 日以 MIT 许可开放 Replica。它将已有组件、设计规范和项目文档纳入原型制作过程,让使用者通过自然语言在 Copilot 应用中持续调整交互,便于在实现正式功能前验证界面与操作流程。

普通本地原型流程可以不部署服务器,但仍需 Copilot 套餐或自行提供模型服务;自备模型提供商功能处于公共预览阶段。团队需要集中分享和评论时,可选部署 Replica Hub,这会增加服务部署与维护工作,不是开始制作本地原型的必要步骤。

上手门槛

自行部署:🟢 较低|可在本地制作原型|需 Copilot 套餐或自备模型服务

项目仓库:https://github.com/github/replica

本地原型文档:https://github.com/github/replica/blob/main/docs/local-prototyping.md

跳转微信打开

  •  
❌