铃阅
❌

阅读视图

号称开源版grok bot的OpenMausBot到底是什么?

原创 山行AI 2026-11-06 18:07 浙江

项目手册给 Agent 配个工作台分工聊天、连接应用,也能看见电脑上正在做什么

如果你已经在用 Claud

如果你已经在用 Claude Code 或 Codex,可以想象一下:它们出现在聊天软件的联系人列表里。你找一个查资料,找另一个改代码,需要配合时拉进同一个群,还能打开电脑画面,看它们做到了哪一步。

OpenMausBot 就是这样一个开源 Agent 工作台。它把本机的 Claude、Codex、Grok 等 Agent 接进聊天界面,再接上电脑环境和外部应用。每个 bot 可以有自己的模型、指令和工具,你交代任务之后,进度、结果和需要你回答的问题,都回到聊天里。

01

先看亮点,为什么值得点开试试

· 把 Agent 变成能长期配合的联系人。 给它设好角色和指令,按工作或项目分组、置顶。下次有事,直接找到它继续聊。

· 不同模型能在一个工作台里分工。 支持现有 CLI 登录,也能接自定义引擎。各个 bot 可以用不同模型,在群聊里协作,或把一部分工作交给队友。

· 它能动手,你也能看见和接手。 接上本地容器桌面、Boat 云电脑或自建 VPS,就能查看工作画面。在支持的平台上还可启用本机控制,需要本人操作时再接过来。

· 把常用应用接进来。 通过 Composio 连接邮箱、协作工具等服务,再按 bot 设置工具权限。

· 把重复工作交给触发器。 支持定时运行、Webhook 和应用事件,结果可以回到聊天里。

· 用语音交流,也能从外部调度。 可以听回复、与 bot 通话,开发者还能通过 MCP 或命令行分配任务。

OpenMausBot 的聊天主界面,左侧管理 bot,右侧查看任务与电脑画面

项目所说的 Grok Bot 开源替代方案,指的就是这套用法。多个有角色分工的 bot,通过聊天接受任务,还能连接电脑和应用。OpenMausBot 是独立项目,与 xAI 没有隶属关系。下面先看这几项能力怎么用,再拆它背后的实现。

02

一个 bot 可以开多段对话,也能和别的 bot 配合

bot 保存角色、指令、记忆和技能;Thread 是一次独立对话,各自有运行状态、审批和记录。想换个任务,不一定要再建一个 bot。文件夹主要用来整理对话,不会自动变成独立账号或权限隔离区。

bot 的右键菜单,可以置顶、编辑资料或整理对话

需要多个角色一起处理同一件事,就开一个群聊。你可以点名某个 bot,让负责人回答,也能让多个成员参与。bot 还可以把一小块工作交给另一个 bot,原对话里会显示交给了谁,以及完成、失败或取消的状态。

项目还提供 Chief of Staff 角色,用来接需求、分派任务和汇总结果。团队配置可以从一份 Markdown 文件导入,也能分享整个部门的角色与工作安排。普通团队包不会带走聊天记录、密钥和电脑访问权限,导入后连接默认关闭、例行任务暂停;组织管理员分发的模板另有规则。

在高级模式里,你可以给 bot 选模型,也能给某段对话单独选。正在运行的对话会先用原模型完成当前工作,再处理后续切换。不同对话虽然能各自运行,共用的电脑、浏览器会话或工作目录仍可能冲突,不能只看有几个聊天窗口就当成完全隔离。

模型选择器,把不同引擎的可用模型放在一起

03

给它一台电脑,你能边看边接手

打开电脑面板,可以看 Agent 工作时的屏幕。在支持的远程桌面上,你还能接过控制权,完成登录等需要本人操作的步骤,再把任务交还给它。

电脑面板里的实时画面与环境选择

这里有几种不同用法。

· 本机电脑。 直接处理你当前的应用和文件。控制默认关闭,macOS 还需要辅助功能、屏幕录制等系统授权,并为对应 bot 单独选择这个环境。

· Local VM。 名字叫 VM,实际提供的是 Docker 或 Podman 里的 Linux 桌面。适合把浏览器操作和下载任务放进独立环境,需要预留本机内存与磁盘。

· Boat 云电脑。 使用远程 Linux 桌面,需要对应账号和配置,试用之后可能产生费用。

· 自建 VPS。 用你自己的服务器提供工作环境。当前文档将这一后端限定为 x86_64 Linux Docker 主机。

Local VM 可以按 bot 分配,但仍跑在 OpenMausBot 所在的那台物理机器上。它不会自动把 Mac 和 Windows 的资源拼成一个桌面池。Ubuntu 本机控制也有平台安全限制,不能把客户端装得上理解成所有控制能力都已可用。聊天、预览、云电脑和 Local VM 要分别看。

屏幕预览和控制权限是两回事。你打开画面,不会顺便授权 Agent 操作鼠标键盘。模型怎么选、电脑放哪里,也是分开的设置,不用为了换一台工作电脑就重建整套角色。

04

接好应用,再把重复工作安排上

通过 Composio,可以连接 Gmail、Slack、GitHub、Notion、Linear 等应用。项目列出的应用规模为 500 多个,具体能做哪些操作,还要看服务本身和你授予的权限。OAuth 连接一次之后,也应按 bot 检查工具授权。

应用市场,用来连接外部服务

比如让一个 bot 整理每天的收件箱,可以先连接邮箱,再给它设置周期任务。定时任务支持一次性、指定星期或间隔运行,间隔范围为 5 到 1,440 分钟。上一轮还没结束时会跳过对应的间隔触发,避免慢任务不断堆积。需要运行时限,可以另外设置。

Webhook 则从外部请求启动工作。桌面端默认使用独立的 127.0.0.1:8800 接收器;要收公网事件,只代理这个接收器,不应把主 harness 接口一起公开。应用事件走另一条链路,由连接服务暂存,桌面端长轮询领取。Gmail 的检查间隔和推送型应用也不同。

本机定时任务要靠 OpenMausBot 持续运行,关掉程序,本地执行器和接收器就停了。远程桌面在线,也不能替代已经关闭的本地调度器。想让电脑关机后任务继续跑,需要选择常驻的云端工作区或自托管部署。

语音方面,可以给 bot 选 ElevenLabs、Fish Audio、Grok 语音、Mac 内置声音或本地 Chatterbox 服务。Mac 的普通听写可在设备上处理,Windows 和 Linux 的对应听写使用 Fish Audio。选本地语音服务时,也要确认服务地址确实在本机。

应用设置页,集中配置外部服务与凭据

05

群里谁来回答,也可以交给决策模型

你没有点名任何 bot 时,群聊的 Auto 模式可以询问一个专门的决策模型。它读取群聊信息、最近消息和各成员的描述,选择由谁回答。实际干活的仍是被选中的 Agent,决策模型只负责这一步路由。

目前可用 TypeSafe Jev,或通过 OpenRouter 选择决策模型。文档中的规则是最高选项概率达到 0.6 才采用;选中“多位成员”时会让多人回答。不够确定、超时或配置不可用,就回到群聊原有负责人,没有负责人时用首位成员,等待预算为 1.5 秒。

这个 0.6 门槛是按 Jev 测量的,不能直接当成所有模型都经过验证。手动点名、@everyone 和其他回答模式也不走这一步。浏览器点击、工具选择以及工作位置的自动决策,文档仍列为待做,不能算成现成功能。

从发消息到路由、执行、审批与回传结果的流程

06

后台怎样把这些东西接起来

整体分成界面和 harness 服务两部分。React 界面发送 HTTP 命令,再通过一条 SSE 事件流接收进度。harness 默认在 127.0.0.1:8799,负责管理 Agent 进程、电脑环境和工具连接。

不同 CLI 的原生协议不一样,驱动层把它们转换成统一的运行事件,再交给前端显示。聊天记录可以按对话保存为 NDJSON。开发时,界面默认端口为 5199;Electron 桌面版把本地服务一起打包,不用另起一台后端服务器。

界面、本地 harness、Agent 引擎和执行环境之间的关系

想接其他引擎,有两条不改代码的路。支持 ACP 的 CLI,可以作为自定义进程接入;OpenAI 兼容端点,也能通过配置接入。这里接的是接口能力,实际的模型、鉴权与工具支持仍要按后端确认。

它自己也提供 MCP 服务,让 Claude Desktop、Cursor 等外部客户端查看 bot,也能发送工作,再等待结果或中断任务。这个接口刻意没有开放审批授权、删数据、改凭据和电脑生命周期控制,不能拿“接上 MCP”理解成获得全部管理权限。

脚本和 CI 可以使用同一套命令行入口。下面是文档给出的团队导入和运行方式,运行前要有可用工作区与匹配的团队文件。

openmausbot team apply team.yaml

openmausbot run "Room Lead" "Rehearse the launch of https://example.com" --export ./out

它能等待主 bot 及其委派工作的结果,提供 JSON 输出和退出码。脚本看到“需要你回答”或“等待超时”时,要按对应状态处理,不能都算作执行成功。

07

审批卡片能看到什么,哪些事仍由权限决定

引擎发出的权限请求和问题,会在聊天里变成卡片,你可以允许、拒绝或作答。Inspector 可以继续查看工具调用、引擎输出与重连等细节。

聊天中的审批卡片,允许或拒绝对应动作

但不能把这个界面概括成“所有操作都要先批准”。是否询问取决于引擎和所选权限级别。Full access 下,一些操作直接执行。bot 对自身资料、技能或记忆的部分修改,也可能立即生效,再用记录里的 Undo 撤回。真正使用前,要看清当前 bot 获得了什么权限。

本地优先同样不等于全部离线。默认本机工作区的数据放在 ~/.openmausbot,但云模型会接收请求,Composio 管理连接应用的 OAuth 凭据,云电脑和语音服务也各有数据路径。决策模型会收到路由所需的近期群聊内容。可选匿名使用统计可以在设置中关闭。

桌面包在支持的平台上使用操作系统加密存储密钥,界面只显示是否已配置。终端或服务端的配置方式不同,入门说明明确提到 API key 可能以明文保存在私有 config.json,Unix 权限为 0600。不要把“界面读不到密钥”写成“所有部署方式都加密存储”。

08

怎么上手,适合先试哪条路

想先看看产品,直接用发布页的桌面安装包(https://github.com/milind-soni/OpenMausBot/releases/latest)更省事。支持 macOS Apple silicon、Intel、Windows x64,以及 Ubuntu 24.04 x64;Ubuntu 仍标为 Beta。各平台的电脑控制与语音能力并不完全一致。

已经习惯终端,也可以用 Node.js 24 或更新版本启动。

npm install -g openmausbot

openmausbot

第一次会引导选择 AI 接入方式,再登录或填写密钥。关闭终端会停止服务,保存的工作不会因此清掉。手机可以配对访问,但手机连不到电脑自己的 localhost 地址,需要配置可访问的 HTTPS 地址或 Tailscale 等连接方式。

准备改源码,可以按开发方式启动,三个开发进程需要分别保持运行。使用原生 CLI 时,也要先安装并登录对应引擎。

git clone https://github.com/milind-soni/OpenMausBot

cd OpenMausBot

pnpm install

pnpm dev:server

pnpm dev

pnpm dev:desktop

桌面版适合快速建立一组角色,终端与自托管方式更适合接现有脚本、常驻服务器或自定义引擎。开源软件本身免费,模型调用、Boat 云电脑和部分语音服务仍按各自规则收费,不能把软件免费理解成整条任务链零成本。

许可也有一处需要分开看。开源主体采用 Apache 2.0,enterprise/ 目录则使用单独的企业许可,生产运行和对第三方托管等用途有额外要求,不能把整个仓库都按 Apache 2.0 使用。捆绑组件保留各自许可。

项目曾用名 OpenGrokBot,也叫 MausBot。它没有发行加密代币,使用这些名字的代币也不代表得到项目方认可。

OpenMausBot 值得关注的地方,是把分散的 Agent 整理成能持续使用的工作台。你能找到对应角色,看见它做到了哪一步,再在同一处接手或补充要求。先让一个 bot 跑通一项边界明确的工作,再慢慢加应用和队友,比一开始就搭一整队更容易判断它是否适合自己。

我是山行AI,持续分享工具与技术资料。

来源与声明

依据 OpenMausBot 项目(https://github.com/milind-soni/OpenMausBot)、决策模型说明(https://github.com/milind-soni/OpenMausBot/blob/main/docs/decision-model.md)、功能文档(https://github.com/milind-soni/OpenMausBot/tree/main/apps/docs/content/docs/features)、电脑环境说明(https://github.com/milind-soni/OpenMausBot/tree/main/apps/docs/content/docs/computers)、MCP 接口(https://github.com/milind-soni/OpenMausBot/blob/main/docs/mcp-server.md)及许可文件整理,资料快照为 2026 年 11 月 6 日,固定提交 e5e155bdded59fbc431dad59cf29ef303c0aa7d8。配图为项目公开演示及依据文档绘制的示意图。

本文由山行整理自:OpenMausBot(https://github.com/milind-soni/OpenMausBot),如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

有人开源了小学初中高中各科教材的知识图谱skill?

原创 山行AI 2026-11-03 12:36 浙江

一道题不会,先补哪一块?看看这个知识图谱工具怎么用。

孩子一道题卡住了,到底是再练两道,还是先把前面的知识补一补?cn-math-taxonomy 构建了一套知识图谱,能帮你顺着知识点往前找。你选一个知识点开始答题,它会根据回答继续出题,检查哪些地方还不稳,再给出建议复习顺序。想看看一章或一本书学得怎么样,也能直接选范围来测。

目前收录了 8 个学科,整体从小学延伸到高中,不过各科收录的年级不一样,后面有明细。项目按 CC BY-NC 4.0 提供代码和数据,非商业使用要遵守署名等协议条件,商用需要另行授权。

01

它现在能帮你做什么

先看你能拿它做哪些事。

· 一道题不会,往前找找卡在哪儿。 选中知识点开始答题,需要时,它会接着检查前面的知识,看看已经测出的薄弱点有哪些。

· 一章学完,看看哪里还没学稳。 可以按章节或整册来测。掌握了多少、哪里不稳、哪里薄弱,结果会分开列,没测到的仍然显示“未测”。

· 知道哪里薄弱,再决定先补什么。 结果页会给一条建议复习路径。后面的内容要用到前面的知识,就把前面的排在前面。

· 准备给孩子讲题,先看看知识怎么连。 搜到一个知识点,就能看它的通俗解释、掌握标准和相关题目,也能看为什么要先学另一块知识。

· 这次没做完,下次接着来。 档案和答题进度可以保存在本地。结果能导出、打印,也能做成一张手机分享图,之后还可以重测。

拿配方法的演示来说。程序顺着前面的知识往回查,最后查到了“完全平方公式”。这样你能看到配方法和它有什么关系,也知道下一步可以先复习什么。这里是程序模拟作答,展示的是操作流程,不是真实学生的测评结果。

配方法诊断结果,演示回溯到完全平方公式

名字里虽然有 math,它现在已经不只做数学。接下来先看怎么用,后面再说它是怎么实现的。

02

从一道错题开始,找复习线索

先在图谱里搜孩子正在学的知识点。比如搜“配方法”,页面就会把它和前面要用到的知识连起来。点开一个节点,还能看说明、掌握标准和诊断题,也可以从这里开始答题。

配方法附近的局部知识图谱

图谱一开始只显示附近的关系,往上两层、往下一层,不会一下把整张图都铺出来。想看得更远,可以继续展开前置知识。你也能搜索、筛选,或是缩放、拖动图谱。备课和讲题之前,先顺着连线看一遍,就能大致了解前后要用到哪些知识。

答错一道题,它通常不会马上往前查,而是再给同一个知识点出一道确认题。确认题也没答对,才继续检查前面的知识。如果第一题错了、确认题对了,它会记成“不稳”,默认不再往前查。一次失误,还不足以说明前面的知识没学会。

高中函数概念的诊断演示

从一个知识点开始测,可以一路查到更早学段的知识。结果里写的“根因”也要这样理解:在这次已经测过的范围里,暂时没找到比它更早的薄弱点。没测到的地方,仍可能有问题。你可以把它当成下一步复习的线索。

03

学完一章或一本书,也能做筛查

如果只是觉得“这一章好像还有些地方不会”,但说不出具体是哪一块,就可以选章节或整册来测。测完以后,页面会列出各类状态的数量,标出薄弱点,再给出建议复习顺序。

选择性必修第二册整册筛查示例

整册测和单点测,范围不一样。选了一册,主要就查这一册里的知识,册外要用到的知识会单独列成“未检查的前置知识”。到了题量上限就会停,没测到的点还是“未测”,不能顺手算成已经掌握。

八年级上册英语整册诊断示例

复习路径先按年级排,同年级里,后面要用到的基础知识排在前面。你可以照着挑一块先复习,过后再测这个薄弱点或对应章节,看看这次能不能答对。

选择性必修第一册英语整册诊断

04

结果可以保存,也能打印和分享

选择题主要看选项对不对。数值题能识别分数、小数、百分数等简单的等价写法。碰到没法可靠识别的代数式或文字答案,页面会把参考答案给你看,让你自己判断。答完能看解析,判错了也能手动改,或者撤销这次作答。

答题进度、孩子档案和薄弱记录,都存在当前浏览器里。你可以导出 JSON,也能打印结果或备份档案。换设备、清理浏览器数据之前,记得先备份。

数学诊断的竖版分享图

分享图也是在浏览器里生成的,尺寸是 1080×1920。测了哪个范围、各类状态有多少、部分薄弱点是什么,图上都能看到,还带着站点二维码,但不会显示孩子姓名。

英语诊断的竖版分享图

手机上可以长按保存。要和另一位家长或老师讨论时,把这张图发过去,对方能看到这次测了什么、哪里还不稳,沟通起来会具体一些。

手机端保存分享图的弹层

这里也得分清两件事。答题记录保存在本地,页面本身仍会发出网络请求。核对的这个版本已经配了访问统计地址,会发送页面访问等事件。项目说明不会收集孩子昵称和答题内容。如果你打算自己部署,还是要看一眼实际的统计配置。

05

从哪里开始,目前覆盖哪些内容

直接打开 math.pansgo.com(https://math.pansgo.com/) 就能看,也有 GitHub Pages 备份(https://xiaoyang111222.github.io/cn-math-taxonomy/)。首页可以选学科和年级,再进入知识图谱或诊断工具。想先看看答题过程长什么样,可以点开配方法演示(https://math.pansgo.com/diagnose/?target=cnm_221&demo=1)。

项目首页,提供学科、年级和诊断入口

按 2026 年 11 月 2 日核对的那次提交,数据文件里一共有 2,997 个知识点、4,456 条先修边、12,135 道题。先修边就是知识点之间的前置关系。这些数字说的是收录量,不代表每条内容都已经过老师审核。

学科

知识点

先修边

题目

数学

870

1,459

3,627

英语

791

1,028

3,164

物理

269

637

1,076

语文

493

656

1,972

科学

222

288

888

道德与法治

159

171

636

历史

134

141

536

地理

59

76

236

数学从小学一直到高中必修和选择性必修。比如下面这两张图,看的就是高中函数和导数附近的知识关系。你可以先找找,正在学的那一块有没有收录。

高中函数概念附近的先修关系

选择性必修中导数概念的局部图谱

英语从三年级到高中,目前没有听力、口语题。语法也能放进图谱里看,比如初中的现在完成时、高中的虚拟语气。

初中英语现在完成时的知识图谱

高中英语虚拟语气的知识图谱

其他学科的年级范围要分别看。物理有初中和高中;语文、科学、道德与法治主要是小学内容。历史是初中七至九年级,地理是七至八年级。开始测之前,先确认你需要的内容在不在。

06

这些功能是怎样实现的

看完怎么用,再来拆一拆它背后的做法。项目先把知识点和前后关系整理好,页面读进这些数据,再根据你怎么答题,按规则决定下一道问什么。

先把知识点和前置关系存下来

topics.json 里放的是一个个知识点。名称、年级册章、通俗说明、掌握标准和诊断题,都放在对应记录里,还可以带上课程标准映射。每个点有一个稳定 ID,页面、题目和知识关系就靠这个 ID 对上。

dependencies.json 里放的是连线:哪两个知识点相连、关系有多强、为什么要这样连。topicId 依赖 prerequisiteId,意思就是学前一个知识点之前,需要后一个。hard 表示较强的前提,图上画实线;soft 表示学过会有帮助,但不是硬门槛,图上画虚线。

各科的图谱是分开的。物理和科学里,可以用 mathLinks 标出相关的数学知识,但这种链接不算本学科的先修边。测物理时,不会因为有这个链接就自动跳去测数学。

根据作答,在两条分支之间选择

它先问你选中的知识点。答错了,或者选了“不会”,就找同级或更低难度的题再确认一下。确认题还错,才记为薄弱,然后往前查。查的时候,先问 hard 关系里的直接先修,再问 soft 关系里的。

如果一直答对,就按另一套规则走。默认要连续答对 3 题,页面也能选 2、3、5。题库没那么多题,就按实际能出的数量来判。达到要求后,这个点记为掌握,前面还没测过、也没判定的祖先知识点,可以记成“掌握(推断)”。已经直接答过题得出的结果,不会被这种推断覆盖。

诊断选题、状态判定与先修回溯的流程示意

所以,答错后的确认题,和连续答对后的掌握判定,走的是两套规则。如果刚答错一题就碰到题量上限,会暂时记为薄弱,同时告诉你还没复测。看结果时,要留意哪些是直接测出来的,哪些是推断的,哪些还没测。

静态页面加规则引擎,在浏览器里运行

这套页面用 HTML、CSS、JavaScript 和 JSON 做成,不用额外配服务端数据库也能跑。图谱交给 Cytoscape 和 dagre 来画,诊断规则放在纯函数引擎里。页面读数据、显示结果,浏览器本地存储负责记住答题进度,各自做各自的事。

知识数据、静态页面、诊断引擎与本地存储的关系

如果你想自己跑,在项目根目录启动一个静态服务器就行。页面靠 fetch 读数据,直接双击 HTML、用 file:// 打开,不适合这套做法。

git clone https://github.com/xiaoyang111222/cn-math-taxonomy.git

cd cn-math-taxonomy

python3 -m http.server 8000

然后用浏览器打开 http://localhost:8000/。/explore/ 是知识图谱,/diagnose/ 是诊断页面。英语等学科用 subject 参数选择,具体填什么,以项目页面为准。

想检查数据或跑引擎测试,也有现成命令。

python3 scripts/validate.py

node tests/test_engine.js

前面那次固定提交的诊断引擎测试,跑下来是 92 项通过、0 项失败。回溯顺序、题量限制、作答重放及真实数据结构,都有测试覆盖。它能说明程序有没有按规则做事,至于题目出得好不好、孩子学得有没有进步,还得另外验证。

07

真正用起来,还需要老师和家长把关

想试的话,可以就从孩子正在学的一个知识点开始。看看题目合不合适,答错后往前查的理由讲不讲得通,再选一块复习。遇到不合理的题,先改题或改判,不要因为一次“不稳”或“薄弱”就给孩子下结论。

里面不少先修关系和诊断题是 AI 生成的,掌握标准也需要审核。部分小学、初中数学题做过自动重算或独立复核,高中和英语还没有同等程度的盲解验证。自己的校验式算对了,也不能保证题意、答案和干扰项就都没问题。

教材目录和课程标准的来源,项目里有保留,也标了哪些地方“待核”。有些条款对过官方目录,有些用的是公开转述或第三方目录。exact、inferred 说的是怎么映射,不能直接理解成已经审核通过,更不能把所有映射都说成官方认证。知识点之间该不该连、关系有多强,也得请一线老师看。

使用范围也要看清。知识图谱、题库、诊断代码与文档采用 CC BY-NC 4.0,可以按协议用于非商业学习、教学和研究,要署名并保留来源。付费课程、收费服务或售卖题库等商业用途,需要另行授权。用到的图形库则仍按各自的 MIT 许可来。

对家长和老师来说,它能帮你把“接下来补哪里”说得更具体,拿着结果和孩子一起看,再决定怎么复习。对开发者来说,知识数据和诊断规则分开,也方便研究和复用。接下来更值得看的,是知识关系经过老师审核后,孩子实际用起来有没有帮助。

我是山行AI,持续分享工具与技术资料。

来源与声明

依据 cn-math-taxonomy 项目(https://github.com/xiaoyang111222/cn-math-taxonomy)、诊断说明(https://github.com/xiaoyang111222/cn-math-taxonomy/blob/main/diagnose/README.md)、诊断引擎(https://github.com/xiaoyang111222/cn-math-taxonomy/blob/main/diagnose/engine.js)、课程标准映射(https://github.com/xiaoyang111222/cn-math-taxonomy/blob/main/docs/standards-mapping.md)及数据文件整理。数据快照对应提交 63757ad869076219fcdc047934db76198ff365f5,截图为项目公开示例。

本文由山行整理自 cn-math-taxonomy(https://github.com/xiaoyang111222/cn-math-taxonomy),如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

开源Kronos 从 K 线预测到 A 股微调

原创 山行AI 2026-11-02 13:05 浙江

Kronos · 中文上手指南

K 线预测与微调

从预训练预测,到自己的数据与微调实验。

Kronos 把金融市场的 K 线序列作为建模对象。输入一段历史开盘价、最高价、最低价和收盘价,以及对应的成交数据,模型便能生成后续一段行情序列。项目提供了预训练权重、预测接口,以及用自己的数据微调和回测的示例。

我对照项目介绍和预测代码,按原有内容整理了这份中文指南,补充了几个容易误解的使用细节。文中的预测与回测配图来自作者示例,没有写成本次运行结果。资料核对于 2026 年 11 月 2 日。

01

项目介绍与进展

Kronos 的完整名称可以译为“面向金融市场语言的基础模型”。项目将它定位为首个开源的金融 K 线基础模型,预训练数据覆盖全球 45 家以上交易所。这里的“首个”属于作者对项目的介绍。

这是一组仅含解码器的模型,针对金融数据噪声较高的特点设计。它采用两个阶段来学习 K 线。

· 专用分词器先把连续、多维的 OHLCV 数据量化为分层离散 token。

· 
自回归 Transformer 在这些 token 上预训练,学习序列关系,为不同量化任务提供统一的模型表示。

OHLCV 分别表示开盘价、最高价、最低价、收盘价和成交量。实现中的预测器还处理成交额amount。分词器负责在数值与离散表示之间转换,预测模型则逐步生成后续 token。

Kronos 的两阶段框架,包含 K 线分词器与自回归预测模型

项目记录了三个主要节点。

· 2025 年 8 月 2 日,论文发布于 arXiv。

· 2025 年 8 月 17 日,开放微调脚本。

· 2025 年 11 月 10 日,宣布论文被 AAAI 2026 接收。

在线演示(https://shiyu-coder.github.io/Kronos-demo/)用于展示 BTC/USDT 未来 24 小时的预测,适合先看输出形式。具体页面内容与更新情况以访问时为准。

02

已开放哪些模型

模型与分词器需要配套选择。项目列出四种规模,其中前三种提供 Hugging Face 权重链接,large 标记为未开放。

· Kronos-mini 有 4.1M 参数,上下文长度为 2048,搭配 Kronos-Tokenizer-2k。

· Kronos-small 有 24.7M 参数,上下文长度为 512,搭配 Kronos-Tokenizer-base。

· Kronos-base 有 102.3M 参数,上下文长度为 512,同样使用 Kronos-Tokenizer-base。

· Kronos-large 有 499.2M 参数,上下文长度为 512,分词器仍为 base,但该表未提供开放权重。

可下载的标识分别为 NeoQuasar/Kronos-mini、NeoQuasar/Kronos-small 和 NeoQuasar/Kronos-base。两套分词器的标识是 NeoQuasar/Kronos-Tokenizer-2k 与 NeoQuasar/Kronos-Tokenizer-base。

以下示例沿用 small。它和 base 的最大上下文为 512,建议历史窗口lookback 不超过这个范围;更长序列由预测器在自回归过程中使用有限上下文窗口处理。模型参数更多,也需要结合自己的设备和任务验证,不能仅凭名称判断预测效果。

03

从一次预测开始

先准备 Python 3.10 或更新版本,在项目目录安装依赖。

git clone https://github.com/shiyu-coder/Kronos.git

cd Kronos

pip install -r requirements.txt

KronosPredictor 封装了预处理、标准化、预测和反标准化。最基本的使用过程是加载分词器与模型,创建预测器,再提供历史数据和时间戳。

import pandas as pd

from model import Kronos, KronosTokenizer, KronosPredictor

tokenizer = KronosTokenizer.from_pretrained(

  "NeoQuasar/Kronos-Tokenizer-base"

)

model = Kronos.from_pretrained("NeoQuasar/Kronos-small")

predictor = KronosPredictor(model, tokenizer, max_context=512)

df = pd.read_csv("./data/XSHG_5min_600977.csv")

df["timestamps"] = pd.to_datetime(df["timestamps"])

lookback = 400

pred_len = 120

columns = ["open", "high", "low", "close", "volume", "amount"]

x_df = df.loc[:lookback - 1, columns]

x_timestamp = df.loc[:lookback - 1, "timestamps"]

y_timestamp = df.loc[

  lookback:lookback + pred_len - 1, "timestamps"

]

pred_df = predictor.predict(

  df=x_df,

  x_timestamp=x_timestamp,

  y_timestamp=y_timestamp,

  pred_len=pred_len,

  T=1.0,

  top_p=0.9,

  sample_count=1,

)

print(pred_df.head())

示例文件路径需要换成自己实际准备的数据,克隆代码后也要检查文件是否存在。这里需要至少 520 行数据,前 400 行作为历史窗口,后续 120 行的时间戳用于历史回放比较。未来真实价格没有传给 predict。

预测需要三类输入。

· df 是历史 K 线的 pandas DataFrame,必须包含 open、high、low、close。

· x_timestamp 是与历史行逐一对应的时间戳序列。

· y_timestamp 是要预测的未来时点,长度应与 pred_len 一致。

volume 与 amount 可以缺省。这里补充一下当前代码的实际处理方式。缺少成交量时,两列都填零;已有成交量但缺少成交额时,会用成交量乘以四个价格的均值估算成交额。后者并非直接取到交易所的真实成交额,使用时要统一口径。

真正预测尚未发生的时段时,要按市场交易日历准备 y_timestamp。A 股休市、午间休盘与连续交易市场不同,不能不加区分地生成固定间隔时间。

采样参数与返回结果

T 是采样温度,top_p 控制核采样范围,sample_count 决定每条序列采样多少条预测路径。当前代码会在内部对这些路径求均值,然后返回 DataFrame。把它设为 5,返回的仍是一份均值结果,不会直接得到五条独立路径或置信区间。

返回列包括 open、high、low、close、volume 和 amount,索引就是传入的未来时间戳。结果仍然是行情数值,需要另外定义怎样从中构造信号。

完整加载、预测与绘图过程见 examples/prediction_example.py。不提供成交量、成交额的示例为 examples/prediction_wo_vol_example.py。

作者示例中的收盘价与成交量预测对照,蓝线为真实数据,红线为预测

04

多个标的怎样批量预测

predict_batch 可以同时处理多条序列,并为每条序列独立标准化和反标准化。需要准备对应的历史数据、历史时间戳和未来时间戳列表。

pred_df_list = predictor.predict_batch(

  df_list=[df1, df2, df3],

  x_timestamp_list=[x_ts1, x_ts2, x_ts3],

  y_timestamp_list=[y_ts1, y_ts2, y_ts3],

  pred_len=120,

  T=1.0,

  top_p=0.9,

  sample_count=1,

  verbose=True,

)

这些变量代表预先准备好的各条输入。所有序列的历史长度必须相同,预测长度也要一致;每份 DataFrame 都要有四个价格列。成交数据的缺省处理与单序列接口相同。

返回列表与输入顺序一致。项目利用批量张量计算,使用 GPU 时可以并行处理。批量大小与采样数都会增加计算需求,先用少量标的确认数据和内存条件,再扩大规模。

05

用自己的 A 股数据微调

项目提供 Qlib 日频数据的完整示例,分为配置、数据准备、模型微调和回测四步。作者明确说明,这是展示微调过程的简化流程,尚未构成可直接投入生产的量化交易系统。

从数据配置、切分到两阶段微调和回测的使用顺序

配置路径与实验参数

在基础依赖之外安装 Qlib,并按 Qlib 官方说明准备本地行情数据。

pip install pyqlib

相关参数集中在 finetune/config.py。运行前至少要检查以下路径。

· qlib_data_path 指向本地 Qlib 数据。

· dataset_path 保存处理后的训练、验证与测试文件。

· save_path 保存模型检查点。

· backtest_result_path 保存回测结果。

· pretrained_tokenizer_path 和 pretrained_predictor_path 指向起始模型,可以填写本地路径或 Hugging Face 标识。

还可以调整股票池 instrument、训练时间范围、轮数与批量大小。不使用 Comet.ml 时,把 use_comet 设为 False。

准备数据并训练

运行数据预处理脚本,从 Qlib 加载、处理并切分数据。

python finetune/qlib_data_preprocess.py

输出为 train_data.pkl、val_data.pkl 和 test_data.pkl,保存在配置的 dataset_path。不同数据源需要适配加载与预处理逻辑。

训练分两阶段,先让分词器适应目标数据分布,再训练预测器。两个脚本都按分布式方式启动,把 NUM_GPUS 替换成实际使用的 GPU 数量。

torchrun --standalone --nproc_per_node=NUM_GPUS finetune/train_tokenizer.py

torchrun --standalone --nproc_per_node=NUM_GPUS finetune/train_predictor.py

分词器的最佳检查点保存到配置派生的目录,预测器训练会读取这份微调后的分词器,再从预训练预测模型继续训练。运行第二条命令前,要确认第一阶段已产出检查点,路径也与配置一致。

推理与回测

训练结束后,选择推理设备运行测试脚本。

python finetune/qlib_test.py --device cuda:0

脚本读取微调模型,在测试集生成预测信号,再运行简单的 top-K 选股回测。控制台输出表现分析,并绘制策略相对基准的累计曲线。

作者提供的回测结果示例,包含累计收益与累计超额收益曲线

06

从演示到真实研究,还需要补什么

作者把模型的输出称为原始预测信号。实际量化研究通常还要把信号交给组合优化,控制市场 beta、规模、价值等共同风险因子暴露,检验剩余收益是否稳定。

top-K 可以作为起点,仓位构建、动态仓位与风险管理仍要单独设计。高保真回测还应按实际市场刻画交易成本、滑点和市场冲击。当前示例代码已经配置开仓、平仓与最低费用,不能因此认为真实交易条件都已覆盖。

项目还提醒,finetune/ 中不少解释性注释由 Gemini 2.5 Pro 辅助生成,可能存在不准确之处,应以代码逻辑为准。比如核对成交额的补齐方式,就需要直接看预测器和预处理实现。

补充一个使用入口。仓库的 finetune_csv/ 提供自定义 CSV 微调流程,包含时间戳、OHLC、成交量和成交额字段,以及先分词器、后预测器的训练脚本;已有 CSV 数据的人可以继续看该目录说明。它与上面的 Qlib 日频示例需要分别配置。

首次使用可以先保存一次固定历史窗口的预测结果,再与相同未来区间的真实值比较。记录数据来源、复权方式和采样参数,换窗口后再看表现。预测图提供的是一个可检查的起点,是否能形成交易策略,还要由后续实验回答。

07

论文引用与许可

项目采用 MIT 许可证。研究中使用 Kronos 时,作者希望引用论文,条目如下。

@misc{shi2025kronos,

 title={Kronos: A Foundation Model for the Language of Financial Markets},

 author={Yu Shi and Zongliang Fu and Shuo Chen and Bohan Zhao and Wei Xu and Changshui Zhang and Jian Li},

 year={2025},

 eprint={2508.02739},

 archivePrefix={arXiv},

 primaryClass={q-fin.ST},

 url={https://arxiv.org/abs/2508.02739}

}

来源与声明

Kronos 项目(https://github.com/shiyu-coder/Kronos) · 论文(https://arxiv.org/abs/2508.02739) · 模型与分词器实现(https://github.com/shiyu-coder/Kronos/blob/master/model/kronos.py) · 微调配置(https://github.com/shiyu-coder/Kronos/blob/master/finetune/config.py)。正文以项目原文翻译整理为主,补充了数据文件、时间戳、缺省值与采样结果的说明。

本文由山行整理自 Kronos(https://github.com/shiyu-coder/Kronos),如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

AI 情感分析能不能判断关系变冷?

原创 山行AI 2026-11-01 19:18 浙江

“

分数可以提醒你回看一段对话,不能替对方说出真实想法。

一条消息,只有两个字:“好吧”。你向上翻了几屏,想找出对方从什么时候开始变得冷淡。假如此时出现一个“好感六十八分”,你会更安心,还是更想追问那丢掉的三十二分?

Crush 好感监控器就是围绕这种场景做的。它把双人聊天记录变成情绪标签、好感信号评分、趋势曲线和关键时刻。先回答标题的问题:它能提示文字中的沟通变化,不能据此确认关系变冷,更测不出一个人心里的喜欢程度。

这个项目出现在阮一峰科技爱好者周刊的自荐 issue 中。作者说,做它的起因是暧昧时会对着一句“好吧”想半天。产品把这种反复琢磨拆成一组固定问题,再将模型回答换算成界面上的分数。

我更关心的是,这个分数到底怎么来的,掉分之后又能检查什么。评分规则可以核对,判断理由可以阅读,图上的变化可以追溯到原话;模型对语境的解读仍然可能出错。弄清这条链路,比盯着分数刷新有用。

本文看点

01

分数如何换算

02

趋势怎样回查

03

隐私与推断边界

01

功能入口

一个网页,承接四种阅读方式

项目的中文名是“Crush 好感监控器”,仓库名为 crush-monitor-universal。它经原作者 FerryCorleone 同意改编,沿用 MIT 许可证,当前项目版本为 v2.9.0。

它支持导入微信、QQ、WhatsApp,以及整理成“昵称:内容”格式的 iMessage 等双人文字对话。用户需要明确选择哪个昵称代表自己,程序不会猜发送者,也不后台监听聊天。

导入之后,可以从四个入口阅读记录:逐句看对方的情绪与意图,查看整体好感信号,观察分段走势,或者集中查看邀约、关心、拒绝等关键时刻。自己的回复也能获得零到一百分及 SSS 到 D 的档位,另可主动请求两条改写。

项目内置示例:聊天气泡、好感信号及逐句分析。示例已预先完成模型分析,并非真实用户关系评测。

逐句分析有十二类情绪、三十六类意图,分别展示概率最高的三项。候选并列比只贴一个“冷淡”标签多了一点解释空间,但这些概率仍需要谨慎理解。

微信里的引用关系、消息时间、回复间隔和连发节奏会作为上下文。图片、表情和语音占位可以提示“这里发生了互动”,工具却看不到其具体内容,不能替你猜照片里是什么、语音里说了什么。

它还有中英双语、关键词搜索、负面情绪与低分回复筛选、单句纠正重判、HTML 报告、聊天列表和 JSON 备份。网页的价值在于把解释和原话放在一起,减少来回翻找。

02

问题与规则

固定问题怎样变成一个分数

这里没有一个能直接读懂“喜欢程度”的传感器。程序先把聊天、关系背景和固定问题交给模型,再将结构化回答交给规则层。

问题分为三类:选择题、分档评分题、是非概率题。OpenAI 兼容模式要求模型先写简短理由,再输出选项概率;这段理由会出现在界面里。项目也保留 Jev 结构化模型接口,其原生结果主要提供概率,不附同样的文字理由。项目说明将 Jev 描述为经过专门校准的模型,通用聊天模型自行给出的概率则未经过同等校准;这不构成对本工具真实关系判断准确率的证明。

以评分题为例,档位从零到四,分别有明确的文字标准。适配层过滤不合法选项,并把有效概率归一化,再计算期望档位:每一档的编号乘以该档概率,最后求和。规则层将期望档位乘二十五,四舍五入后得到零到一百分。

假设模型给出“二档概率为 0.3,三档概率为 0.7”,这是解释算法的假设数据,期望档位为 2.7,换算后是六十八分。程序没有直接把概率最高的三档换成七十五分。

这里有个容易误读的细节:在 OpenAI 兼容模式中,confidence(置信度)取最高选项概率。它表示这次回答有多集中,不能直接当成判断准确率。模型很确定地误解一个玩笑,界面仍可能出现高置信度。

证据检查与评分一起决定状态。证据不足,或评分、证据的置信度低于 0.35,会被标成“证据不足”;评分置信度低于 0.65,或证据仅有限,会被标成“含糊”。规则有明确阈值,不代表阈值经过心理学验证。

分析流程:导入上下文、回答固定问题、规则换算,再从可视化结果回查原话。

聊天内容在提示词中被限定为数据,不能反过来命令模型。用户写的关系背景可以帮助理解语气,但不能替代聊天证据。模型还被提醒:技术、课程和学术讨论本身是中性的,不能因为没有甜言蜜语就判为冷淡。

03

评分维度

六个维度,哪些行为在加分

好感信号由六个维度加权计算。它们衡量可见交流,权重总和是一百:

1

主动延续,占十五。看是否主动开启、追问和延续交流,不靠消息数量推断。

2

回应投入,占二十。看是否回应具体内容、接住话题和跟进细节;短句、慢回、忙碌本身不扣分。

3

关心体贴,占二十。区分普通客套和针对个人处境的具体关心。

4

自我开放,占十五。看日常、感受与想法的分享;正常隐私边界不等于疏远。

5

亲密表达,占二十。看双方接纳的特别亲近或恋爱表达;通用表情、朋友间热闹和普通夸奖不自动加分。

6


实际行动,占十。看邀约、替代安排和兑现情况;没有邀约机会不等于拒绝。

每个维度的分数乘以对应权重,再除以总权重,得到综合分。如果六项都落在普通自然交流的中间档,综合分就是五十。这个五十不表示“有一半概率喜欢你”。

同样,活跃的朋友可能在关心与投入维度得分很高,却没有恋爱意愿;已经在恋爱中的人,也不会只因关系设置是“情侣”就自动获得高分。

明确拒绝的边界不能被其他高分抵消。 当模型对“当前仍有效的明确拒绝”给出的肯定概率达到 0.8,程序将综合分上限限制到二十五,并把行动建议改为尊重边界。若判定有事情待回应的概率达到 0.75,则优先建议等待。

这仍依赖模型正确识别原话。阈值限制了后续规则,却不能保证前面的识别永远正确。

“没空”之后,接着说了什么

下面是为说明规则编写的例子,不是测试数据:你问“周六一起吃饭吗”,对方先回“这周很忙”,接着说“周日晚上可以”。只盯第一句,会觉得邀约落空;把两句放在一起,主动给出替代安排恰好属于实际行动里的积极信号。

换成“我只想做朋友,请不要再约我”,应该读到的是明确边界。之前的秒回、关心或玩笑不能拿来抵消它。是否属于仍有效的拒绝还需结合上下文,但不能为了得到高分而绕开已经说清楚的话。

这两个例子也解释了为何工具不能只数“哈哈”、感叹号和回复秒数。与其问对方有没有热情,先看邀约是否被回应、安排是否被确认、边界有没有被清楚表达。

04

趋势解读

趋势图上的下降意味着什么

有足够日期信息时,系统按日历周分段;消息过少的周会合并到上一段。日期不足,或者无法形成多个周段时,会退回等量聊天片段,所以横轴有时是“第几段”,并非真实周数。

每段分析会读取这一段聊天及此前最多一百条附近上下文,同时受请求预算限制。它不是把每一周抽出来孤立测量,也不会无限读取整段历史。

图表将相邻有效分段差值的绝对值达到十分标为转折。缺失结果会断开,不用插值补出一条完整曲线。点击相关证据,可以跳回对应原话。

因此,“从七十二降到五十九”首先说明模型与规则给这两段文字打出了不同分数。它不直接证明关系下降十三个百分点,也不是统计显著性检验。

导入内容少了一段、时间解析变化、聊天主题不同,甚至更换模型,都可能改变结果。项目切换模型后保留旧的逐句分析,新消息与整体分析则用新模型;比较趋势时尤其要留意条件是否一致。

看见下降,比较稳妥的做法是回到原话,检查哪些维度变化、是否有现实原因、证据有没有缺失。图表提出一个复查方向,结论还需要你自己确认。

05

事件证据

关键时刻为何要保留消息出处

时间线从逐句结果中筛选事件,包括邀约、确认、取消或改期、关心、自我披露、承诺、边界,以及明确重新开放关系等。

事件
置信度达到 0.65 才会进入保留集合。普通问句、偏好和纠正默认不在关键时刻视图中突出显示,避免把所有聊天都堆成“重要节点”。

更有意思的是它处理历史的方式:遇到相关话题时,系统检索此前事件,并重新取回对应原话,不拿过去的模型分数当作证据。未解决的边界与承诺会被优先考虑;要把事件标成已解决,需要后续原话支持。

一段早期关心不能冲掉近期明确拒绝。将“只做朋友”理解成失效,也需要后来有清楚的重新开放信号,不能靠旁观者期待补全。

这套事件记录比一句笼统的“最近有点冷”更便于核对。它保留了判断出处,但出处证明的是对方写过这句话,不是对方所有隐藏想法。

06

表达练习

回复改写,评的是当时的表达

自己的回复评分与对方的好感信号是两件事。回复档位可以帮助回顾表达是否接住话题,却不能预测“换句话就一定能追到”。

生成改写时,程序只读取截至那条回复当时的上下文,避免用后来发生的事情倒推“当时应该怎么说”。建议还被要求保留原话语言,不施压,不刻意油腻。

用户可在某句话下补充“这是我们平时的梗”等实际情况,再要求重新判断这一句。这样的纠正有价值,也要注意自己的期待可能影响补充说明;不能只挑符合预期的解释。

我更愿意把这部分当作表达练习:少一次误会,或者把邀约说清楚。让 AI 帮忙润色,不等于让 AI 接管一段关系。

07

数据路径

本地保存,并不等于离线分析

前端由 React、TypeScript 和 Vite 构建,本地版通过 Express 转发模型请求。共享模块负责固定问题、分析计划、上下文、事件记忆与评分规则;Zod 做结构化数据校验。

在线版把聊天和分析保存在浏览器的 IndexedDB 等本地存储中,设置与 Key 也留在浏览器。分析请求由页面直接发给配置的模型服务。本地版则经本机 Express 服务调用模型,两种入口复用分析逻辑。

功能架构:网页界面与共享分析层复用,在线与本机两条请求路径都可能连接外部模型服务。

项目会在发出前替换手机号、邮箱、身份证号、银行卡号,以及用户指定的词。但打码不等于语义匿名,工作地点、生活事件和对话内容仍可能暴露身份。

用自己的 Key,也不表示模型服务不接收聊天。需要分析的打码文本仍会离开设备,接收方的数据保留政策、接口地址与访问权限都值得先确认。浏览器 localStorage 也不是操作系统密钥环,不宜和来源不明的脚本、扩展共享使用环境。

JSON 备份包含原文和分析,本地结果缓存也可能包含聊天。不要把这些文件、缓存目录或密钥提交到公开仓库。公开 HTML 报告之前,应检查原话与身份线索。

作者明确限定娱乐用途,且只建议分析自己参与的聊天。不要拿它给第三方做隐蔽关系调查,更不要把结果作为情感控制、心理诊断或骚扰他人的理由。

08

上手与费用

怎样试用,才能少花钱也少误会

有两条可行路径。只想了解界面,推荐先打开在线示例,看已经分析好的演示聊天,无需填写自己的记录。要处理自己的内容,可以用在线版配置模型 Key,或本机部署后通过本地服务使用;后者便于控制文件与运行环境,却不自动消除外部模型传输。

本机运行需要 Node.js 22.12 或更新版本。项目有 Windows、macOS、Linux 启动方式,也提供终端安装与构建步骤:

sh

npm ci

npm run setup

npm run build

npm start

启动后打开 http://127.0.0.1:3178/,在设置中填模型接口、Key 与模型名。默认支持 DeepSeek,也能配置其他 OpenAI 兼容服务;Jev 可经 OpenRouter、Vercel 或 TypeSafe 调用,其中在线页面不能直接使用 TypeSafe 接口。

导入时先确认发送者、日期和聊天完整性,再看预计条数与费用。程序不会在导入后自动分析,需要用户点击开始。快速档看整体与走势,标准档增加对方的逐句情绪意图,完整档再分析自己的回复;也可限定最近七天或三十天。

分析请求分小批发送,支持并发、每分钟请求限制、结果缓存和增量分析。可以设单次花费上限,触及上限时暂停。格式异常时可能重试或拆分重问,这些额外调用也可能收费,实际支出以模型服务账单为准,不能保证任意长度都只花几毛钱。

长聊天受请求条数与字数限制,整体分析可能只覆盖近期部分,界面会提示。不要把“已分析”理解成完整阅读了所有历史。首次试用最好选择一小段获得授权、已去敏的内容,检查其判断理由与原话是否对得上。

∞

判断边界

它能帮你看清什么,不能决定什么

这个小项目的工程划分很清楚:模型解释语境,规则控制换算,网页负责把结果与证据放在一起。固定问题便于复用,六维评分、趋势图和事件记录各有职责,也避免每次都让模型自由生成一套口径。

在 issue 的讨论中,有人建议做成 Skill。作者回应,固定问题加规则换算确实能迁移,但走势图、关键时刻和回复改写需要界面交互,所以目前选择网页。这是合理的取舍:对话适合问答,反复对照原话更适合可点击的界面。

如果继续完善,我会优先考虑模型与规则版本标注、导入缺失提示、重跑结果差异、以及概率校准,而非把分数包装得更像仪表盘。要声称“更准”,还需要双方同意的数据、清楚定义的标注任务和可复现评测,不能拿曲线好看作证。

有一条下降线,至少能促使你检查最近是否总在忽略对方表达。如果它让你回到原话、澄清一次误会,已经有了用处;如果它让你每说一句就检查“涨了几分”,最好先把网页关掉。

“对方已经不喜欢我”仍不是工具可以替你确认的结论。面对明确的拒绝,尊重原话;面对不确定,留出沟通空间。

END

我是山行 AI,持续分享 AI 工具与开源项目观察。

声明

本文由山行整理自:GitHub Weekly issue #12001(https://github.com/ruanyf/weekly/issues/12001)、Crush 好感监控器(https://github.com/Reverie0123/crush-monitor-universal)及在线示例(https://reverie0123.github.io/crush-monitor-universal/),如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

LearnPrompt Skill 和配套技能工具

原创 山行AI 2026-10-30 08:36 浙江

先看12个主要项目的功能总览,再逐项了解用法、依赖与使用条件,最后按当前任务选择和组合。

项目手册

把学过的用起来

先知道各个工具能做什么,再选一个完成眼下的任务。

LearnPrompt 已经积累了一批可以拿来做事的 Skill 和配套项目。准备汇报时,可以用 Humanize PPT 整理每页的讲述意图;收藏了许多网页,也可以让阿福把它们编进知识库,再排成待办。它们解决的问题不同,使用条件也各有差别。

我把账号主页、教程目录和 15 个代表项目的文档对了一遍,选出下面 12 个主要入口。先看一句话用途,再按需要读具体用法。

01

先看这 12 个项目各自做什么

01 AI News Radar 抓取、去重和聚合 AI 资讯,保留独立来源,提供网页日报与 Agent 读报入口。

02 Skillrush Town 保存 ClawHub Top100 的逐日快照,用来查看进出榜、下载与排名变化。

03 Humanize PPT 把资料整理成讲述顺序和逐页计划,再交给配套工具渲染成演示稿。

04 Awesome Seedance 提供视频案例、提示词模板和复测记录,也有可安装的生产流程 Skill。

05 GoodCase Lite 提供案例网站的 Next.js 前台与样例数据,适合研究或搭建自己的展示页。

06 鲁班 Luban 检查已有 Skill 的需求、同类项目和实际产物,给出修改方向与证据报告。

07 阿福 Afu 整理 Obsidian 收件箱,把素材编成 Wiki,随后生成待办卡并安排日历。

08 QBS 从具体问题出发找书、读相关章节,再把方法写成 Skill,并用新任务试跑。

09 CC Harness Skills 提供六个工作包,处理 Agent 记忆、长会话交接、完成验证和有边界的协作。

10 Partner 搭子 安排 Claude Code 与 Codex 之间的规划、实现和复核,保留交接记录。

11 Skill Sync 盘点多个 Agent 目录中的 Skill,识别本地修改,再决定怎样去重和统一来源。

12 Carl Skills 汇总 Skill 的用途与安装来源,独立维护的项目会指回各自的主要仓库。

这份清单包含 Skill,也包含配套网站和脚本项目。GoodCase Lite 需要启动前台;Skillrush Town 可以先通过网页或订阅阅读。有些项目需要 Obsidian 或下游生成工具配合,具体条件在下面分别说明。

LearnPrompt 是卡尔的个人 GitHub 账号,作者使用“卡尔的AI沃茨”这个名称。2026 年 10 月 20 日的快照中,账号有 43 个公开仓库,3 个被 GitHub 标记为 fork。本文按公开文档整理,作者的演示与测试会注明归属。

从当前任务查找 LearnPrompt 代表项目

02

按清单逐个看功能与用法

01 AI News Radar,先读日报,再决定要不要自己维护

AI News Radar(https://github.com/LearnPrompt/ai-news-radar)把抓取、去重、AI 相关性筛选和同事件聚合接在一起。同一事件被多家报道时,可以展开独立来源,继续查看报道之间有什么差异。

最省事的用法是直接打开网页(https://news.learnprompt.pro/)。手机版和经典版读取同一份 data/ 数据,可以切栏目和精选范围,换界面不会换成另一套新闻。

AI News Radar 的手机版公开截图

AI News Radar 的经典版公开截图

想让自己的 Agent 读日报,可以安装其中的 ai-radar。

npx skills add LearnPrompt/ai-news-radar -s ai-radar -g

需要自己挑选信息源时,再看伯乐 Skill。它检查新来源是否值得跟踪、与已有来源是否重复,也可以安排一周观察后再作决定。它适合已经在维护日报、需要调整来源的人。

自己运行时,要把费用分开看。基础流程依赖公开信息源、脚本、GitHub Actions 和静态数据,可以不配模型 Key;推荐理由、标题增强和模型点评则有相应依赖,例如 DEEPSEEK_API_KEY。不配时会采用规则或保留原标题。阅读别人已经发布的日报,与运行全部增强功能,承担的费用不同。

02 Skillrush Town,观察榜单怎样变化

Skillrush Town(https://github.com/LearnPrompt/skillrush-town)记录 ClawHub Top100。它固定排序与翻页方式,每天保留快照,之后计算新进榜、掉榜、下载与排名变化。

Skillrush Town 的公告板公开截图

普通读者可以先在网页按日期回看,或通过 Atom feed 订阅。如果想研究哪些 Skill 值得继续跟踪,可以从榜单变化找到候选,再检查对应项目的实际功能。

这里有个很具体的处理。第一天没有历史数据,项目就不把结果写成严格日环比。自己复用这套方法时,也要固定抓取对象和比较主键,说明缺失数据怎样处理。榜单变化能提供研究线索,工具质量还得另外判断。

03 Humanize PPT,把每页要讲什么写清楚

Humanize PPT(https://github.com/LearnPrompt/humanize-ppt)接收原始资料,整理讲述顺序,为每页写意图,再交给下游工具制作。它适合已经有材料、需要准备汇报或演讲的人。

项目使用 AST 这个缩写,指 Audience-State-Transfer,即观众状态转移。它关注听众翻过一页后多理解了什么,并把讲述意图、媒体需求和页面计划保存下来,方便对着成品检查。

npx skills add LearnPrompt/humanize-ppt -g

装好以后,把资料与要面对的听众交给它,再选择渲染路径。中文 HTML 可以接 guizang-ppt-skill,英文可以接 frontend-slides 等工具;要在 PowerPoint 里逐元素修改,就看 ppt-master 路线。图片与视频仍依赖相应生成工具。

Humanize PPT 与 PPT Master 配合制作的中文原生 PPTX 预览

Humanize 决定页面要完成什么、需要哪些素材,下游负责实际渲染。只有一个大纲文件,尚未得到能上台播放的演示稿。

作者公开过一个检查案例。静态扫描已经通过,逐页截图仍发现页码徽章遮住了 9 页正文。随后给下游修改指令,再看修复后的页面。

作者案例中,页码徽章遮住正文的页面

同一页面修复后的公开截图

这个案例能说明为什么要检查真实画面,但不能保证每次生成都会自动发现所有问题。自己做演讲时,还得读讲稿、检查时长,并确认媒体文件确实进入交付目录。

04 Awesome Seedance,带着模板看视频案例

Awesome Seedance(https://github.com/LearnPrompt/awesome-seedance)收集视频案例、分类模板和跨模型复测。固定提交里的 data/stats.json 记录了 886 条案例、495 次复测、27 个模板,以及 80 个视频 Skill 和创作者方法。复测覆盖 483 个案例,各案例的实验次数并不相同。

Awesome Seedance 项目介绍图

初次使用可以从模板开始。挑片型,替换人物、产品和场景,把模板连同参考图交给聊天模型整理提示词,再到视频生成工具里生成,最后按模板里的常见失败检查画面。

逐秒镜头模板要求时间段连续,每段明确镜头和主要动作。参考图模板会区分哪些外观要继承、哪些内容不要带进来。生成以后,可以逐项核对动作与镜头是否符合计划,比单凭“电影感”判断更容易查出偏差。

已经在编码 Agent 中工作,可以安装提示词库,或单独选择生产流程 Skill。

npx seedance-prompt-library install

npx skills add LearnPrompt/awesome-seedance --skill seedance-production-workflow

案例来自 GoodCase.ai(https://goodcase.ai/),页面保留作品、原始来源与复测证据。复测有成功,也有降级;不同批次使用的模型档位和平台还可能不同。阅读时要看具体记录,库里的稳定度评分无法保证下一次生成结果。

05 GoodCase Lite,研究案例网站怎样搭起来

GoodCase Lite(https://github.com/LearnPrompt/goodcase-lite)是 Next.js 前台,内置样例数据,也能接自己的 Supabase。想搭一个案例展示页,可以先启动样例,看看页面与数据怎样配合。

git clone https://github.com/LearnPrompt/goodcase-lite.git

cd goodcase-lite

npm ci

npm run dev

文档给出的本地地址是 http://localhost:3000。完整线上数据供给、审核后台和采集系统不在这个代码包里。运行样例前台以后,若要持续更新自己的案例,还需要另行安排数据维护。

06 鲁班,检查一个已经写好的 Skill

鲁班(https://github.com/LearnPrompt/luban-skill)服务于已有作品。它先检查需求是否成立,查同类项目,查看说明、安装和实际产物,然后提出修改方向。输出包括对照表、改写片段和带证据的报告。

npx skills add LearnPrompt/luban-skill -g

装好以后,把已有 Skill 的目录或链接交给它。项目文档规定,用户选方向前不直接修改;发布、合并和部署也有各自的确认步骤。它适合拿来审视一个已经在运行、却不知道该先改哪儿的 Skill。

鲁班公开的 AI News Radar 案例很具体。作者记录了 Actions 仍为绿色、数据却静默停更 8 天的问题,原因涉及提交文件的白名单遗漏。后续评分修改使用 83,725 条历史数据回放,检查假 AI 条目和来源集中度。

这些数字属于作者的案例记录,不能推广成所有 Skill 的固定收益。其中的检查方法倒是可以借用。任务有没有跑、数据是否更新、网页最终显示什么,要分别查看实际结果。

07 阿福,把收藏资料编进本周安排

阿福(https://github.com/LearnPrompt/afu-llm-todo)面向 Obsidian。它先整理 Inbox,把材料编入 Markdown Wiki,再生成待办卡,最后排进日历。资料经过整理以后,才决定哪件事进入本周。

阿福项目公开演示海报

首次试用可以在 sample vault 里运行演示,看三条样例素材怎样变成 Wiki 和待办卡。

git clone https://github.com/LearnPrompt/afu-llm-todo.git

cd afu-llm-todo

npm install

npm run demo:reset

npm run demo

桌面入口为 http://localhost:4317,手机快速排期入口是 /quick。演示跑清楚以后,再指定自己的收件箱、Wiki 和任务卡位置,并确认资料允许怎样处理。普通待办或非 Markdown 知识库不属于它声明的主要任务。

08 QBS,读过相关章节以后再制作 Skill

QBS(https://github.com/LearnPrompt/qbs)按 Question、Book、Skill 的顺序工作。先提出具体问题,再找书、取得相关正文并读章节,把方法写成工作流程,随后拿一个新任务试跑。

按 QBS 公开流程重排的问题、阅读、制作与试跑关系

它适合这种情况。眼下确有一个反复遇到的问题,却还没有足够的方法可以写进 Skill。项目列出的案例包括用 Shape Up 控制小功能范围,以及根据 The Debugging Book 组织调试实验。Make Time 条目仍标为 draft,应当按草稿看待。

npx skills@latest add LearnPrompt/qbs --skill qbs

使用时,要把具体问题和能合法取得的相关材料交给它。找到书名、看过序言,都不能算读完了相关章节。拿不到正文时应当留下缺口,制作后还要试跑,检查方法换到新任务上是否有效。

09 CC Harness Skills,按 Agent 缺少的能力单独安装

CC Harness Skills(https://github.com/LearnPrompt/cc-harness-skills)提供六个独立工作包,可以分别安装。

· memory-extractor 从近期对话提取用户、反馈、项目与参考信息,形成可长期保留的记忆。

· dream-memory 整理日志、近期会话和主题记忆,收束成较短的长期索引。

· structured-context-compressor 生成九部分交接摘要,供长会话继续或交接使用。

· verification-gate 在实现后作只读复核,区分已经验证与仅口头宣称完成的部分。

· swarm-coordinator 拆分研究、综合、实现和验证工作,并限制参与的 Agent。

· kairos-lite 为轻量主动任务约定调度、休眠、简报与到期规则。

如果眼下的问题只是 Agent 报告“做完”却缺少证据,可以先选验证工作包。

npx skills add LearnPrompt/cc-harness-skills -s verification-gate -g

遇到长会话接不上的问题,再考虑摘要与记忆。各个包的适用宿主并不完全相同,安装前应查看对应说明,例如 kairos-lite 列出的主要宿主是 Claude Code 和 OpenClaw。

10 Partner 搭子,让两个编码工具有据可查地交接

Partner 搭子(https://github.com/LearnPrompt/partner-skill)安排 Claude Code 与 Codex 之间的规划、实现和复核,使用同会话记录与执行回执检查交接。它有本地配置页,可以按机器实际能用的 CLI、模型和推理选项设置。

适合已经同时使用两种工具的人。先确认本机能够调用哪些 CLI,再按配置页设置,给当前任务约定分工和完成证据。只有一个工具可用时,要先核对这套协作方式是否适用。

作者公开过规划调用超时、恢复会话和返回成本的记录。一次失败没有最终成本,就标作 unknown。这样的记录能看出失败停在哪里,但不能据此证明双工具一定更省钱,也不意味着两个模型必须永久固定分工。

11 Skill Sync,先识别本地修改,再决定怎样去重

Skill Sync(https://github.com/LearnPrompt/skill-sync)扫描不同 Agent 的 Skill 目录,区分未改的版本、本地修改和仅本机存在的内容,再决定是否用软链接统一来源,并保留可恢复备份。

它适合已经在多个 Agent 里安装了重复 Skill 的人。先看扫描结果,确认哪些内容改过,再处理重复副本。如果各目录内容很少、用途也不同,暂时保留独立文件通常更容易管理。

这里最该留意的是自己改过的版本。文件名相同不等于内容相同,去重前保留可恢复的副本,才能避免把有用的修改一起覆盖。

12 Carl Skills,找到正确的安装来源

Carl Skills(https://github.com/LearnPrompt/carl-skills)用给人看的目录和给程序读的 registry.json 记录各个项目。已经独立维护的 Skill 会指回各自的主要仓库;只属于合集的能力,才直接放在它的 skills/ 下。

使用时,先在目录里按用途找条目,再跟随主要来源安装。只有指令的 Skill 可以比较轻,带脚本、参考资料或本地页面的则要安装完整目录。

以其中的 skill-slimming 为例,只拿一个 SKILL.md 会缺少实际运行所需的文件。

npx skills add LearnPrompt/carl-skills --skill skill-slimming -g

它适合作为安装导航。具体依赖与运行条件,仍以每个项目的说明为准。

教程与其他项目,可以按需要继续查

想先补基础,可以回到 LearnPrompt 教程站(https://www.learnprompt.pro/)。目录包括 Claude Code、Codex、Agent 工程、Agent Skills、Obsidian 与 AI 视频等栏目,网站用 Astro、Starlight 和 MDX 组织内容。

入门页给了一个很小的任务。让 Codex 在本地项目里改一处文档链接,改完测试通过,同时不允许 push。目标、修改范围与完成标准都写得很明确。Skill 入门页还用收据重命名说明输入、限制和确定性脚本怎样配合,双工具开发页则分别记录 Git 基线、可修改路径和测试。

这些示例只能证明给定环境中的行为。版本、命令和权限变化以后,还应回官方资料核对。较早的 LLMs-cookbook(https://github.com/LearnPrompt/LLMs-cookbook)保留了 GPT-3.5 API 和微调示例,适合当历史案例阅读。作者在主页也承认部分旧教程已经过时,现有章节与后续升级计划要分别看待。

下面是一些补充入口,遇到对应任务时再找即可。

项目

对应的任务

laoyeye

按提问、学习、决策等场景选择辅助思考提示语

andrej-karpathy-skills

整理研究、编程与反思相关工作方式

paoding-skill

根据提供的内容样本分析创作者方法

cailun-skill

把对话结论排成单文件 HTML

loop-engineering

为自动执行明确目标、检查与停止条件

carl-weread

围绕当前问题选择阅读片段并做行动卡

bugu

为长任务提醒状态,并跳回对应终端

x-article-publisher-skill

把飞书或本地 Markdown 写入 X Articles 草稿

carl-irasutoya-illustrations

为中文文章规划人物配图与生图提示词

laoyeye 汇集了不同来源的提示语和 Skill,文档逐项列出作者与许可,不能把合集内容都算作卡尔原创。账号里被标记为 fork 的三个项目也应继续核对上游。

作为关注度参考,下面保留本次快照中的部分 Star 数。统计日期为 2026 年 10 月 20 日,数量不代表适合所有人。

项目

Star

LearnPrompt

2,710

awesome-seedance

2,164

ai-news-radar

1,786

humanize-ppt

980

luban-skill

960

LLMs-cookbook

264

cc-harness-skills

238

skillrush-town

111

03

用一个小任务,决定哪些值得留下

这批项目可以按要交出的成果来选。眼下要交演示稿,就先看 Humanize PPT 和可用的渲染工具;已经积累了许多资料,可以从阿福的样例库开始。编码 Agent 遇到的问题若只是交接丢信息,就先试摘要工作包,暂时用不到的能力可以留在清单里。

需要组合时,也有可以对得上的关系。QBS 从阅读材料制作 Skill,鲁班可以继续检查已有 Skill;Carl Skills 帮忙确认安装来源,多个 Agent 目录出现重复副本以后,再考虑 Skill Sync。组合应当服务手头任务,每增加一个工具,都要确认它需要什么输入、能交出什么结果。

从找入口到完成一次实际任务,再决定是否保留为长期流程

复用还涉及许可。LearnPrompt 教程主项目采用 CC BY-NC-SA 4.0,AI News Radar、鲁班、QBS 等代码项目采用各自声明的许可证。Awesome Seedance 和 GoodCase Lite 又把代码、策展说明、原始 Prompt 与媒体分开处理。MIT 代码许可不会自动把案例视频和第三方图片一起变成可任意商用的素材。

网页、课程、示例脚本和 Skill 需要的条件不同。安装指令包以后,模型账号、外部工具与必要权限仍要自己准备。第一次使用时,把任务写小一点,说明可以读写哪些文件、做完要留下什么,再挑一个入口运行。

结束后保存输入、实际命令和输出,把失败或不适用的地方也记下来。下次遇到相似任务,先打开这份记录,再决定继续用哪个 Skill。这样读完这份清单,手里也会多一份自己能复用的做事方法。

我是山行AI,持续分享工具与技术资料。

来源与声明

LearnPrompt 主页(https://github.com/LearnPrompt)、教程如何使用(https://github.com/LearnPrompt/LearnPrompt/blob/main/starlight/src/content/docs/start-here/how-to-use-this-wiki.mdx)、Carl Skills 安装目录(https://github.com/LearnPrompt/carl-skills/blob/main/registry.json),以及文中各项目说明、示例与许可。本篇信息核对于 2026 年 10 月 20 日,文中效果案例属于作者的公开记录。

本文由山行整理自 LearnPrompt(https://github.com/LearnPrompt)及文中项目文档与公开案例,如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

VoiceStudio 本地语音工作台,克隆、配音与 Agent 接入指南

原创 山行AI 2026-10-29 12:44 浙江

从一段参考录音,到能交给下游的配音文件。

VoiceStudio 的多人配音教程

项目手册

把配音留在本地

从一段参考录音,到能交给下游的配音文件。

VoiceStudio 的多人配音教程选了一段 20 分钟、5 个角色的英语视频,演示怎样把它配成印地语。转写后先检查每句台词属于谁,再翻译、分配声音,最后处理译文太长的问题。一个完整的配音任务,就这样拆成了能逐项检查的操作。

我对照了项目说明、引擎文档和 v0.5.7 发布记录。VoiceStudio 已经把声音克隆、听写和有声书制作放进同一个应用,也提供本地 API 与 MCP,方便编码 Agent 调用。下面按实际用途介绍,配图来自项目公开演示,效果与速度没有写成本次亲测。

01

先看它能帮你完成哪些事

· 声音克隆 用参考录音建立声音档案,再让它朗读新文本。

· 声音设计 用性别、年龄、音高和风格等属性生成声音,不必先准备录音。

· 视频配音 从台词转写、翻译到角色配音,保留时间段并导出视频或字幕。

· 听写与转写 用快捷键录入文字,或把已有音视频整理成可编辑文本。

· 长文与有声书 为章节和角色分配声音,分段生成,复用已完成的片段。

· 批量与自动化 保存语音处理流程,或通过 API、MCP 接入外部程序。

VoiceStudio 的声音克隆、声音设计、视频配音与模型管理公开演示

项目在 2026 年 10 月 29 日的快照中有 93,058 Star,最新稳定版为 10 月 26 日发布的 v0.5.7。本文同时参考当日主分支文档,下载版的具体菜单与参数应按所装版本核对。

02

声音克隆先准备一段干净录音

Voice Cloning 页面把参考声音、文本、语言和生成结果放在一起。默认语音引擎基于 k2-fsa/OmniVoice,可以从短录音做零样本克隆,通常不需要先训练一套专用模型。

声音克隆工作区,左侧选择声音与参考录音,右侧编辑文本并生成

第一次可以先用应用提供的演示声音,输入两三句文本,确认下载、生成和播放都正常,再换成获得授权的参考录音。引擎文档建议选 3 至 10 秒的清晰讲话片段,尽量减少背景音乐和多人重叠。

参考录音的文字也有用。已有准确转写时,把它与录音一起提供;没有转写时,应用可以调用已经安装的识别模型处理并保存结果。录音过长有另外的选段与时长限制,上传一整段访谈通常会让第一次尝试更难排查。

跨语言克隆要分清两份文本。参考转写对应原录音说了什么,新脚本则用想要输出的语言书写。选择语言只会引导合成,不会把中文脚本自动翻译成英文。

生成后的音频可以检查长静音、削波、音量变化和无效采样。这个检查能找信号问题,声音像不像本人、语气自然不自然,仍要听。把 WAV 从 16 位改成 24 位或 32 位浮点,增加的是导出精度,也无法补回模型没有生成的细节。

没有参考录音时,可以打开 Voice Design。它把描述映射到一组支持的声音属性,生成样本,再保存为可复用的声音档案。

声音设计工作区,用描述和属性设置创建声音

自由描述受到属性词表约束,文档注明未能映射的词可能被忽略。想让一个声音稳定用于多条视频,先保存合适的样本与种子,再试听不同句子,比反复改一大段形容词更容易比较。

03

视频配音要把角色、译文和时长一起检查

Dubbing 页面可以导入视频或音频,也提供链接入口。桌面流程先提取音轨、分离人声与背景,再转写台词。启用说话人分析后,每一段会带上对应角色。

视频配音工作区,包含源视频、角色、语言与分段台词

多人场景要先检查角色。把一句台词分给了错误角色,后面生成得再清晰,仍然是另一个人的声音。应用允许逐行改角色,批量分配,也能在一行里有两个人讲话时拆段。

说话人分析有单独依赖。文档里的 pyannote 模型需要 Hugging Face token 和一次许可接受,模型下载后才能使用。普通单人克隆不要求所有人先配置这项功能。

翻译可以选本地 Argos、NLLB,也能配置在线翻译或兼容 OpenAI 接口的模型服务。只要选了在线服务,就要按该服务判断文本去向与费用;需要离线处理时,应提前安装本地翻译所需的模型。

已经人工翻好的字幕也能直接粘贴或导入。应用会按时间、编号或行顺序匹配现有片段,确认前提供预览。这样可以先把翻译做好,再处理声音,不必为了换译文重新识别视频。

Cast 面板负责给角色分配声音。Consistent 模式让同一角色沿用统一参考;Per line 更贴近每句原本的表达,但句与句之间可能出现声音漂移。也可以把声音库里的档案指定给角色,个别台词保留单独选择。

译文读完需要 6 秒,原台词只留了 4 秒,这类问题必须处理。可以缩短译文,或使用 Timing 中的 Smart Fit 等模式。生成后按行试听、检查时间,再看整段视频。修改文字或声音后,未变化的台词可以复用,减少整段重做。

根据公开配音流程整理,从素材导入到校对、合成与导出

导出可选择 MP4、配音音轨和 SRT、VTT 字幕,也支持把字幕烧进画面。开启背景音选项可以把分离出的音乐与环境声混回去,视频还可以保留原声并选择默认播放的语言轨道。

字幕动画有自己的精度范围。卡拉 OK 式逐词高亮在词时间戳仍匹配文本时使用这些时间;翻译后或旧任务缺少相应信息时,会在整行内均匀分配。若要精细到每个词,仍应检查输出字幕的实际落点。

04

听写、长文和批量任务怎样使用

日常写作可以先用听写。安装一个识别模型,在设置里选快捷键与按住或切换模式,把光标放到输入框,按键讲话。macOS 的自动粘贴需要辅助功能权限;Windows 也可能因窗口激活限制改为复制。Wayland 默认把完整结果留在剪贴板,避免写进无法确认的窗口。

文档推荐 Whisper Tiny 作为桌面听写的起点,自动识别九十多种语言。更低延迟的流式模型与停下后识别的模型各有取舍,要按语言和机器条件选择。网页模式通常只能复制结果,不能像桌面应用一样直接向其他程序输入。

转写也能独立处理已有音视频。外部程序可以上传文件,或通过 WebSocket 发送音频并接收中间文本和最终文本。开发者因此可以在自己的编辑器里采集麦克风音频,把模型加载和识别交给本地服务。

Stories 和 Audiobooks 面向更长的内容。按章节、角色组织脚本,分配声音后逐段生成。文档说明,已完成的行会缓存,恢复任务时复用成品,只重做被打断或修改的部分。先用一个短章节检查人名读音和角色一致性,再扩大到整本书,会省去不少返工。

Workflows 则把重复操作保存成画布。当前可执行的步骤包括文本或音频输入、Speak、Convert、Transcribe、Translate、Normalize、Condition 和 End。一个流程最多处理 50 项输入,执行是串行的,已完成步骤会留下检查点。

停下以后继续运行,可以从检查点恢复;更换声音、语言或连线会影响已有进度,单纯移动节点位置则不会。失败项会停下来等待明确重试。画布里的 Agent、Call 目前仍是本地草稿节点,包含它们的流程尚不能运行,不能把可放置节点都算成已经完成的自动化能力。

05

模型装在哪里,比目录里有多少个更影响使用

Model Manager 管理语音合成、识别及相关模型,安装、许可和选择状态集中展示。应用会在下载模型前询问,初次设置仍需要网络和足够磁盘空间。只有相应模型已经准备好,本地路径才能离线运行。

模型管理页面,按任务安装并选择本机可用引擎

OmniVoice 是默认起点,项目还列出 CosyVoice、VoxCPM2、IndexTTS、KittenTTS、MLX-Audio 与多种 GGUF、ONNX 引擎。它们的语言、声音设计、克隆能力和硬件支持并不相同。尤其固定声音 TTS 引擎,不能因为出现在同一应用里就视为支持声音克隆。

项目宣传的 646 种语言应结合引擎看。可选择一种语言,不等于合成、识别、翻译都达到同样水平。中文配音可以先拿一小段包含人名、数字与停顿的真实稿件,检查所选模型的读法,再决定是否换引擎。

运行环境

上手时先确认

Apple Silicon Mac

MPS 加速、可用统一内存,以及当前驻留的模型

Windows、Linux 与 NVIDIA

驱动、CUDA 路径及显存,默认 OmniVoice 的专用显卡建议约 6 GB 显存起

无独显或低显存电脑

可运行的 CPU 或 GGUF 引擎,先用短文本测等待时间

Windows AMD

部分原生引擎可用 Vulkan,ROCm 属按说明启用的路径,不代表所有模型通用

Intel Mac

本地 Python 后端受限,主要作为连接外部后端的应用界面

Android、iPhone 与 iPad

手机端是预览版,模型与桌面端分别安装

第一次生成需要加载和预热模型,比较速度应把后续生成与首次启动分开。参考档案缺少转写、机器内存紧张或引擎退回 CPU,也可能让生成突然变慢,先看应用的设备与模型状态。

手机端可以在模型下载后独立完成部分语音任务,并非必须由电脑代算。Android 最低为 10,iOS 最低为 17;iPhone 当前通过自行签名的 IPA 侧载,未作为 App Store 正式版提供。

手机文档列出的 OmniVoice 权重约 660 MB,建议 6 GB 内存;听写和固定声音合成还有更小的模型。这些数字属于手机模型路径,不能拿来代替桌面模型的下载量或显存要求。移动端的高级说话人分析、背景分离等操作,也要分别核对是否需要配对电脑执行。

06

桌面界面与 Agent 调用共用本地服务

当前维护的桌面端是 Electron,界面使用 React,运行管理器负责启动、连接和监督本地 FastAPI 后端,默认端口为 3900。后端再通过不同引擎处理合成、转写和配音任务。旧 Tauri 版本停在 v0.5.3,旧版用户应按迁移说明安装 Electron 并核对声音与项目。

按公开实现整理的入口、本地服务、引擎与文件关系,手机端采用独立运行路径

MCP 服务挂在运行中的后端上,打开应用后,不需要再单独启动一套语音模型。Codex 可以使用文档提供的配置。

[mcp_servers.voicestudio]

url = "http://127.0.0.1:3900/mcp/"

http_headers = { "X-OmniVoice-Client-Id" = "codex-cli" }

check_health 检查后端与计算设备,list_voices 查询声音档案。生成语音用 generate_speech,音频转文字用 transcribe,还可以通过 clone_voice、design_voice 创建档案。客户端标识能绑定默认声音,单次请求也可指定另一个声音档案。

如果 Agent 要把音频交给剪辑程序,文件输出更便于传递。默认资源模式把 WAV 的 base64 放回上下文,大段音频会占用很多空间。可以在后端环境中配置以下两项,第二项替换为双方都能访问的工作目录。

OMNIVOICE_MCP_OUTPUT_MODE=files

OMNIVOICE_MCP_BASE_PATH=/path/to/voice-work

文件输入与输出受这个目录限制。没有设置目录时,按路径读入音频会被拒绝;后端和 Agent 分处不同容器时,还要有实际共享的挂载。拿到一个后端路径,并不代表另一台机器能直接打开它。

除 MCP 外,本地服务还提供兼容 OpenAI 的转写接口,以及实时音频的 WebSocket 入口。应用的全局听写快捷键负责桌面采集和插入,外部程序则可以自己采集并调用服务。两种使用方式需要的权限和接口不同。

v0.5.7 发布说明还明确提到,远程计算设备、远程 worker 和 GPU 共享已经移出开源应用,放入 Pro。对这份代码的介绍应以本地应用与明确公开的接口为准,不能据此承诺它自带可调度的远程 GPU 集群。

07

第一次使用,先做一段能听完的小样

普通用户可以从发布页(https://github.com/debpalash/VoiceStudio/releases/latest)选择安装包。macOS Apple Silicon、Windows x64、Linux x64 都有相应下载;初次运行按设置向导安装需要的模型,先用演示声音生成短句,再验证自己的录音与字幕。

需要读代码或修改应用时,可以从源码启动。项目使用 Bun,下面的开发命令会准备 JavaScript 依赖,并在支持的本地后端环境里准备 Python 依赖。

git clone https://github.com/debpalash/VoiceStudio.git

cd VoiceStudio

bun run dev

给 Agent 使用的项目 Skill 有单独入口。它提供音频工作说明和维护说明,不会替你省掉应用、模型和后端就绪检查。

npx skills add debpalash/VoiceStudio

本地运行省去了每次都把录音交给云服务的必要,但模型仍有自己的条件。应用代码采用 AGPL-3.0,模型权重、声音与输出要分别核对;默认 OmniVoice 的公开记录含非商业限制。目录里未完成商业使用审查,也不能简单解释为所有模型一概禁止商用。准备接客户项目时,应查清实际选择的模型与活动范围,克隆声音也要获得本人许可。

如果要做视频,先把一小段台词的角色、译文和时间校对好;准备接 Agent,就先确认一段生成音频能够以文件交给下游。把这一次的模型、文本、参考录音和输出留好,下次调整声音时,才有一组能认真比较的结果。

我是山行AI,持续分享工具与技术资料。

来源与声明

主要依据 VoiceStudio 项目(https://github.com/debpalash/VoiceStudio)、v0.5.7 发布记录(https://github.com/debpalash/VoiceStudio/releases/tag/v0.5.7)、多人配音指南(https://github.com/debpalash/VoiceStudio/blob/main/docs/dubbing/multi-speaker-guide.md)、MCP 文档(https://github.com/debpalash/VoiceStudio/blob/main/docs/mcp.md)、模型许可说明(https://github.com/debpalash/VoiceStudio/blob/main/docs/licensing/model-inventory.md)与文中相关安装、手机和引擎说明。资料核对于 2026 年 10 月 29 日。

本文由山行整理自 VoiceStudio(https://github.com/debpalash/VoiceStudio),如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

跳转微信打开

  •  

覆盖9大应用场景!全国首部“终端AI应用”标准启动征集

智合标准化建设 2026-10-27 07:59 浙江

诚邀行业共建智能终端AI应用规范

来源 | 智合标准化建设

作者 | 智合标准中心

近日,中共中央、国务院印发《关于发展新质生产力的意见》,提出加快推进智能网联新能源汽车、人工智能手机和电脑、人形机器人等新一代智能终端场景应用,并强调确保人工智能安全、可靠、可控。随着智能终端在企业生产、服务应用场景不断拓展,如何保障任务执行的安全性与可靠性,成为产业落地需要解决的关键问题。

当前,终端AI应用仍面临四方面短板:

➢ 执行反馈不充分:任务执行状态与完成结果缺乏可追溯、可核验的客观依据;

➢ 权限边界不清晰:跨应用、跨终端协同中的能力范围、授权机制与操作约束尚不完善;

➢ 记忆管理不透明:长期记忆的读写、调用与修正缺乏有效的透明度和可控机制;

➢ 安全防护不健全:面对提示注入等攻击,任务执行过程中的风险识别与防护能力仍需加强。

图片

行业亟需一套标准化体系,推动终端AI应用向安全、可靠、可验证的方向发展。基于此,由中国电子商会归口管理、智合标准中心组织编制《智能终端 AI交互技术与应用要求》应运而生。标准作为全国首部终端AI应用团体标准,聚焦 AI 交互能力建设、交互行为管控、可信保障及测试验证等关键内容,为智能终端产品提供可建设、可实施、可评价、可验证的统一技术依据。

图片

标准核心内容:

5项核心能力,技术到落地全程可依

建立感知、认知、执行、记忆到持续学习的完整AI交互能力体系,同时覆盖应用设计、部署实施、场景适配、运维验证、测试验证等环节,帮助企业避免"能力碎片化",为企业提供完整产品能力框架、及产品落地的全流程参考。

行动风险分级管控,推动AI交互安全落地

按实际后果将系统行为划分为信息辅助(R0)、受限可逆行动(R1)、重要状态变更(R2)、受限制行动(R3)四级,配置逐级强化的最低控制;针对自主执行、主动服务、长期记忆、跨端协同等Agent化趋势,建立授权确认、独立执行控制、外部不可信内容隔离、暂停停止与人工接管等要求。不仅关注AI“能交互”,更强调“可控制、可管理、可信赖”。

不限定企业技术路线,统一建设参考

无论企业采用端侧部署、端云协同部署、云侧集中部署以及多端协同等技术要求,均充分适配当前主流 AI 智能终端架构,为企业混合部署、能力协同及产品演进提供统一实施依据。

9大典型场景,全品类终端统一标尺

重点覆盖会议办公、教育学习、翻译沟通、智能家居和物联网、智能座舱、工业智能终端、服务机器人、个人终端助手、拟人化陪伴九大高频场景,并逐场景给出典型用户任务、重点控制要求与对应验证用例,实现不同终端产品间能力建设与应用落地的协同参考。

为确保标准的科学性与实践指导性,我们现面向下列单位公开征集起草单位与起草人:

➢ 终端研发与制造企业:工业终端、智能办公设备、车载终端、智能穿戴设备、服务机器人等相关企业;

➢ AI技术与解决方案企业:AI大模型、端侧AI、智能体、AI交互及行业AI解决方案提供商;

➢ 智能终端基础技术企业:芯片、操作系统、传感器、通信模组及软硬件集成等相关企业;

➢ 行业应用与场景建设单位:工业制造、教育、医疗、金融、交通、能源、商贸、政务等领域的应用单位;

➢ 智能化服务与系统集成企业:提供终端AI应用集成、平台部署、运营维护及技术服务的相关企业;

➢ 检测认证机构、高校、科研院所及行业协会:具备相关技术研究、应用评价、标准化研究或行业实践经验的单位。

如您有意向成为《标准》的起草单位/起草人

请扫描二维码填写相关信息

END

跳转微信打开

  •  
❌