铃阅时讯
❌

阅读视图

前 OpenAI 研究员用权重验证:DeepSeek、Kimi 用了 Blackwell?

原创 NLPer 2026-11-17 19:23 江苏

有问题吗

前 OpenAI 研究员 Will DePue 发了一条长帖,一口气点名 DeepSeek、月之暗面、MiniMax 和蚂蚁,称它们的六个模型留下了 Blackwell 的初始化指纹。

Will DePue发布报告的主帖节选

Will 曾参与 Sora 和 Sora 2 的开发,也做过 GPT-4o、o3 等模型的后训练。这次,他通过 Unemployment Labs 发布了一份名为 Checkpoint Forensics 的报告,把线索指向了模型公开的权重。

他的办法是从权重中找出残留的随机初值,再寻找能够生成这些数值的种子和 GPU 布局。它直接识别的是初始化时的计算布局,据此推测后续训练硬件;权重本身不包含芯片地点或获取途径。

报告同时给出了跨版本的结果:DeepSeek V3 与 V4、Kimi K2.5 与 K3,匹配到的硬件布局已经不同。

哪些版本留下了新指纹

在 11 月 12 日发布的报告中,作者列出了六个 Blackwell 版本。Blackwell 比 Hopper 更新一代,不同型号的布局也有差别。

模型版本

报告匹配的芯片组

DeepSeek-V4-Flash

B200 / B300

DeepSeek-V4-Pro

GB200 / GB300

Kimi K3与K3.1-Pro

GB200 / GB300

MiniMax-M3

B200 / B300

Ling-3.1-flash

GB200 / GB300

B200/B300 在这里对应 148 SM,GB200/GB300 对应 152 SM。附录还把更新的 MiniMax-M3.1-Flash 标为与 M3 使用相同初始化,一并列入 148 SM 这一组。

再往前看,DeepSeek V3、V3.2,Kimi K2、K2.5,MiniMax M2到M2.7,以及Ling-3.0-flash,匹配的都是上一代 Hopper 的 132 SM 布局。H100 SXM、H800 和 H200 都属于这一组,这种指纹不能进一步把它们分开。

Kimi K3.1-Pro 与 K3 使用了相同种子,作者认为前者可能是 K3 继续后训练的版本。

报告检查的 Qwen3.8-2.4T-A95B、GLM-5.3、Hy4-preview、Step-5-Preview 和 MiMo-V2.5-Pro 也仍匹配 Hopper。

还有没读出结果的:DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 和 LongCat-2.0 都没有检出可用的 NVIDIA 硬件指纹。

随机数留下了痕迹

模型训练前,先要给权重填上一组初始值。这些数看起来随机,却可以重建:只要随机数生成器的种子和设置相同,它就会再次生成同样的数字。

训练会不断修改这些数,但有些位置改得很少。例如,某个 token 从未在训练中出现,它对应的 embedding 行就可能保留初值。作者找到了这样一些几乎保留原样的行,相当于留下了训练前的底稿。

找到这份底稿,就可以反过来问:用哪种设置,能重新生成它?

生成数字只是一半。GPU 还要把它们填到权重矩阵的对应位置。

可以把权重看成一长排空格,许多线程各带着自己的数字串,负责其中一部分格子。

报告用了一个缩小版的例子:6 个 SM,每个 SM 有 8 个线程,总共 48 个。第一个线程负责第 1、49、97 格;第二个线程负责第 2、50、98 格,后面的线程按同样规则接着排。

报告图1 同一线程生成的数值会落在有规律的位置

报告图1 同一线程生成的数值会落在有规律的位置

现在种子不变,只把总线程数从 48 换成 40。同一个线程生成的数字没变,但它接下来填的就成了第 41 格、第 81 格。

总线程数

第一次填

第二次填

第三次填

48

第1格

第49格

第97格

40

第1格

第41格

第81格

数字还是那些数字,位置已经错开了。 把两种排布按原位置逐格比较,大部分就对不上。

报告图2 同一种子换了线程数 数字位置随之变化

报告图2 同一种子换了线程数 数字位置随之变化

真实 GPU 的线程数大得多。在作者研究的这条 PyTorch 初始化路径中,每个 SM 对应 2048 个线程,所以 SM 数不同,填数字的排布也不同。前面的 132、148 和 152 SM,就是这样进入权重指纹的。

两个条件都要对上

要重建底稿,种子和排布缺一不可:种子决定生成什么数字,排布决定数字落在哪里。

报告图3把四种搭配摆到了一起。左上角,两者都对,示意矩阵可以重建;右上角,种子正确但排布错误,数字落错位置;下面两格换了种子,连数字序列也变了。

报告图3 种子与布局的四种组合示意

报告图3 种子与布局的四种组合示意

作者先搜索种子与布局的组合,找到最贴合的候选,再固定这组参数,去预测另一批没有参与搜索的权重。后面这批也能对上,说明匹配不只存在于最初挑出的样本里。

种子来自对 32 位种子空间的遍历,约 43 亿种可能。提供给读者的复现包已经带上找到的种子,可以直接检查布局匹配。

再换真显卡核对

拿 DeepSeek-V4-Flash 来看,作者给出的种子是 953049583。用它生成初值,再分别尝试不同 SM 数量的排布,与发布权重比较。

Will DePue演示用不同GPU布局重建初值

Will DePue演示用不同GPU布局重建初值

公开脚本会从 16 扫到 256,一共试 241 种 SM 数量。匹配到 148 时,V4-Flash 的相关性突然升高;V3 和 Kimi K3 的峰值则分别出现在 132 和 152。

报告图6 三个模型的相关性峰值出现在不同的SM数量

报告图6 三个模型的相关性峰值出现在不同的SM数量

相关性接近 1,表示两组数值在对应位置上的高低变化几乎同步;接近 0,则没有明显对应关系。报告图4中,匹配的组合形成绿色斜线,换成另一种布局,就变成一团散点。

报告图4 DeepSeek V3与V4-Flash分别匹配不同布局

报告图4 DeepSeek V3与V4-Flash分别匹配不同布局

作者又拿真实 GPU 运行原版 PyTorch,让硬件重新生成初值。列出的结果如下:

作者使用的GPU

匹配的权重片段

H100

DeepSeek V3的8条样本行

B300

V4-Flash的461条样本行

GB200

Kimi K3的13条样本行

交叉换卡后,H100 无法重建 V4-Flash 的对应片段,B300 也无法重建 V3 的对应片段。再把种子只加一,这些真机匹配也全部消失。

从布局到具体硬件,还有一个重要问题。

报告实际测试发现,经过特殊配置的 AMD MI300X 也能产生 148 或 152 的对应布局。因此,作者又用数值计算的细微差异区分厂商,并称这一检查排除了 DeepSeek-V4-Flash 的 AMD 解释;其余五个模型没有得到同等程度的排除。

再往后,初始化与后续训练之间仍有一步:权重可以在一种硬件上生成,再转移到另一种硬件上训练。指纹本身也不包含芯片地点、取得途径或是否违规的信息。

最后

作者把代码和选好的权重行一起放到了 GitHub,片段合计约 7 MB。普通电脑用 CPU 就能运行,不必先下载这些完整大模型。

在已有的 Python 环境中,可以这样安装依赖并运行。下面固定到本文引用的代码版本:

git clone https://github.com/macrogrants/checkpoint-forensics.git
cd checkpoint-forensics
git checkout b633870c
python -m pip install numpy scipy
python replay.py

默认会检查包内的五个模型。只想看 DeepSeek-V4-Flash 和 Kimi K3,可以运行:

python replay.py DeepSeek-V4-Flash Kimi-K3

输出里主要看这几列:

输出列

怎么看

SMs

哪种线程布局最贴合

rows

给定样本中有多少行达到匹配阈值

median r

样本行相关性的中位数

seed+1

种子加一后的对照结果

next best

次优布局及它的相关性

例如作者给出的 V4-Flash 结果是 461/469:选定的 469 行中,461 行达到相关性阈值,其余 8 行已被训练部分改变。

最后,大家觉得这种验证方法有问题吗?

参考链接

跳转微信打开

  •  

GTA6 还没发布,AI已经进化了好几个时代

AINLP 2026-11-17 14:43 江苏

Artificial Analysis 发布了一组有意思的数据:

自 2023 年 12 月《GTA 6》首支预告片发布以来,AI 大模型的进步有多惊人?

📈 AI Progress Index 最高分从 160 飙升至 358,涨幅超过 120%!

491 个参评模型中,481 个是在这段等待期内发布的;

AI 前沿能力纪录先后在 23 个不同的日子被刷新;

当年排名第一的 GPT-4 Turbo,如今只能排到第 379 位;

就连《GTA 6》原定 5 月 26 日发售之后,AI 又刷新了 7 次纪录。

一款游戏还没等到,AI 已经换了好几代,

而这一切,只发生在不到三年的时间里,

《GTA 6》定于 11 月 19 日发售。

AA最后的调侃更有意思:

“各位 AI 实验室,拜托那天别发布新模型了,我们团队可能要集体请病假。” 😂

跳转微信打开

  •  

Strata“黑魔法”:12GB 显卡如何跑起 Qwen3.8-Flash-Next

原创 NLPer 2026-11-16 21:54 江苏

本地部署

今年9月,开发者 Niko1221 开源了 Strata。它最初想做的是:用一张12—24GB的 NVIDIA 显卡,配64GB内存和桌面 CPU,跑起125B的 Qwen3.8-Flash-Next。

不到两个月,项目已经有了约4.47万 Star、4900多个 Fork。原本的专用推理引擎,也有了桌面应用、终端和本地模型服务。

Strata官方桌面应用截图 图中使用Gyro-S

Strata官方桌面应用截图 图中使用Gyro-S

从专用引擎起步

第一版 Strata 是为 Qwen3.8-Flash-Next 定制的推理引擎,面向 NVIDIA 显卡提供现成的 Windows 运行包,同时开放兼容 OpenAI 和 Anthropic 的本地接口。用户可以把已经在用的聊天软件、编码工具接进来。

10月初,Hacker News 出现了一条“消费级硬件以100 token/s运行125B Qwen”的帖子,目前累计有940分、420条评论。有人贴自己的机器和速度,也有人追问量化质量、长上下文和视觉表现。

到了10月的0.2.0-beta,Strata 把桌面应用、终端和引擎接成了一套。Windows、Linux、Mac 有了各自的安装包,下载模型、选择存储位置、聊天和工具连接也有了界面。

桌面应用可以处理文件、图片和代码,生成的网页还能在侧边直接预览。

10月下旬,0.2.4 加入了 DeepSeek-V4.1-Flash 的终端运行入口。最近的0.2.14,又把 NVIDIA、AMD 上的提示词处理切到了 Strata 自有内核。

用户 irawanw 把它叫作“黑魔法”。他原先用两张 RTX 3090、vLLM 张量并行跑 Qwen3.8 27B,后来换成一张 GPU 配64GB RAM,在 Strata 上跑 Qwen3.8-Flash-Next,成了自己的日常主力。

显存里只留常用的部分

Qwen3.8-Flash-Next 是125B的 MoE,每个 token 激活约6B参数。它的48层中,每层有512个路由专家,当前 token 选出10个,全模型合计24,576个专家。

其中36层使用 Gated DeltaNet,维护固定大小的递归状态;另外12层使用稀疏注意力。还有约51B参数的 n-gram 查找表,按最近几个 token 读取对应的行。

Strata 做了一个技术说明,用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200和 NVMe SSD,记录了这套分工。

以文中的 Q2_0 配置为例,Attention、DeltaNet、路由器、共享专家、输出头,以及缓存和递归状态优先留在显存。剩余显存用来缓存常用的路由专家。

约34GB路由专家放在系统内存,约29GB的 n-gram 表留在 SSD。查找表每次只读取需要的行,文中记录的每 token 读取量不超过约23KB。

技术说明图1 显存 内存与SSD的分工

技术说明图1 显存 内存与SSD的分工

生成时,GPU先算出当前层要调用哪些专家。缓存命中的,直接在GPU计算;没有命中的,一部分通过 PCIe 传给GPU,另一部分由CPU在内存里就地计算,最后合并结果。

技术说明图2 一层中的GPU CPU与PCIe并行

技术说明图2 一层中的GPU CPU与PCIe并行

GPU算已缓存的专家,CPU算另一部分,传输也同时进行。

专家缓存会随对话调整。说明中的12GB显卡约能缓存4500个专家;同组测试里,静态命中率约50%,在4K上下文下动态调整后约72%。

技术说明图3 静态专家缓存容量与命中率

技术说明图3 静态专家缓存容量与命中率

读入长代码时,Strata 则分块处理输入,把一层层权重流送到GPU,让传输与批量计算重叠。开始逐字生成后,再切回CPU与GPU分担的小批计算。

早期实现使用 Qwen 自带的 MTP 层:先起草后续几个 token,再交给主模型一起验证,通过的留下,遇到不一致的位置再修正。

项目示意图 起草模块预测 主模型按顺序验证

项目示意图 起草模块预测 主模型按顺序验证

技术说明中,最多起草3个 token,和前一个已接受的 token 组成最多4个 token 的验证窗口。4K测试里,每个窗口平均产出约3.2个 token,MTP加速收益约1.6—1.8倍。较新的版本还加入了 DFlash2 等起草路径。

生成速度如何

在前面那台 RTX 5070 测试机上,记录了以下生成速度。每种输入长度运行一次代码审查任务,生成256个 token,使用 greedy 解码与 MTP。

量化

约4K上下文

约128K上下文

Q2_0

94.6 token/s

65.1 token/s

IQ2_XS

78.0 token/s

52.0 token/s

IQ3_XXS

65.6 token/s

44.8 token/s

项目9月技术说明表3 不同量化和上下文下的生成速度

项目技术说明表3 不同量化和上下文下的生成速度

Q2_0 在约4K输入下,首次响应约6.7秒;接近262K输入时,要先等约524秒,随后仍能以56.3 token/s生成。

长历史占用更多显存,留给专家缓存的空间也会减少。

12GB是显存,64GB是系统内存。 以原版 Qwen 的 ISTA-DASLab 量化为例,路由专家的内存占用大致如下:

量化

路由专家约占

Q2_0

34GB

IQ2_XS

35.5GB

IQ3_XXS

43GB

IQ3_S

50GB

还要给操作系统、缓冲区、上下文和其他程序留空间。64GB机器选择 IQ3_S 时,余量已经比较紧。内存放不下专家,Strata 可以改从 SSD 读取更多权重,但速度会明显下降。

量化也会改变输出。项目在固定文本的4995个位置上,以 Q8_0 为参照,测得首选 token 一致率:Q2_0 为80.6%,IQ3_S 为87.7%,UD-Q4_K_XL 为93.1%。

项目目前推荐先看 ISTA-DASLab 的兼容量化,再看 Unsloth 等选择。Q2_0 更省内存、生成更快;更高位数的包需要更多资源,可以结合自己的代码任务判断是否值得。

Q2_0 文件合计约66GB,起草层和图片组件还会增加下载。NVMe SSD 要同时承担模型存放和部分运行中的读取。

最后

想试用的朋友可以从项目 Releases 下载对应系统的安装包,在模型页选择模型、存储位置和上下文;已有 GGUF,也可以直接导入。

安装好 Strata 后,用终端先查看运行计划:

strata launch --family qwen --model q2_0 --plan

这一步只显示模型、文件和硬件安排,不下载、不启动。确认后再运行:

strata launch --family qwen --model q2_0

首次下载完成后,可以在监控界面看提示词处理、逐字生成和内存占用。先用自己常做的任务跑一轮,再调整上下文和量化。

Strata官方终端监控界面 图中为Gyro-S会话

Strata官方终端监控界面 图中为Gyro-S会话

桌面应用也能直接处理文件和代码,默认 Manual 模式会在修改文件、执行非只读命令前请求确认。模型准备好后,本地聊天和推理可断网运行;联网搜索、外部模型和远程工具按各自功能访问网络。

接回已有编码工具,运行:

strata connect

它会列出 Claude Code、Codex CLI、OpenCode 等客户端的连接设置。

参考链接

跳转微信打开

  •  

前 OpenAI 研究员改口:神经网络本来就是干净的

原创 NLPer 2026-11-15 11:19 美国

可解释性

Goodfire 的 Nick Cammarata 写了一篇长文:Neural Networks Are Already Clean,神经网络本来就是干净的。

他的判断是,神经网络可能比大家以为的更容易理解。过去一些被当作“内部一团乱”的经典证据,重新检查后,问题出在工具、架构或我们给出的解释上。

而这些证据里,就有他自己参与提出的。

作者用一座城市和一个死结比喻两种理解网络的方式

作者用一座城市和一个死结比喻两种理解网络的方式

Nick 曾在 OpenAI 做可解释性研究,与 Chris Olah 等人合著了2020年的《Zoom In: An Introduction to Circuits》,也参与了2023年用 GPT-4 自动解释神经元的项目。现在,他在 Goodfire 继续研究神经元和电路。

他在介绍这篇文章时,把可解释性称为当下可能最重要的科学问题:如果不知道自己正在构建什么,就很难解决对齐。

这次“改口”,牵涉的是一条研究路线:我们究竟该先把神经网络拆成一套更干净的特征,再研究这套替身;还是直接研究它已经学出来的神经元、连接和信息流?

Nick 越来越倾向于后者。他拿出的材料,也从几张看起来有意思的图,延伸到了重训网络、压缩中间层,以及让 Agent 对解释做预测和干预测试。

他重新检查了自己的经典案例

最有名的例子,是一个同时对猫脸和汽车正面产生响应的神经元。

猫和汽车明明是两类东西,为什么挤在同一个神经元里?这类现象曾让研究者怀疑,网络为了省空间,会把互不相关的概念压在一起。想研究它,得先把这种“叠加”拆开。

Nick 当年也接受这个解释。后来,他重新打开那组看过很多次的图片,换了个问题:这些东西有没有什么共同模式?

猫脸、狐狸尖嘴、某些角度的车头,确实共享一种尖形结构。沿着连接继续查,还能看到 V 形火焰、水柱;往神经元负向响应的一侧看,则出现了圆形物体。

同一个神经元的输入与下游连接 尖形和圆形形成对照

同一个神经元的输入与下游连接 尖形和圆形形成对照

在他的重新解释里,猫和汽车之间有可以追踪的形状关系。只用物体名称给神经元贴标签,反而把这个关系遮住了。

另一条由他早年发现的“汽车进入狗神经元”的电路,也被重新检查了一遍。当时,他们以为汽车信息被藏进了一组狗神经元,留待后面读出。重新追踪却发现,没有下游在读取他们设想的那种组合;沿汽车路径继续看,里面有汽车本身,也有汽车和狗共享的姿态。

可视化工具还放大了这种误解:为了把激活推高,优化过程走上了狗的路径,画出来的狗特征越来越强,看起来就更像“汽车被藏进狗里”。

这一例里,先把神经元拆成“猫特征”和“汽车特征”,未必更接近它的工作方式。尖形与圆形的区分,恰好会在这种拆分里丢掉。

“显微镜”和网络都得调整

Nick 把观察神经网络内部的可解释性工具比作“显微镜”,例如特征可视化、神经元激活查看器和电路归因图。

早期特征可视化里那些迷幻的图案,也让网络显得格外难懂。

这种工具会优化一张输入图,让某个神经元尽量兴奋。优化方式变了,同一个神经元就可能从一团纹理,变成能与真实照片对应起来的物体。

下面两行始终是同两个 InceptionV1 神经元。前三列换了可视化设置,最右边则是让它们响应最强的自然照片。

同样的神经元在不同可视化设置下呈现不同面貌

同样的神经元在不同可视化设置下呈现不同面貌

但也不是所有问题都出在“显微镜”上。Nick 回头检查了 InceptionV1 的最后一层,逐步区分工具改进、重新训练和架构变化的作用:

对象与处理

作者估计的易解释比例

旧 InceptionV1 配合早期工具

约0%至5%

同一网络配合更好的工具

约50%

原架构加现代正则化重新训练

约70%

同等参数规模的 ConvNeXt

约99%

这是作者对末层神经元可解释性的估计,不是图像分类准确率。换成 ConvNeXt 后,使用的数据与参数规模保持可比,残差连接、LayerNorm 等架构设计则不同。

这些设计原本是为了让深层网络更好地学习,结果也让深层神经元更容易看懂。下图是同等参数规模的 ConvNeXt 查看器中的一个状态:选中的瓢虫神经元,在5万张图片里响应最强的20张,已经能直接看出共同模式。

同等参数规模ConvNeXt中瓢虫神经元的最强响应

同等参数规模ConvNeXt中瓢虫神经元的最强响应

空间变小以后学到了什么

如果神经元太少,会不会终于把无关概念硬塞在一起?

Nick 做了一个很直接的实验:把 InceptionV1 的 3b 层从 480个神经元压到10个,再从头训练。这个网络没有残差旁路,信息必须经过这10个神经元。

留下来的模式确实变粗了。原先能分成多种形态的曲线,现在可能交给一个“曲线与环”神经元;圆、斜边、黄色、眼睛和脸,也各占一部分。

480个神经元压到10个后学到的模式

480个神经元压到10个后学到的模式

在作者看来,容量压力下出现的是更宽泛的归类,而不是“狗耳朵加拉丁诗”这类任意组合。他还给压缩后的层训练了稀疏自编码器,尝试找回原先那些细分曲线,得到的仍是宽泛、聚在一起的模式。

这也接到了文中另一个关键概念:递归泛化。

一个神经元原本对“iy”响应,后来扩展到“diy”,再扩展到完全不含“iy”的“do it yourself”。每往外长一步,都有一条局部关系可以追,但走到最后,已经很难用最初那个标签概括它。

作者的概念示意 从iy延伸到do it yourself

作者的概念示意 从iy延伸到do it yourself

两种解释关心的分歧就在这里:这些东西是因为某种关联而长到一起,还是仅仅因为很少同时出现,可以互不干扰地挤在一起?前者能沿着训练过程和连接继续追;后者才是 Nick 过去担心的任意打包。

神经元在决定信息往哪走

Nick 对神经元的理解,也从“它代表哪个名词”,转向了“它让哪些信息通过”。

例如,汽车和狗在前面的层里可能因为姿态而共享路径。后面要判断出租车、救护车时,狗的信息就该分开了。一个位于这些检测器之前的神经元,可以对汽车正向响应,对狗负向响应,把两条路径区分开。

汽车与狗先共享姿态再由后续门控分开

汽车与狗先共享姿态再由后续门控分开

这里的负向一侧,不是说“狗是汽车的反义词”,而是指出这段电路此时需要排除什么。继续往后,区分可能变成出租车与救护车,或者敞篷车与旅行车。

到了语言模型,还得看信息被放在什么位置。

一个神经元最强的激活位置全是逗号,自动解释工具给它贴上了“多义逗号神经元”的标签。把前后文展开,科罗拉多州的电话号码、俚语和相关线索开始连起来;增强它的激活,模型还会写出徒步计划。

按作者的解释,逗号是模型保存上下文摘要的位置,神经元追踪的则是前文逐渐积累的科罗拉多信息。只截取激活附近的几个词,就会错过它在读什么。

门控结构本身也会制造噪声。现代语言模型常用的 SwiGLU,会把门控分支与数值分支相乘。两边都为负时,乘积仍为正;若只按最后的正激活排序,性质不同的响应就可能挤进同一张榜单。Nick 与同事发现,这种情况甚至会占据约4%神经元的最强响应列表,需要把两种工作区分开看。

还有看起来混着英文、Base64 字符串和孟加拉语的神经元。把字符串解码,再把孟加拉语转写过来,里面又出现了同一个“pr”。这几类“看不懂”,需要的检查并不相同。

让解释接受新实验

Nick 最初研究语言神经元,是想看看 Agent 有没有研究品味:能不能提出好问题,挑出有用的实验。他本以为,很快就会撞上难以解释的混合特征,结果一个个案例继续被拆解下去了。

原文放出了1000篇神经元研究个案,围绕具体对象展示响应、解释和测试。

原文提供的神经元研究个案入口

原文提供的神经元研究个案入口

有一种测试叫 blind maximum:第一个 Agent 调查神经元,写下解释;第二个只拿到解释,不能看神经元本身,再写一句它认为能让神经元强烈激活的话。然后,把这句话送回真实模型测。

作者展示的样例中,这些句子能比他们在100亿 token 语料里找到的样例激活得更强。

只测一个最强样例,还不能知道解释的边界在哪里。附录又从展示库里随机选了200个神经元,让 Agent 在测量前,分别写出5条应该触发的新句子、5条容易混淆但不该触发的反例。对其中解释正向响应的183个神经元,结果是:

按解释生成的文本

强激活比例

应该触发的新样例

76%

易混淆的反例

11%

另行生成的遥远无关概念

约1%

这里把达到最强语料样例激活值30%的响应计为强激活。183个神经元中,新样例胜过易混淆反例的有164个,打平15个,落后4个。

给出解释后生成新样例与易混淆反例

给出解释后生成新样例与易混淆反例

上图展示其中20个神经元。左边“spoken for”的解释是,东西或人已经被许诺给某个对象,但还没交付。把“马驹已经许诺给某马厩”换成“马驹已经被运往某马厩”,对象相近,关系却变了,响应也明显降低。

不过,“猫或汽车”这样的解释,也可能在部分测试里得高分。要发现它漏掉了共同形状,还得检查火焰等新输入、负向响应,以及上下游连接。一次预测之外,解释还要经得住这些不同角度的追问。

作者设想的Agent研究流程 提出解释 检验 再保留或修改

作者设想的Agent研究流程 提出解释 检验 再保留或修改

干净不等于一眼看懂

Nick 所说的“干净”,更接近于:网络里的各部分,已经形成了下游能够读取、能够继续组合的组织方式。研究者要学会读这套组织,而不是先要求每个神经元都对应一个人类熟悉的名词。

这让他更看好直接研究原网络的路线。先从问题进入,沿神经元、注意力和电路缩放,改动一处,看判断怎样变化;地图填上的部分越多,新的解释就越受到周围连接的约束。

注意力仍是他研究得较少的部分,万亿参数模型也尚未完成全面审计。文章保留了尚未解释的响应,并没有把每个神经元都塞进一个漂亮标签里。

11月10日,Goodfire 已发布配套研究 《Neurons as an Interpretable Basis》,由 Curt Tigges、Nick Cammarata 等人署名,围绕 Qwen3.6-35B-A3B 进一步检验神经元的稀疏性、计算作用和自然语言描述的预测能力。

原文太长,这里放不下,对原文感兴趣的朋友,可以到“我爱自然语言处理”上阅读完整中文译文,也可以点击文末“阅读原文”直接打开阅读。

参考链接

阅读原文

跳转微信打开

  •  

DeepSeek App 全家桶开放了。。

原创 NLPer 2026-11-14 12:31 美国

可以做点不一样的

DeepSeek 把自己 App 里的一整套能力,开放给开发者了。

昨天晚上DeepSeek 发布“全家桶应用 API”:联网搜索、深度思考搜索、读文件、读链接,以及语音识别、语音合成,都可以接进自己的产品。搜索和阅读过程中的工具调用、上下文拼接,由 DeepSeek 服务端处理。

官方还顺手开源了一个聊天前端,支持导入 DeepSeek 历史对话。想做一个自己的 DeepSeek,已经有现成的起点。

先给你一个能改的 App

这个项目叫 chat-demo,是一个不需要单独部署应用后端的静态前端。打开官方在线 Demo,或者下载发布包、解压后打开 index.html,填入自己的 API Key,就可以发起对话。

它已经把聊天产品里不少细碎的工作做好了:流式回答、思考过程、搜索来源、文件上传、语音输入和朗读,还有对话分支、编辑消息后重新生成,以及 Markdown、公式和 Mermaid 渲染。

默认接入的是 deepseek-flash,使用兼容 Anthropic 的 Messages / Files 接口。前端以 MIT 许可开源,开发者可以从这份代码继续改界面、改交互。

聊天记录和原始附件保存在浏览器 IndexedDB,配置和 API Key 保存在本地;发起推理、文件上传或语音请求时,相应内容仍会发送到配置的 API 服务。导入历史对话前也要留意,Demo 会在确认后覆盖当前浏览器里已有的全部对话和附件。

搜索过程交给服务端

只接一个模型 API,和做出一个好用的聊天产品,中间还有不少活。

用户贴来一个链接,得把网页读出来;追问最新消息,得先搜索,再打开结果;最后还要把材料放回上下文,让回答带上能点开的出处。

这次,V4.1-Flash 在 Messages、Responses 和 Chat Completions 三种接口下,都支持内置工具。开启搜索工具后,模型可以按问题发起网页或图片搜索;打开思考模式,还能边推理边反复搜索和阅读。用户贴来的网页,则由链接阅读工具抓取。

官方指南给了一个很直观的对话示例:问“DeepSeek 文档官网介绍了什么内容”,模型先搜索到 27 个网页,再浏览其中 3 个页面,最后带着引用作答。

官方指南标出的思考 搜索 阅读网页与带引用回答

官方指南标出的思考 搜索 阅读网页与带引用回答

前端接到的也不只是一段最终答案。思考、搜索调用、网页结果和正文引用,都有各自的内容块,可以分别渲染成界面。

下一轮对话时,客户端需要把这些内容块按协议原样带回,包括工具结果中的签名。工具执行由服务端完成,应用负责展示和正确传递,省去了自己重新组织整条搜索链路的工作。

文件输入也走同样的方向。PDF、Office 文档和图片上传后,可以完成文本提取或图文混排解析,再进入模型上下文。

工具也能拆开用

不想做聊天 App,也可以单独调用 Search、Fetch、OCR、ASR、TTS。

比如做一个文档工具,先用 OCR 提取扫描件里的文字和版面,再交给自己的后续处理流程。独立 OCR 接口支持 PDF、Word、PPT 和常见图片格式,不会自动发起模型对话。

语音则可以接成另一种交互:ASR 把输入变成文字,模型生成回答,TTS 再把回答读出来。TTS 除了接收整段文本,也支持通过 WebSocket 一边接收文字、一边合成音频,适合接在模型的流式输出后面。

目前 TTS 提供“海星”和“暗潮”两种音色。ASR 支持包括普通话、粤语、英语在内的 21 种语言,但单次是完整音频请求,最长 120 秒,并非实时流式转写。

工具按用量收费

应用能力开放,不等于调用免费。模型 token 费用之外,还要计算工具费用。

DeepSeek 公布的工具 API 价格

DeepSeek 公布的工具 API 价格

文字或图片搜索、网页抓取,都是 5 元 / 千次;OCR 是 1.5 元 / 千页。按这个单价,一万次搜索的工具费用是 50 元,模型推理另算。

语音目前处于限时五折:识别 0.39 元 / 小时,合成 1.5 元 / 万计费字符。合成的计数规则要留意,汉字按 2 个字符计算。

面向公众提供应用时,官方要求开启安全校验,同时履行内容审核、大模型登记和 AI 标识等义务。

DeepSeek 在公告最后说,现有的对话产品只是人与模型交互的一种基础形态。现在,做一个相似的聊天产品有了开源前端;想换一种交互,也可以只取需要的几块。

参考链接

跳转微信打开

  •  
❌