铃阅
❌

阅读视图

Strata“黑魔法”:12GB 显卡如何跑起 Qwen3.8-Flash-Next

原创 NLPer 2026-11-16 21:54 江苏

本地部署

今年9月,开发者 Niko1221 开源了 Strata。它最初想做的是:用一张12—24GB的 NVIDIA 显卡,配64GB内存和桌面 CPU,跑起125B的 Qwen3.8-Flash-Next。

不到两个月,项目已经有了约4.47万 Star、4900多个 Fork。原本的专用推理引擎,也有了桌面应用、终端和本地模型服务。

Strata官方桌面应用截图 图中使用Gyro-S

Strata官方桌面应用截图 图中使用Gyro-S

从专用引擎起步

第一版 Strata 是为 Qwen3.8-Flash-Next 定制的推理引擎,面向 NVIDIA 显卡提供现成的 Windows 运行包,同时开放兼容 OpenAI 和 Anthropic 的本地接口。用户可以把已经在用的聊天软件、编码工具接进来。

10月初,Hacker News 出现了一条“消费级硬件以100 token/s运行125B Qwen”的帖子,目前累计有940分、420条评论。有人贴自己的机器和速度,也有人追问量化质量、长上下文和视觉表现。

到了10月的0.2.0-beta,Strata 把桌面应用、终端和引擎接成了一套。Windows、Linux、Mac 有了各自的安装包,下载模型、选择存储位置、聊天和工具连接也有了界面。

桌面应用可以处理文件、图片和代码,生成的网页还能在侧边直接预览。

10月下旬,0.2.4 加入了 DeepSeek-V4.1-Flash 的终端运行入口。最近的0.2.14,又把 NVIDIA、AMD 上的提示词处理切到了 Strata 自有内核。

用户 irawanw 把它叫作“黑魔法”。他原先用两张 RTX 3090、vLLM 张量并行跑 Qwen3.8 27B,后来换成一张 GPU 配64GB RAM,在 Strata 上跑 Qwen3.8-Flash-Next,成了自己的日常主力。

显存里只留常用的部分

Qwen3.8-Flash-Next 是125B的 MoE,每个 token 激活约6B参数。它的48层中,每层有512个路由专家,当前 token 选出10个,全模型合计24,576个专家。

其中36层使用 Gated DeltaNet,维护固定大小的递归状态;另外12层使用稀疏注意力。还有约51B参数的 n-gram 查找表,按最近几个 token 读取对应的行。

Strata 做了一个技术说明,用 RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200和 NVMe SSD,记录了这套分工。

以文中的 Q2_0 配置为例,Attention、DeltaNet、路由器、共享专家、输出头,以及缓存和递归状态优先留在显存。剩余显存用来缓存常用的路由专家。

约34GB路由专家放在系统内存,约29GB的 n-gram 表留在 SSD。查找表每次只读取需要的行,文中记录的每 token 读取量不超过约23KB。

技术说明图1 显存 内存与SSD的分工

技术说明图1 显存 内存与SSD的分工

生成时,GPU先算出当前层要调用哪些专家。缓存命中的,直接在GPU计算;没有命中的,一部分通过 PCIe 传给GPU,另一部分由CPU在内存里就地计算,最后合并结果。

技术说明图2 一层中的GPU CPU与PCIe并行

技术说明图2 一层中的GPU CPU与PCIe并行

GPU算已缓存的专家,CPU算另一部分,传输也同时进行。

专家缓存会随对话调整。说明中的12GB显卡约能缓存4500个专家;同组测试里,静态命中率约50%,在4K上下文下动态调整后约72%。

技术说明图3 静态专家缓存容量与命中率

技术说明图3 静态专家缓存容量与命中率

读入长代码时,Strata 则分块处理输入,把一层层权重流送到GPU,让传输与批量计算重叠。开始逐字生成后,再切回CPU与GPU分担的小批计算。

早期实现使用 Qwen 自带的 MTP 层:先起草后续几个 token,再交给主模型一起验证,通过的留下,遇到不一致的位置再修正。

项目示意图 起草模块预测 主模型按顺序验证

项目示意图 起草模块预测 主模型按顺序验证

技术说明中,最多起草3个 token,和前一个已接受的 token 组成最多4个 token 的验证窗口。4K测试里,每个窗口平均产出约3.2个 token,MTP加速收益约1.6—1.8倍。较新的版本还加入了 DFlash2 等起草路径。

生成速度如何

在前面那台 RTX 5070 测试机上,记录了以下生成速度。每种输入长度运行一次代码审查任务,生成256个 token,使用 greedy 解码与 MTP。

量化

约4K上下文

约128K上下文

Q2_0

94.6 token/s

65.1 token/s

IQ2_XS

78.0 token/s

52.0 token/s

IQ3_XXS

65.6 token/s

44.8 token/s

项目9月技术说明表3 不同量化和上下文下的生成速度

项目技术说明表3 不同量化和上下文下的生成速度

Q2_0 在约4K输入下,首次响应约6.7秒;接近262K输入时,要先等约524秒,随后仍能以56.3 token/s生成。

长历史占用更多显存,留给专家缓存的空间也会减少。

12GB是显存,64GB是系统内存。 以原版 Qwen 的 ISTA-DASLab 量化为例,路由专家的内存占用大致如下:

量化

路由专家约占

Q2_0

34GB

IQ2_XS

35.5GB

IQ3_XXS

43GB

IQ3_S

50GB

还要给操作系统、缓冲区、上下文和其他程序留空间。64GB机器选择 IQ3_S 时,余量已经比较紧。内存放不下专家,Strata 可以改从 SSD 读取更多权重,但速度会明显下降。

量化也会改变输出。项目在固定文本的4995个位置上,以 Q8_0 为参照,测得首选 token 一致率:Q2_0 为80.6%,IQ3_S 为87.7%,UD-Q4_K_XL 为93.1%。

项目目前推荐先看 ISTA-DASLab 的兼容量化,再看 Unsloth 等选择。Q2_0 更省内存、生成更快;更高位数的包需要更多资源,可以结合自己的代码任务判断是否值得。

Q2_0 文件合计约66GB,起草层和图片组件还会增加下载。NVMe SSD 要同时承担模型存放和部分运行中的读取。

最后

想试用的朋友可以从项目 Releases 下载对应系统的安装包,在模型页选择模型、存储位置和上下文;已有 GGUF,也可以直接导入。

安装好 Strata 后,用终端先查看运行计划:

strata launch --family qwen --model q2_0 --plan

这一步只显示模型、文件和硬件安排,不下载、不启动。确认后再运行:

strata launch --family qwen --model q2_0

首次下载完成后,可以在监控界面看提示词处理、逐字生成和内存占用。先用自己常做的任务跑一轮,再调整上下文和量化。

Strata官方终端监控界面 图中为Gyro-S会话

Strata官方终端监控界面 图中为Gyro-S会话

桌面应用也能直接处理文件和代码,默认 Manual 模式会在修改文件、执行非只读命令前请求确认。模型准备好后,本地聊天和推理可断网运行;联网搜索、外部模型和远程工具按各自功能访问网络。

接回已有编码工具,运行:

strata connect

它会列出 Claude Code、Codex CLI、OpenCode 等客户端的连接设置。

参考链接

跳转微信打开

  •  

前 OpenAI 研究员改口:神经网络本来就是干净的

原创 NLPer 2026-11-15 11:19 美国

可解释性

Goodfire 的 Nick Cammarata 写了一篇长文:Neural Networks Are Already Clean,神经网络本来就是干净的。

他的判断是,神经网络可能比大家以为的更容易理解。过去一些被当作“内部一团乱”的经典证据,重新检查后,问题出在工具、架构或我们给出的解释上。

而这些证据里,就有他自己参与提出的。

作者用一座城市和一个死结比喻两种理解网络的方式

作者用一座城市和一个死结比喻两种理解网络的方式

Nick 曾在 OpenAI 做可解释性研究,与 Chris Olah 等人合著了2020年的《Zoom In: An Introduction to Circuits》,也参与了2023年用 GPT-4 自动解释神经元的项目。现在,他在 Goodfire 继续研究神经元和电路。

他在介绍这篇文章时,把可解释性称为当下可能最重要的科学问题:如果不知道自己正在构建什么,就很难解决对齐。

这次“改口”,牵涉的是一条研究路线:我们究竟该先把神经网络拆成一套更干净的特征,再研究这套替身;还是直接研究它已经学出来的神经元、连接和信息流?

Nick 越来越倾向于后者。他拿出的材料,也从几张看起来有意思的图,延伸到了重训网络、压缩中间层,以及让 Agent 对解释做预测和干预测试。

他重新检查了自己的经典案例

最有名的例子,是一个同时对猫脸和汽车正面产生响应的神经元。

猫和汽车明明是两类东西,为什么挤在同一个神经元里?这类现象曾让研究者怀疑,网络为了省空间,会把互不相关的概念压在一起。想研究它,得先把这种“叠加”拆开。

Nick 当年也接受这个解释。后来,他重新打开那组看过很多次的图片,换了个问题:这些东西有没有什么共同模式?

猫脸、狐狸尖嘴、某些角度的车头,确实共享一种尖形结构。沿着连接继续查,还能看到 V 形火焰、水柱;往神经元负向响应的一侧看,则出现了圆形物体。

同一个神经元的输入与下游连接 尖形和圆形形成对照

同一个神经元的输入与下游连接 尖形和圆形形成对照

在他的重新解释里,猫和汽车之间有可以追踪的形状关系。只用物体名称给神经元贴标签,反而把这个关系遮住了。

另一条由他早年发现的“汽车进入狗神经元”的电路,也被重新检查了一遍。当时,他们以为汽车信息被藏进了一组狗神经元,留待后面读出。重新追踪却发现,没有下游在读取他们设想的那种组合;沿汽车路径继续看,里面有汽车本身,也有汽车和狗共享的姿态。

可视化工具还放大了这种误解:为了把激活推高,优化过程走上了狗的路径,画出来的狗特征越来越强,看起来就更像“汽车被藏进狗里”。

这一例里,先把神经元拆成“猫特征”和“汽车特征”,未必更接近它的工作方式。尖形与圆形的区分,恰好会在这种拆分里丢掉。

“显微镜”和网络都得调整

Nick 把观察神经网络内部的可解释性工具比作“显微镜”,例如特征可视化、神经元激活查看器和电路归因图。

早期特征可视化里那些迷幻的图案,也让网络显得格外难懂。

这种工具会优化一张输入图,让某个神经元尽量兴奋。优化方式变了,同一个神经元就可能从一团纹理,变成能与真实照片对应起来的物体。

下面两行始终是同两个 InceptionV1 神经元。前三列换了可视化设置,最右边则是让它们响应最强的自然照片。

同样的神经元在不同可视化设置下呈现不同面貌

同样的神经元在不同可视化设置下呈现不同面貌

但也不是所有问题都出在“显微镜”上。Nick 回头检查了 InceptionV1 的最后一层,逐步区分工具改进、重新训练和架构变化的作用:

对象与处理

作者估计的易解释比例

旧 InceptionV1 配合早期工具

约0%至5%

同一网络配合更好的工具

约50%

原架构加现代正则化重新训练

约70%

同等参数规模的 ConvNeXt

约99%

这是作者对末层神经元可解释性的估计,不是图像分类准确率。换成 ConvNeXt 后,使用的数据与参数规模保持可比,残差连接、LayerNorm 等架构设计则不同。

这些设计原本是为了让深层网络更好地学习,结果也让深层神经元更容易看懂。下图是同等参数规模的 ConvNeXt 查看器中的一个状态:选中的瓢虫神经元,在5万张图片里响应最强的20张,已经能直接看出共同模式。

同等参数规模ConvNeXt中瓢虫神经元的最强响应

同等参数规模ConvNeXt中瓢虫神经元的最强响应

空间变小以后学到了什么

如果神经元太少,会不会终于把无关概念硬塞在一起?

Nick 做了一个很直接的实验:把 InceptionV1 的 3b 层从 480个神经元压到10个,再从头训练。这个网络没有残差旁路,信息必须经过这10个神经元。

留下来的模式确实变粗了。原先能分成多种形态的曲线,现在可能交给一个“曲线与环”神经元;圆、斜边、黄色、眼睛和脸,也各占一部分。

480个神经元压到10个后学到的模式

480个神经元压到10个后学到的模式

在作者看来,容量压力下出现的是更宽泛的归类,而不是“狗耳朵加拉丁诗”这类任意组合。他还给压缩后的层训练了稀疏自编码器,尝试找回原先那些细分曲线,得到的仍是宽泛、聚在一起的模式。

这也接到了文中另一个关键概念:递归泛化。

一个神经元原本对“iy”响应,后来扩展到“diy”,再扩展到完全不含“iy”的“do it yourself”。每往外长一步,都有一条局部关系可以追,但走到最后,已经很难用最初那个标签概括它。

作者的概念示意 从iy延伸到do it yourself

作者的概念示意 从iy延伸到do it yourself

两种解释关心的分歧就在这里:这些东西是因为某种关联而长到一起,还是仅仅因为很少同时出现,可以互不干扰地挤在一起?前者能沿着训练过程和连接继续追;后者才是 Nick 过去担心的任意打包。

神经元在决定信息往哪走

Nick 对神经元的理解,也从“它代表哪个名词”,转向了“它让哪些信息通过”。

例如,汽车和狗在前面的层里可能因为姿态而共享路径。后面要判断出租车、救护车时,狗的信息就该分开了。一个位于这些检测器之前的神经元,可以对汽车正向响应,对狗负向响应,把两条路径区分开。

汽车与狗先共享姿态再由后续门控分开

汽车与狗先共享姿态再由后续门控分开

这里的负向一侧,不是说“狗是汽车的反义词”,而是指出这段电路此时需要排除什么。继续往后,区分可能变成出租车与救护车,或者敞篷车与旅行车。

到了语言模型,还得看信息被放在什么位置。

一个神经元最强的激活位置全是逗号,自动解释工具给它贴上了“多义逗号神经元”的标签。把前后文展开,科罗拉多州的电话号码、俚语和相关线索开始连起来;增强它的激活,模型还会写出徒步计划。

按作者的解释,逗号是模型保存上下文摘要的位置,神经元追踪的则是前文逐渐积累的科罗拉多信息。只截取激活附近的几个词,就会错过它在读什么。

门控结构本身也会制造噪声。现代语言模型常用的 SwiGLU,会把门控分支与数值分支相乘。两边都为负时,乘积仍为正;若只按最后的正激活排序,性质不同的响应就可能挤进同一张榜单。Nick 与同事发现,这种情况甚至会占据约4%神经元的最强响应列表,需要把两种工作区分开看。

还有看起来混着英文、Base64 字符串和孟加拉语的神经元。把字符串解码,再把孟加拉语转写过来,里面又出现了同一个“pr”。这几类“看不懂”,需要的检查并不相同。

让解释接受新实验

Nick 最初研究语言神经元,是想看看 Agent 有没有研究品味:能不能提出好问题,挑出有用的实验。他本以为,很快就会撞上难以解释的混合特征,结果一个个案例继续被拆解下去了。

原文放出了1000篇神经元研究个案,围绕具体对象展示响应、解释和测试。

原文提供的神经元研究个案入口

原文提供的神经元研究个案入口

有一种测试叫 blind maximum:第一个 Agent 调查神经元,写下解释;第二个只拿到解释,不能看神经元本身,再写一句它认为能让神经元强烈激活的话。然后,把这句话送回真实模型测。

作者展示的样例中,这些句子能比他们在100亿 token 语料里找到的样例激活得更强。

只测一个最强样例,还不能知道解释的边界在哪里。附录又从展示库里随机选了200个神经元,让 Agent 在测量前,分别写出5条应该触发的新句子、5条容易混淆但不该触发的反例。对其中解释正向响应的183个神经元,结果是:

按解释生成的文本

强激活比例

应该触发的新样例

76%

易混淆的反例

11%

另行生成的遥远无关概念

约1%

这里把达到最强语料样例激活值30%的响应计为强激活。183个神经元中,新样例胜过易混淆反例的有164个,打平15个,落后4个。

给出解释后生成新样例与易混淆反例

给出解释后生成新样例与易混淆反例

上图展示其中20个神经元。左边“spoken for”的解释是,东西或人已经被许诺给某个对象,但还没交付。把“马驹已经许诺给某马厩”换成“马驹已经被运往某马厩”,对象相近,关系却变了,响应也明显降低。

不过,“猫或汽车”这样的解释,也可能在部分测试里得高分。要发现它漏掉了共同形状,还得检查火焰等新输入、负向响应,以及上下游连接。一次预测之外,解释还要经得住这些不同角度的追问。

作者设想的Agent研究流程 提出解释 检验 再保留或修改

作者设想的Agent研究流程 提出解释 检验 再保留或修改

干净不等于一眼看懂

Nick 所说的“干净”,更接近于:网络里的各部分,已经形成了下游能够读取、能够继续组合的组织方式。研究者要学会读这套组织,而不是先要求每个神经元都对应一个人类熟悉的名词。

这让他更看好直接研究原网络的路线。先从问题进入,沿神经元、注意力和电路缩放,改动一处,看判断怎样变化;地图填上的部分越多,新的解释就越受到周围连接的约束。

注意力仍是他研究得较少的部分,万亿参数模型也尚未完成全面审计。文章保留了尚未解释的响应,并没有把每个神经元都塞进一个漂亮标签里。

11月10日,Goodfire 已发布配套研究 《Neurons as an Interpretable Basis》,由 Curt Tigges、Nick Cammarata 等人署名,围绕 Qwen3.6-35B-A3B 进一步检验神经元的稀疏性、计算作用和自然语言描述的预测能力。

原文太长,这里放不下,对原文感兴趣的朋友,可以到“我爱自然语言处理”上阅读完整中文译文,也可以点击文末“阅读原文”直接打开阅读。

参考链接

阅读原文

跳转微信打开

  •  

DeepSeek App 全家桶开放了。。

原创 NLPer 2026-11-14 12:31 美国

可以做点不一样的

DeepSeek 把自己 App 里的一整套能力,开放给开发者了。

昨天晚上DeepSeek 发布“全家桶应用 API”:联网搜索、深度思考搜索、读文件、读链接,以及语音识别、语音合成,都可以接进自己的产品。搜索和阅读过程中的工具调用、上下文拼接,由 DeepSeek 服务端处理。

官方还顺手开源了一个聊天前端,支持导入 DeepSeek 历史对话。想做一个自己的 DeepSeek,已经有现成的起点。

先给你一个能改的 App

这个项目叫 chat-demo,是一个不需要单独部署应用后端的静态前端。打开官方在线 Demo,或者下载发布包、解压后打开 index.html,填入自己的 API Key,就可以发起对话。

它已经把聊天产品里不少细碎的工作做好了:流式回答、思考过程、搜索来源、文件上传、语音输入和朗读,还有对话分支、编辑消息后重新生成,以及 Markdown、公式和 Mermaid 渲染。

默认接入的是 deepseek-flash,使用兼容 Anthropic 的 Messages / Files 接口。前端以 MIT 许可开源,开发者可以从这份代码继续改界面、改交互。

聊天记录和原始附件保存在浏览器 IndexedDB,配置和 API Key 保存在本地;发起推理、文件上传或语音请求时,相应内容仍会发送到配置的 API 服务。导入历史对话前也要留意,Demo 会在确认后覆盖当前浏览器里已有的全部对话和附件。

搜索过程交给服务端

只接一个模型 API,和做出一个好用的聊天产品,中间还有不少活。

用户贴来一个链接,得把网页读出来;追问最新消息,得先搜索,再打开结果;最后还要把材料放回上下文,让回答带上能点开的出处。

这次,V4.1-Flash 在 Messages、Responses 和 Chat Completions 三种接口下,都支持内置工具。开启搜索工具后,模型可以按问题发起网页或图片搜索;打开思考模式,还能边推理边反复搜索和阅读。用户贴来的网页,则由链接阅读工具抓取。

官方指南给了一个很直观的对话示例:问“DeepSeek 文档官网介绍了什么内容”,模型先搜索到 27 个网页,再浏览其中 3 个页面,最后带着引用作答。

官方指南标出的思考 搜索 阅读网页与带引用回答

官方指南标出的思考 搜索 阅读网页与带引用回答

前端接到的也不只是一段最终答案。思考、搜索调用、网页结果和正文引用,都有各自的内容块,可以分别渲染成界面。

下一轮对话时,客户端需要把这些内容块按协议原样带回,包括工具结果中的签名。工具执行由服务端完成,应用负责展示和正确传递,省去了自己重新组织整条搜索链路的工作。

文件输入也走同样的方向。PDF、Office 文档和图片上传后,可以完成文本提取或图文混排解析,再进入模型上下文。

工具也能拆开用

不想做聊天 App,也可以单独调用 Search、Fetch、OCR、ASR、TTS。

比如做一个文档工具,先用 OCR 提取扫描件里的文字和版面,再交给自己的后续处理流程。独立 OCR 接口支持 PDF、Word、PPT 和常见图片格式,不会自动发起模型对话。

语音则可以接成另一种交互:ASR 把输入变成文字,模型生成回答,TTS 再把回答读出来。TTS 除了接收整段文本,也支持通过 WebSocket 一边接收文字、一边合成音频,适合接在模型的流式输出后面。

目前 TTS 提供“海星”和“暗潮”两种音色。ASR 支持包括普通话、粤语、英语在内的 21 种语言,但单次是完整音频请求,最长 120 秒,并非实时流式转写。

工具按用量收费

应用能力开放,不等于调用免费。模型 token 费用之外,还要计算工具费用。

DeepSeek 公布的工具 API 价格

DeepSeek 公布的工具 API 价格

文字或图片搜索、网页抓取,都是 5 元 / 千次;OCR 是 1.5 元 / 千页。按这个单价,一万次搜索的工具费用是 50 元,模型推理另算。

语音目前处于限时五折:识别 0.39 元 / 小时,合成 1.5 元 / 万计费字符。合成的计数规则要留意,汉字按 2 个字符计算。

面向公众提供应用时,官方要求开启安全校验,同时履行内容审核、大模型登记和 AI 标识等义务。

DeepSeek 在公告最后说,现有的对话产品只是人与模型交互的一种基础形态。现在,做一个相似的聊天产品有了开源前端;想换一种交互,也可以只取需要的几块。

参考链接

跳转微信打开

  •  

黄仁勋的英伟达33年。

NLPer 2026-11-13 19:40 江苏

黄仁勋把英伟达从游戏显卡,一路推成 AI 底座。结果 33 年后,倒在一场私生活调查上。

1993 年,他和两位工程师在一家 Denny’s 餐厅碰头创业。第一款芯片 NV1 推出后,25 万枚退回来近 25 万枚。后来靠 RIVA 128 翻盘,上市四个月卖出 100 万枚。

2006 年,英伟达押注 CUDA,让程序员能用 C 语言调用 GPU 做通用计算。中间手机芯片 Tegra 没做成,2008 年又遇上芯片封装缺陷和金融危机,股价跌掉约八成。公司硬扛着维护 CUDA,等到了深度学习爆发。

2016 年,他给刚成立一年的 OpenAI 送去首台 DGX-1。到 2024 财年,英伟达营收 609 亿美元,数据中心占了 475 亿,接近八成。

11 月 8 日,黄仁勋承认对妻子不忠并致歉;11 日,董事会接受他的辞任。从公开道歉到交权,只隔了四天。

跳转微信打开

  •  

黄仁勋的英伟达33年。

原创 NLPer 2026-11-13 16:45 江苏

致敬!

1993年,黄仁勋离开LSI Logic,和Chris Malachowsky、Curtis Priem一起创办英伟达。

两位合伙人来自Sun。三个人做过工作站芯片,这次想把3D图形带进普通PC。

他们常在加州一家Denny’s餐厅碰头。点一杯能无限续的咖啡,就可以坐上几个小时。黄仁勋年轻时在这家连锁餐厅洗过碗、端过盘子,如今坐在餐桌边,讨论的是自己的公司。

1994年的黄仁勋 来源 Sequoia Crucible Moments

1994年的黄仁勋 来源 Sequoia Crucible Moments

创业伊始

他们买来一台Gateway 2000,拆开电脑,开始学习DOS,研究PC市场。

英伟达早期办公室旧址 Sunnyvale 来源Sequoia

英伟达早期办公室旧址 Sunnyvale 来源Sequoia

后来,二十来人的团队在一间小办公室里做出了第一款芯片NV1。

1993年 联合创始人Curtis Priem在办公室玩游戏 来源Sequoia

1993年 联合创始人Curtis Priem在办公室玩游戏 来源Sequoia

图形、视频、音频,NV1把一堆功能装进同一块芯片。客户想要的却是又快又便宜的3D图形。按照黄仁勋在Sequoia访谈中的回忆,交给Diamond Multimedia的25万枚NV1,约24.9万枚退了回来。

公司还在替世嘉开发下一代芯片。偏偏此时,微软DirectX推动的三角形渲染路线,和英伟达押注的方案不同。

继续履约,要在旧路线上再花两年;放弃合同,公司又会断粮。

黄仁勋去找世嘉,请求解除开发责任,同时保留合同款。世嘉同意帮忙,英伟达才有时间重新做一颗芯片。

这颗芯片就是1997年的RIVA 128。

过去,芯片回来后再写软件、找Bug、改设计,可能又要一年多。这次,公司只剩一次流片的机会。

团队从一家正在倒闭的公司买来一台冰箱大小的仿真设备,在真正的芯片回来之前,先运行、验证软件。RIVA 128一次流片成功,上市后的前四个月卖出100万枚。

1999年1月22日,英伟达在纳斯达克上市,发行价每股12美元。这是当年的价格,此后公司经历过多次拆股。

同年,GeForce 256登场,英伟达把它称为GPU。

2000年3月,微软选中英伟达,为第一代Xbox提供图形处理器。同年12月,英伟达收购了老对手3dfx的核心图形资产。

GeForce 256显卡实物 来源 Sequoia Crucible Moments

GeForce 256显卡实物 来源 Sequoia Crucible Moments

提前十年布局CUDA

2004年,Ian Buck从斯坦福毕业,加入英伟达。他在学校做过一个叫Brook的项目,研究怎样用接近C语言的方式,让GPU处理图形之外的计算。

那时,研究者已经看中了显卡的并行能力。麻烦在于,他们得把计算问题塞进图形编程接口:原本想做矩阵运算,却要按处理图像的方式组织程序。

2006年,GeForce 8800与CUDA架构亮相。第二年,CUDA的编译器、开发工具和示例陆续向开发者开放,1.0版正式发布。

程序员可以用C语言编写并行计算程序,调用GPU,身边还有运行时、线性代数库、快速傅里叶变换库。英伟达开始同时维护硬件和一套计算工具。

2007年6月,公司推出Tesla计算产品线。有插进电脑的计算卡,也有装着多块GPU的桌边设备和机架服务器。计算卡上已经没有显示器接口。

2007年 NVIDIA首席科学家David Kirk展示Tesla GPU服务器 来源PC Watch当年报道

2007年 NVIDIA首席科学家David Kirk展示Tesla GPU服务器 来源PC Watch当年报道

黄仁勋后来在Sequoia访谈中讲过一次拜访。一位台湾量子化学研究者拉开柜子,里面一排排摆着GeForce,旁边是家用风扇。研究者用游戏显卡,搭出了自己的超级计算机。

2008、2009年前后,吴恩达和学生也开始用GPU训练神经网络。Ian Goodfellow当时还是本科生,帮他在宿舍里搭起GPU服务器,用于早期深度学习实验。

CUDA刚刚铺开,英伟达的主营业务却出了问题。

部分上一代芯片使用的封装材料组合存在缺陷,公司在2008年7月计提1.96亿美元,用于客户维修和更换。随后,金融危机冲击了电脑市场,维修成本也继续增加。

2007年下半年至2009年1月,股价从39.67美元的高点跌到5.75美元,跌去约85.5%。

游戏和图形业务还得继续竞争,CUDA也没有停。编译器、计算库、开发工具需要工程师持续维护,支持研究者还要招人、学习新技能。

黄仁勋在访谈里回忆,这次转向把公司的注意力从原来的游戏和图形业务分走了。多伦多Hinton的实验室、纽约LeCun的实验室陆续联系英伟达,研究者的使用和反馈,成了这条新路线早期能看到的进展。

2011年,Ilya Sutskever说服Alex Krizhevsky,用神经网络试试ImageNet。

Krizhevsky已经为较小的CIFAR-10数据集写过CUDA卷积网络代码。他把cuda-convnet扩展到多GPU,开始在更大的ImageNet上训练。

电脑放在父母家的卧室里,里面装着两块NVIDIA显卡。接下来一年,他不断调整网络、重新训练。

2012年,Krizhevsky、Sutskever和Geoffrey Hinton的AlexNet以显著优势赢下ImageNet图像识别竞赛。

训练AlexNet所用的家用电脑 图片由多伦多大学提供 经Computer History Museum展示

训练AlexNet所用的家用电脑 图片由多伦多大学提供 经Computer History Museum展示

进军智能手机

在研究者拿显卡训练神经网络的那几年,英伟达还在追赶另一个市场:智能手机。

Tegra把ARM CPU、GeForce GPU和视频处理等功能放进一颗芯片,面向手机和平板。PC里积累的图形能力,要被装进一台靠电池工作的设备。

2011年CES,黄仁勋坐在台上,手里拿着搭载Tegra 2的LG Optimus 2X。他打开相册、浏览网页,把手机画面送上大屏幕,展示高清视频和游戏。

2011年CES 黄仁勋演示搭载Tegra 2的LG Optimus 2X 来源ASCII.jp当年报道

2011年CES 黄仁勋演示搭载Tegra 2的LG Optimus 2X 来源ASCII.jp当年报道

英伟达把这类设备叫作“Super Phone”。它想在手机上再做一次PC时代做过的事:用更强的图形和计算能力,带动一批应用和游戏。

但手机还要接入运营商网络。2011年,英伟达宣布以3.67亿美元现金收购Icera,把通信基带这块拼图补进来。

2013年2月,Tegra 4i发布,集成了由Icera技术发展而来的i500 LTE基带。英伟达还做出Phoenix参考手机,供厂商据此设计产品。

同年9月,小米3发布,移动版采用Tegra 4。这是英伟达与小米的首次合作,Tegra进入了中国手机厂商的旗舰产品。

产品到了市场上,手机芯片生意却没有持续做大。

2015年5月,英伟达宣布逐步关闭Icera基带业务,也考虑出售相关技术。最终没有找到合适买家,公司开始收尾,不再自行开发调制解调器。

2016年财年,面向外部手机和平板厂商的Tegra产品销售额下降近90%;同期,面向汽车系统的Tegra销售额增长近75%。

英伟达把资源转向游戏、汽车和深度学习。Tegra留了下来,继续用于汽车、SHIELD设备,后来又进入任天堂Switch。

发布DGX-1

2016年,英伟达发布DGX-1。Tesla P100 GPU、高速互联、深度学习软件和开发工具,一起装进了服务器。

研究者不必再先花大量时间拼装高性能系统,再设法让软件跑起来。

同年8月,黄仁勋把首台DGX-1送到OpenAI旧金山总部。OpenAI成立还不到一年,马斯克是它的联合创始人之一。

2016年 黄仁勋与马斯克在OpenAI查看DGX1 来源NVIDIA

2016年 黄仁勋与马斯克在OpenAI查看DGX1 来源NVIDIA

黄仁勋拉开机箱,把里面的GPU托盘展示给研究者。马斯克站在旁边,双臂交叉,看着这台机器。

2016年 黄仁勋在OpenAI展示首台DGX1的GPU托盘 来源NVIDIA

2016年 黄仁勋在OpenAI展示首台DGX1的GPU托盘 来源NVIDIA

当年的官方报道里,Sutskever谈到,更快的GPU能让他们探索此前没有能力研究的问题。

那时还没有ChatGPT。他们已经在讨论更多数据、更大计算量,以及怎样让电脑和人对话。

2016年 OpenAI团队围在首台DGX1旁 来源NVIDIA

2016年 OpenAI团队围在首台DGX1旁 来源NVIDIA

机箱上留下了黄仁勋的赠言,抬头是“To Elon & the OpenAI Team!”。下面写着,献给计算与人类的未来。团队成员也在机器上签了名。

首台DGX1机箱上的赠言与团队签名 来源NVIDIA

首台DGX1机箱上的赠言与团队签名 来源NVIDIA

为AI重做芯片

2017年5月,黄仁勋在GTC台上举起Tesla V100。新一代Volta架构加入Tensor Cores,专门加速深度学习中的矩阵运算。

2017年GTC 黄仁勋展示Tesla V100 来源滄者極限当年报道

2017年GTC 黄仁勋展示Tesla V100 来源滄者極限当年报道

早年,研究者把游戏显卡装进电脑,自己写CUDA代码。现在,英伟达开始为他们设计专用计算单元,更新服务器和深度学习软件。

模型继续变大,训练要把越来越多的GPU连在一起,机器之间不断交换数据。

2020年,英伟达完成对Mellanox的收购。Mellanox提供InfiniBand和以太网互联。GPU做完一部分计算,还要把结果及时交给其他GPU;网络的带宽和延迟,也进入了训练系统的设计。

英伟达把计算、服务器和互联放到一起做。单颗GPU之外,它开始掌握更大一部分数据中心系统。

同年9月,它又宣布收购Arm。这次没有完成:2022年2月,英伟达与软银宣布终止交易,原因是重大的监管障碍。英伟达保留了Arm授权,继续合作。

2022年9月,英伟达宣布H100进入量产。这代GPU加入Transformer Engine,面向大语言模型等任务,配套的服务器和云服务也开始准备交付。

11月30日,OpenAI 发布 ChatGPT。

初版ChatGPT基于GPT-3.5,在Azure的AI超级计算基础设施上训练。英伟达后来披露,OpenAI用的是上一代A100来训练和运行ChatGPT。

2023年1月,微软宣布与OpenAI扩大战略合作,继续投资专用超级计算系统,把OpenAI模型接入自己的产品和Azure服务。

到了3月GTC,黄仁勋把眼前的变化称为“AI的iPhone时刻”。他谈到,DGX已经从研究工具进入企业,开始全天候运转。

2023年GTC主题演讲中的黄仁勋与H100系统 来源NVIDIA

2023年GTC主题演讲中的黄仁勋与H100系统 来源NVIDIA

微软Azure推出H100虚拟机的私有预览,AWS宣布将建设可以连接多达2万颗H100的云端集群,Meta也在内部部署H100超级计算机。

英伟达还在同一场GTC宣布了DGX Cloud,让企业按月租用DGX集群,连同配套AI软件一起使用。服务先从Oracle云开始,再计划扩展到Azure和Google Cloud。

5月24日,英伟达公布财报:刚结束的季度营收71.9亿美元,下一季度却预计达到110亿美元。公司表示,正在增加供应,以满足生成式AI带来的需求。

第二天,股价上涨约24%,收于379.80美元,单日增加约1840亿美元市值,逼近万亿美元。

8月公布的实际成绩,比5月的指引还高:季度营收达到135.1亿美元,其中数据中心收入103.2亿美元,较上一季度增长141%。

同年,英伟达成立30年,黄仁勋回到Denny’s,为公司诞生地揭牌。

黄仁勋穿着黑皮衣,手里拿着咖啡杯。

2023年 黄仁勋重返Denny’s 摄影Don Feria AP Images for Denny’s

2023年 黄仁勋重返Denny’s 摄影Don Feria AP Images for Denny’s

从服务器到整座机房

2024年1月的那个财年,英伟达总营收达到609亿美元,其中数据中心475亿美元,占比接近八成。

2024年3月,Blackwell发布。GB200 NVL72把36颗Grace CPU、72颗Blackwell GPU和NVLink互联装进液冷机柜;公司提供的系统,还包括网络、管理工具和AI软件。

2024年10月11日,黄仁勋来到纳斯达克,为GeForce 256发布25周年敲钟。他手里拿着一块显卡,与纳斯达克CEO Adena Friedman合影。

2024年10月 黄仁勋与纳斯达克CEO Adena Friedman 来源Nasdaq

2024年10月 黄仁勋与纳斯达克CEO Adena Friedman 来源Nasdaq

2025年9月,黄仁勋又和Sam Altman、Greg Brockman一起公布合作计划:OpenAI拟部署至少10GW的英伟达系统。

九年前送过去的是一台服务器,这一次谈的是吉瓦级基础设施。

2025年9月 Greg Brockman 黄仁勋与Sam Altman 来源NVIDIA

2025年9月 Greg Brockman 黄仁勋与Sam Altman 来源NVIDIA

四天的急转弯

2026年11月,围绕一家新加坡算力公司Megaspeed的调查,牵涉到了黄仁勋。Megaspeed是英伟达的云合作伙伴,能优先获得芯片。美国方面调查它是否帮助中国获得受出口限制的先进芯片。

黄仁勋的私人关系,被卷进了这条生意链。路透社报道,Megaspeed前高管Alice Huang被美国当局怀疑从事情报活动,并与黄仁勋存在亲密关系。

11月8日,黄仁勋给员工发信,承认对妻子不忠,向家人和同事道歉。他表示支持并配合董事会的独立调查。

当天,董事会宣布,由独立董事委员会和外部律师调查相关报道。声明表示,当时没有理由相信国家安全或英伟达机密已经受损,并继续对黄仁勋及其团队表达信心。

11月10日,独立董事宣布聘请Joon H. Kim及Wachtell律所开展调查。

11月11日,《纽约时报》又报道了黄仁勋与一名直接向他汇报的公司高管之间的关系。同一天,董事会接受了他的辞任。

11月12日,英伟达公布交接安排:黄仁勋辞去总裁、CEO及董事职务,CFO Colette Kress临时接任CEO,同时继续担任CFO。董事会开始从公司内外寻找永久继任者。

从公开致歉到辞任公告,只有四天。

黄仁勋与英伟达的33年历程示意

参考链接

跳转微信打开

  •  
❌