你的电脑,能跑多大的AI?
原创 秋芝2046 2026-11-03 17:04 广东
全程无广~
雷猴哇~
朋友们,这是一期有必要的AI PC 科普文章——在 AI 时代选电脑,我们到底在看什么?
现在新型的 AI PC,是怎么塞下千亿大模型的?本地模型到底能干啥?以及你有没有必要用?
我把常见电脑配置分别能跑多大的模型,整理成了一张速查表。
好,那我们现在出发~
电脑是怎么运行本地大模型的?
我们先补一点 AI 时代选电脑必备的基础知识。
1.1 把电脑想象成一间厨房
我们可以把一台配置比较齐全的 PC,想象成一间“厨房”。
这个厨房里,有一个全能的主厨,叫做 CPU;还有一群人数众多的帮厨,叫 GPU。
主厨和帮厨面前,会各有一个备菜台,分别叫做内存和显存。
备菜台跟厨师之间,还有一条传送带。我们把传送带的宽度,叫做带宽。
楼下还会有个冷藏库,我们叫做硬盘。整体来看是下面这样的~
CPU、GPU、内存、显存与硬盘,在同一间“厨房”里。
这个冷藏库里放着各种各样的食材,比如我们的本地模型文件。
那我们去向 AI 提问,“厨房”的整个做菜过程是这样的:
接单备料:主厨收到点菜,指挥人从楼下冷藏库,把这道菜需要的全部食材搬到备菜台上。
分批送料:通过传送带,将备菜台上的食材一批一批送到帮厨面前。
逐批烹饪:帮厨依次处理送来的食材,完成这道菜。
做好了之后,再一点一点地把菜品传给主厨,帮我们端出来。
这样我们就能吃上饭了,也就是收到了 AI 的回答。
1.2 跑 AI,配置看三点
那我们可以细看一下,在这个过程当中,决定我们是否能吃到菜,以及上菜速度的是什么?以后大家看配置,也就看这几个方面了。
第一,看帮厨团队的规模和干活能力。这决定了它能多快处理送来的食材,对应的就是算力。
第二,就是传送带的宽度了。传送带如果太窄,厨师做得再快,它也会被等食材的时间给拖累。这个我们叫带宽。
那第三,更卡脖子的,是帮厨团队面前的备菜台。它有多大的台子,才决定了我们能做多大的菜,我们叫做显存。
算力、带宽、显存,分别对应帮厨、传送带和备菜台。
但是帮厨面前的这个备菜台,造价非常高,像我们消费级最好的独立显卡5090,它的显存也就32G。
总之,之前大家的消费级 PC,像这种 72B、125B 的大模型,直接就放不下,做不了这道菜的。
AI PC 怎么塞下千亿大模型?
2.1 把模型卸载到内存
那有聪明的朋友就问了:这个主厨的台子不可以借来用吗?主厨的台子看着好像比帮厨的还大。
确实可以,这个就叫做把模型卸载到内存。
把模型放到内存里的示意。
可是,在原来独立显卡的情况下,主厨和帮厨的台子中间,只有一条窄窄的传送带。放在主厨台子上这边的食材,要传给帮厨,得一点一点挤过去。
结果就是帮厨们大多时候不是在做菜,而是在等食材了。
台子之间的传送带,可能成为瓶颈。
2.2 参数多,不代表每次都在干活
那现在的模型,大家都知道越来越大,对吧?而且有的朋友可能还知道,其实很多的前沿模型都是 MoE 模型。
125B 的总参数量,每次真正干活的参数仅仅只有 6B。
即使这样,这些参数对应的“食材”,仍然需要有地方存放,所以有时候就算你的算力和带宽都是够的,也会因为这个台子放不下而卡住,非常遗憾。
2.3 统一内存
那既然主厨和帮厨各用各的台子,它放不下,借起来又这么麻烦,那干脆让它们共用一张大的备菜台。诶,这就是统一内存的思路。
共用一张大的备菜台:统一内存的思路。
这就有了足够的空间,直接塞下前沿的大模型了,也减少了在两张台子之间来回搬运的麻烦。
在我们常用的电脑中,就能直接跑千亿参数的大模型了。
为什么要用本地模型?
OK,但说到这里,新的疑惑又来了。
你说这本地模型就算有 120B,它也比不过云端超算中心跑的万亿大模型,为什么我们还要费劲地去用本地模型呢?
非常好的问题。其实,大家用 AI 就像吃饭一样,无非只有 2 种选择:要么下馆子,要么在家吃。
用云端 AI,其实就有点像下馆子和点外卖,选择非常丰富,多大的菜你都能点到。
用本地模型,就像你自己在家做饭,你肯定怎么都做不出佛跳墙来的。
如果说你永远都选择在外面吃饭,其实电脑配置的选择,确实只需要满足能上网,多运行几个程序,基本不卡那就够了。
但是如果 AI 变成了像吃饭一样频繁的事,那“厨房”就可能变成每个家的标配了。
如果有的人条件好,那他就会装大开放式的厨房;有人刚毕业租了个单间,那他有可能也会有口锅,偶尔地煮个方便面。
大厨房与一口锅,对应不同的本地使用需要。
这一类新的 AI PC,其实就相当于一种拎包入住,能满足家常菜的一种新型“厨房”。
本地模型的优势
4.1 省钱:本地视频可以反复跑
那有这种“厨房”咱能干嘛?在家吃饭最爽的,就是可以无限量地吃外面卖得很贵的那种菜。换到 AI 来说,就是 AI 视频。
1 条 10 秒的 Seedance 2.5 价格,都要多少块了?而本地 MiniMax H3 是无限抽的。
那这是结果,差别其实也没那么大~
所以像我们平时做 1 条 10 分钟的科普,要配一大堆 B-roll 素材,而精度要求其实没那么高,那我们就直接跑 H3,720P、5 秒的片段咔咔就跑出来了~
你可以睡前,把一批都给它排好队,彻夜自动跑,早上起来看见这几十条素材,你感觉一觉睡醒省了几百块~
4.2 隐私安全
那再其次,就是自己家的“厨房”,食品安全才最放心。换到 AI 里面,就是敏感数据的安全。
如果有的朋友,岗位特殊、工作单位特殊,你的资料交给云端 AI,就相当于泄密。但是不用 AI 吧,又等于自降效率。
大家的公司应该也不让把合同、账本之类的机密,发给随便的 AI 吧?
那比如我就把我的笔记本作为了财务事宜专用电脑。在本地传入了账本、合同、各类账密。
我只需要用本地模型,完全不联网的情况下,就可以很方便地问它出结果:
●●●
某某某的银行卡号,和他上个月的报销金额是多少?还有那种又批量又隐私的活,比如把文件夹里1000张发票,全部读取成表格,最后展示成报告。
而且因为它一点额度都不用花,我都还可以切几个不同的模型,和 Agent 之间互相去检验计算。
4.3 随时可用
而最后,就是你自己的“厨房”你随时能开火,在高铁、飞机、地下停车场哪都好带~
好了,到这里你应该了解了,这类 AI PC 的选择逻辑和用途。总结起来就是看算力、带宽和显存或内存,这 3 种指标以及价格之间的平衡。
我也按照不同的用途,整理了一张配置参考表。大家可以按照自己的需求对照着查看,你的“厨房”该怎么配。
也欢迎大家在评论区聊聊,你心里的完美“厨房”应该是怎么样的?你又准备怎么用?
我们下次见啦!