铃阅时讯
❌

阅读视图

[随笔]其实人也是一个LLM, 也需要 KVCache

原创 渣B 2026-09-26 18:08 浙江

最近觉得人也越来越像一个LLM了, 而公众号的这些文章似乎很好的构成了 KVCache. 不光自己可以用, 也可以和大家做 Prefix-Cache.

起因是最近几年经常同时搞好几个项目, 有 CIPU 芯片相关的, 也有 GPU 微架构相关的, 也有大模型架构相关的, 还有一些算法相关的项目. 经常 Agent 还在写 RTL 的时候, 又切换一个桌面搞算法.

最近在做一些新的芯片相关的研究, 同时准备花一些时间来仔细分析一下 Off-policy 的 LLM-RL 相关的算法, 但几个月没碰过了几乎全忘光了. 比较幸运的是以前随手记录了一个专题:《大模型强化学习》

今天顺手让 Agent 做了一个网站版挂在 github page 上, 并且做了一个更简短的 summary, 似乎这也算得上某种 session compaction 了? 链接如下:

https://zartbot.github.io/blog/algo/llm_rl/

另一方面, 我发现一个好玩的事情. 以前天天叫嚣着需要 Lossless RDMA/RoCE 的人, 还叫嚣着 OpenAI 都在用 PFC 的人似乎都没怎么说话了. 相反整个工业界都在开始 show 自己 Lossy RDMA 下的性能, 终于从 Lossless 转向 Lossy 了.

  • AMD 在 Hotchip 宣称400Gbps 的 NIC 在 1% 丢包时可以达到 160Gbps, Goodput-ratio 40%

  • 国内某家 400Gbps NIC稍微好一些可以到 48%

即便是 Meta 宣称可以在 1% 丢包时 Goodput 在 86%, 那么也就是说依旧还是有 10% 的带宽被错误重传了

而 CIPU eRDMA 在 3 年前就已经是 5% 丢包率 90% 的 Goodput 了..而如今 CIPU 下一代的带宽已经超越 Nvidia 最新的 CX9 和 BlueField-4 2倍达到 1.6Tbps 了...

我想说的是, 这些都是要做 10w 卡 ~ 50w 卡稳定训练的关键技术, 几年前就在谈, 很多年前就在提一个业务指标:

  • 集合通信能够保证95%以上的Fabric利用率

  • 丢包率5%的时候仍然能够保证90%的Goodput

  • 无需任何交换机的高级特性, 网卡实现多路径和拥塞控制

  • 超大规模(128K QPs)并支持所有QP开启多路径转发能力.

  • 兼容RDMA RC Verbs, 线下RDMA应用无需修改代码即可直接运行.

  • Incast 128打1这样的场景, 每个QP之间的带宽差额最大100Kbps.

  • 完全OS无感知的热迁移

  • 完善的RDMA虚拟化支持

可惜几年过去了, 不知道哪一家真的追上来了. 回想起 CIPU2.0 在 3 年前送去流片的时候, 也就是 2023 年底, 我们就完整的预测到 MoE 模型会成为主流, 并把 All-to-All 的 incast 问题干干净净的解决了, 而时至今日还听说某些平台因为 incast 触发的 PFC 带来的各种故障... 真不知道工业界都在干些什么....

是时候好好读读这个专题了 《RDMA》

跳转微信打开

  •  

国内有哪些值得关注的AI测评账号?可以先看看这几个

原创 优设 2026-09-26 12:30 湖北

现在一个新模型发布,相关介绍很快就能刷满信息流。看几篇文章就能知道AI参数提升了多少,又新增了什么能力。

 现在一个新模型发布,相关介绍很快就能刷满信息流。

看几篇文章就能知道AI参数提升了多少,又新增了什么能力。

可真要拿来改图做视频、写代码或者搭建页面,光知道这些还不够。

咱们其实更关心实际效果怎么样?官方演示里的效果,普通人能不能做出来?

所以我现在看 AI 工具的内容,更在意真实评测。

国内做AI内容的账号不少。如果你也经常关注新模型新工具,可以先看看机器之心、量子位、数字生命卡兹克和优设AIGC。

这几个账号有时会聊同一个产品,但关注的角度不太一样。

优质账号推荐

 平时关注大模型、论文和技术进展,可以看机器之心。

新模型发布后,想了解背后的技术、相关论文,以及这次更新具体改进了什么,它的内容比较适合这类阅读需求。

量子位涉及的话题更广,AI公司、产品发布、融资动态、模型能力和产业应用都会覆盖。想快速了解最近AI行业发生了什么,可以从这里看起。

数字生命卡兹克的个人色彩更明显。除了介绍工具,也经常写自己折腾Agent、工作流、Skill和各种AI产品的过程。能看到他具体怎么用,以及用过之后的判断。

做设计、视觉、新媒体或者内容创作,也可以重点看看优设AIGC。它介绍新工具时,经常会拿设计和创作任务来实测。比如图片生成得怎么样,视频能做成什么效果,一套工作流能不能跑通。比起单看功能介绍,这样的内容更方便对照自己的需求。

最新的AI工具统统上手实测

 AI圈的新品消息每天都有。

模型一更新,官方介绍、参数表格和演示视频很快就会传开。

不过,演示看着不错,换成自己的素材和需求还能不能用,得试过才知道。

优设AIGC的不少文章就是这个主题。热门工具出来后,编辑先上手试,再把过程和结果写出来。

比如LibTV 1.5更新后,文章就围绕实际创作做了测试。素材怎么导入,人物、镜头和视频怎么生成,最后做出了什么效果,都有展示。如果你正准备做AI短剧、广告片或者其他视频内容,看这些过程,就更容易判断自己是否用得上。

Vidu S2的实测也是如此。“一张照片生成实时数字人”“随时换装换背景”,光看功能介绍确实吸引人。真要用的时候,还得看人物形象能不能保持稳定、动作自不自然、换装后是什么效果。

文章把测试结果放出来,读者就能先有个判断,不必为了弄清这些问题,自己从注册、充值开始试起。

除了新品测评,还有一些文章会处理使用中遇到的问题。

比如《你用的AI降智了吗?》,讨论的就是一个很难说清楚的感受:同一个模型,怎么突然觉得没以前好用了?文章整理了3种方法,读者可以照着用一遍,看看模型表现有没有变化。

我愿意看这类实测,也是因为工具实在太多了,没办法挨个试。直接在这里看效果和操作过程,自己就能少花些筛选和试用的时间,再决定哪些值得细看。

有案例,还有意犹未尽的干货教程

看完测评,知道工具能用,往往还是不会做。

优设AIGC的一些文章会接着讲,看到了好的效果,具体该怎么做出来。

前段时间Codex表情包工作流就很有意思。

一开始是用AI围绕一个IP生成表情包,后面又把这些素材接入Codex,把表情包里的角色做成了可以在桌面上活动的宠物。

文章从IP形象、表情素材,一直讲到能运行的小项目。

读者可以顺着案例看素材怎么准备,了解每个工具负责什么,还有中间要做哪些处理。尤其是那些单看成品猜不出来的步骤,教程里讲清楚了,自己动手时可以直接参考。

《土木老哥手搓AI短片狂揽1亿播放》这篇也做了类似的拆解。

除了介绍案例,还分析了创作者的制作过程,把不同任务分别交给哪些 AI 来做讲了出来。

生成图片、制作视频、写代码、配音、生成音乐,都能找出对应的 AI 工具。

难的是素材做好以后下一步怎么做。

这也是我觉得优设AIGC比较适合创作者看的原因。一张商业海报、一条AI短片、一套UI,或者一个桌面宠物,文章会围绕具体作品讲制作过程。遇到和自己工作相近的案例,就可以顺着教程试一遍,把用得上的步骤留下来。

每篇内容,都有用心制作的封面

 除了文章内容,优设AIGC的封面也值得翻一翻。

连续看几篇,会发现它们的风格能认出来,但又不是同一个模板换几行字。

不同文章会用不同的场景和画面元素来表现主题。

这些封面在点开文章之前,就已经交代了一部分内容。比如看到图层面板和 PSD 文件,读者就能猜到文章和设计文件有关;看到桌面上的表情角色,也能大致理解桌面宠物是什么。

值得参考的是这种选画面的思路。

自己做公众号、小红书或者其他平台的内容时也可以这样。封面除了吸引人点开,还能提前告诉读者,这篇文章里有什么。

写在最后

 AI新品的信息并不难找。我现在更愿意花时间看写清楚了使用过程,给出实际结果的文章。

看完以后能判断这个工具和自己到底有没有关系。

想了解技术和研究,可以看机器之心;关注AI公司、产品和产业动态,可以看量子位;想看个人体验,以及折腾工具和工作流的过程,可以看数字生命卡兹克。

如果你做设计、视觉、新媒体或者内容创作,优设AIGC更值得加入日常关注列表。

先看实测,判断工具能不能满足需求;碰到想做的案例,再找教程跟着试。

比起漫无目的地收藏工具,这样会更省心~

图片 太棒了!您把今天的内容都看完啦,如果对您有帮助请三连支持。我们每天都会更新干货内容,欢迎设为星标⭐~

跳转微信打开

  •  

聊聊 Opus 5.5 带给我的震撼,真的太夸张

原创 二一的笔记 2026-09-26 05:22 福建

真的眩晕瘫坐了...

我一般不跟风喊什么眩晕瘫坐,但是当我让 Opus 5.5 给我的 Obsidian 模板做一个 Motion 动画视频的时候,我真的兴奋得手在发抖,要不是现在已经快凌晨五点半,我或许真的会大喊大叫,手舞足蹈。

视频在文章结尾

或许你会觉得夸张,我也觉得夸张,但这的确是我的感受。

还记得 2022 年刚开始学做视频,为了能获得一些微不足道的动画效果,我给我的 Notion 测评视频,手工搓了超过 500 张的 Keynote,那期视频从测评到写稿,再到学 Keynote 并完成动效,我做了整整三个月。

但现在 Opus 5.5 只花了 1 个小时, 用一段 1000 字左右的提示词,one-shot,画了 16832 张画面, 6 个 Chrome 并行,渲染成 1 分 12 秒的视频,连 BGM 都是它自己用 Python 编曲混音的。

为什么?为什么?发生什么事了?

这种感受和 Seedance 完全不一样,什么时候 AI 突然能通过这种方式,把视频做到这种程度了?这种用代码的方式,才能做到不抽卡,指哪打哪啊!

这种直观的、让人晕眩瘫坐的体验,真的比 Astra 言出法随写出一坨我完全看不懂的代码还要震撼。代码我本来就看不懂,但视频我会剪,现在我连视频也剪不过 AI 了。

而且除了审美和设计,Opus 5.5 的编程能力也是顶级,活干得漂亮,说话又好听,额度还多得令人发指。

这是我第一次觉得 Claude 如此耐用,也是第一次如此害怕一觉醒来我号没了。

我真的投降了,各位,我投降了!

毫无疑问我是 AI 降临派,Opus 5.5 在我心中已经跃升至历史第一模型。那我订阅了一年的 SuperGrok Heavy 算什么?算我傻*!Grok 4.8 最好能兑现马斯克画的饼。我也充满遗憾地觉得,OpenAI 或许永远也不会有审美这么好的模型了。

好了不说废话了,接下来请大家欣赏 Opus 5.5 毫不费力的杰作。

视频做得非常酷炫,但没有一个功能是捏造的,它完全基于我的代码库、以及产品实机效果所制作。我只是提供了相当相当粗糙的要求和想法,剩下的完全由它自己发挥创造力。

如果看完之后你对我的产品感兴趣,欢迎戳下方官网链接,这是一套基于 Obsidian 开发的人生管理系统,包含模板库、配套插件和无痛上手教程,感谢购买支持。

https://21obsidian.com

好了我该睡了,大家晚安。

哇,圆满的一天。

请原谅我这篇文章如此亢奋和浮夸的表达方式,实在是忍不住,我只是想起了过去几年熬夜剪视频,却依然剪得稀烂的那些瞬间。

阅读原文

跳转微信打开

  •  
❌