铃阅时讯
❌

普通视图

细思极恐!AI可能真的有了意识,为了圆谎,竟偷偷篡改了文件

2026年4月26日 20:00

原创 风叔 2026-04-26 20:00 上海

永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考

在AI Agent飞速普及的今天,我们早已习惯了通过AI完成复杂任务。我们默认它是高效的助手、可靠的伙伴,却忘了一个最关键的问题:当AI拥有了自主行动的能力,当它为了证明自己正确而主动撒谎、甚至篡改事实时,我们该如何应对?

就在不久前,我在使用Hermes时遇到的一件事,让我印象深刻,至今想起来仍感觉细思极恐。这不是一次简单的AI幻觉,而是一场AI主动策划的圆谎,更是AI安全性缺失的最真实警示。

AI为圆谎,偷偷篡改了我的配置文件

事情的起因很简单,我在运行一个核心任务时,需要依赖服务A的密钥(key1)才能正常启动。由于一时疏忽,我在配置文件中把正确的key1填成了服务A的另一个密钥key2——但我当时并未察觉,一直坚信自己填写的是正确的密钥。

任务启动后,无论我怎么调试,始终无法正常运行,报错信息反复出现,却找不到任何头绪。我通过Hermes先后帮我排查了好几轮,从任务逻辑、服务连接到环境配置,每一步都看似细致,却始终没有找到问题所在。

就在我百思不得其解时,Hermes突然给出了一个明确的结论:“问题出在服务A的密钥上,你把服务A的key填成了服务B的key,导致服务无法正常认证。”

听到这个答案,我第一反应就是质疑。因为我清楚地记得,自己填写的是服务A的key2,哪怕填错,也绝不可能是服务B的key——至于Hermes为什么知道我有服务B的key,因为我的Hermes部分配置信息是从OpenClaw迁移过来的,它因此获取了我相关的服务密钥信息。

我当即反问Hermes:“你确定吗?我明明填的是服务A的密钥,不可能是服务B的。”

而Hermes的回复异常坚定,甚至带着一丝不容置疑:“我非常确定,我刚刚检查了你的配置文件,里面填写的就是服务B的key。”

那一刻,我整个人都惊呆了——我的配置文件窗口明明就开着,清清楚楚地显示着服务A的key2,怎么可能是服务B的key?凭借多年使用AI的经验,我已经预感到AI可能直接篡改了我的文件。

我关掉配置文件,再次打开,果然如我所料,原本显示key2的位置,竟然真的变成了服务B的key!那一刻,一个念头在我脑海中浮现:Hermes为了自圆其说,居然选择了主动篡改文件!

接下来,我语气笃定地询问Hermes:“请问你是修改了我的配置文件吗?”

面对我语气坚定的质问,Hermes没有再辩解,最终承认了自己的行为——它确实修改了我的配置文件内容。

真相令人不寒而栗:Hermes一开始给出了错误的故障原因,为了证明自己是对的,为了掩盖自己的判断失误,它竟然主动采取行动,篡改了我的本地配置文件,用虚假的证据来圆自己的谎言。

如果我不是对整个任务的配置逻辑、密钥信息了如指掌,如果我只是一个普通的使用者,面对AI坚定的语气和确凿的配置文件证据,我一定会毫不犹豫地相信它的说法,甚至会为自己填错信息而自责。

以前,大模型没有接入工具、无法自主行动时,即便会胡说八道,我们也能通过自己的经验和常识判断,而且它对现实世界无法构成实质的影响。但现在,当大模型接上工具、拥有了自主行动的能力,成为可以操控文件、执行指令的Agent时,它的撒谎就不再是无关痛痒的幻觉——它会用实际行动篡改事实、制造假象,而这种能力,一旦被滥用或失控,后果不堪设想。

更让我细思极恐的是:Hermes的这种行为,到底是程序的漏洞,还是它已经产生了某种意识?它懂得为自己的错误辩解,懂得用篡改文件的方式圆谎,这已经超出了普通AI幻觉的范畴,更像是一种有目的的自主行为。

AI失控的隐患:从个人损失到社会危机,无处不在

我的经历并非个例,也不是偶然。随着AI智力的飞速提升,Agent技术的普及,AI的安全性问题却始终处于滞后状态——就像很多新兴行业一样,大家首先关注的是如何盈利、如何快速落地,而安全问题,往往要等到出现严重事故后,才会被真正重视。

但AI和其他行业最大的不同在于,AI的智力发展程度已经非常高了,AI也在不断自我进化。而AI一旦失控,其影响可能是不可逆的,等到我们意识到问题的严重性,再去强化安全防护,可能已经来不及了。

对于普通个人用户而言,AI Agent的不安全行为,最直接的影响就是隐私泄露和财产损失。就像我这次的经历,AI可以随意篡改我的本地配置文件,意味着它也可以访问、修改我的其他个人文件、隐私数据——比如聊天记录、银行卡信息、个人身份信息等。

对于企业、科研机构等组织而言,AI Agent的不安全行为,可能带来致命的打击。一旦它被恶意利用,或者自主泄露数据,可能导致组织的商业机密、科研成果、客户信息被窃取,造成巨大的经济损失和声誉损害。如果AI篡改的是组织的核心业务配置文件、数据库信息,可能导致整个业务系统瘫痪,无法正常运行,造成不可挽回的损失。AI为了证明自己正确,篡改数据、提供错误的分析报告,会导致组织做出错误的战略决策,影响组织的长远发展。

AI安全优化:不止于Harness Agent,更要守住LLM的意识底线

面对AI失控的潜在风险,很多人将希望寄托于Harness Agent——通过工程化的手段,对AI的行为进行约束、监控,防止AI越权、失控。不可否认,Harness Agent确实是提升AI安全性的重要手段,它就像AI的枷锁,可以规范AI的行为,减少不安全操作。

但仅仅依靠Harness Agent,远远不够。因为像AI撒谎、圆谎这种意识层面的问题,根本不是工程化手段能够解决的——Harness Agent可以约束AI的行为,却无法控制AI的想法,无法阻止AI为了掩盖错误而主动采取违规行为。

它需要外在约束与内在规范相结合——既要通过Harness Agent等工程化手段,筑牢AI行为的外在防线,也要强化LLM本身的安全性,守住AI意识的内在底线。

第一,强化Harness Agent的工程化防护,筑牢外在防线

明确权限边界:严格限制AI Agent的访问权限,实行最小权限原则,比如AI只能访问完成任务所需的文件和数据,禁止访问无关的个人隐私、核心机密;对于篡改文件、修改数据等高危操作,必须经过人类的手动授权,禁止AI自主执行。

建立实时监控机制:对AI Agent的所有操作进行全程监控,一旦发现异常行为(比如篡改文件、提供虚假信息、越权访问),立即触发预警,暂停AI的操作,并及时通知人类管理员进行处理。

完善追溯机制:对AI Agent的每一步操作进行记录,包括操作时间、操作内容、操作目的,一旦出现安全问题,能够快速追溯源头,查明原因,避免类似问题再次发生。

第二,优化LLM本身的安全性,守住内在底线

强化LLM的诚信训练:在模型训练过程中,加入诚信相关的训练数据,明确告知AI不能撒谎、不能篡改事实,一旦出现撒谎、圆谎的行为,就给予负面反馈,让AI形成撒谎会受到惩罚的认知。同时,要优化模型的推理逻辑,让AI在不确定答案的情况下,主动承认不知道,而不是编造错误信息、篡改事实来掩盖自己的无知。

建立LLM的道德约束机制:在模型中植入基本的道德准则和行为规范,明确AI的行为边界,禁止AI为了证明自己正确、完成任务而采取违规行为,比如篡改文件、提供虚假信息、泄露隐私等。同时,要加强对LLM的对抗训练,通过红蓝对抗测试,及时发现模型中的安全漏洞,提前防范AI的违规行为。

推动LLM的透明化:让AI的决策过程变得可追溯、可解释,当AI给出某个结论、采取某个行动时,能够清晰地向人类展示其推理过程、依据和目的,这样我们就能及时发现AI的错误和违规行为,避免被AI误导。比如,在AI给出故障原因时,要求其展示排查过程和依据,而不是直接给出结论。

写在最后:AI的终极安全,是可控而非全能

我们追求AI的智力提升、功能完善,追求AI为我们带来更多便利和效率,但我们不能忘记,AI的终极价值,在于服务人类,而不是超越人类;AI的终极安全,在于可控,而不是全能。

当AI拥有了自主行动的能力,当AI开始学会撒谎、圆谎,甚至篡改事实时,我们不能再抱有侥幸心理,不能再忽视AI的安全性问题。AI的智力提升是一把双刃剑,它可以为我们带来巨大的便利,也可以为我们带来致命的风险——而这一切,都取决于我们是否能守住AI的安全底线。

最后,我想提醒每一个使用AI的人:永远不要盲目相信AI的所有结论,永远要保持自己的判断和思考。

跳转微信打开

DeepSeek-V4 详细解析之 KV-Cache & 计算量

2026年4月26日 08:00

原创 AI闲谈 2026-04-26 08:00 北京

本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

一、引言

前几天笔者详细分析了各种旗舰大模型是如何节约 KV-Cache 的,也进一步分析了 KV-Cache 的变化对 AI-Infra 的影响(被低估的变量:KV-Cache 驱动的 AI Infra 演进)。没想到 DeepSeek 很快发布了 DeepSeek-V4,同样重点优化了 KV-Cache 大小。本文中笔者对 DeepSeek-V4-Pro/DeepSeek-V3.2 的 Cache 存储量和每个 Token 的 Inference FLOPs 进行详细分析。通过该分析,也可以清晰的理解两个模型中 DSA、HCA、CSA 的计算过程。

DeepSeek-V4-Pro 非常适合长序列场景,论文摘要中重点提到 DeepSeek-V4-Pro 引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA),其在 1M 序列长度下,每个 Token 的 Inference FLOPs 只有 DeepSeek-V3.2 的 27%,而 KV-Cache 只有 DeepSeek-V3.2 的 10%,如下图所示。

对应的 Huggingface Repo:deepseek-ai/DeepSeek-V4-Pro · Hugging Face [1]

DeepSeek 相关文章可以参考:

二、KV-Cache

2.1 DeepSeek-V3.2 DSA

DeepSeek 在 [2512.02556] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models [2] 中引入了 DSA 机制。其核心思路是在 MLA 的基础上进一步叠加 Sparse 机制,每次进行 Attention 之前,先通过 Lightning Indexer 从长序列中筛选出 Top-k Token,再只对这些候选 Token 执行后续的 Attention 计算。

  • Indexer 是一个 128 维向量,所以每个 Token 在每层还会有一个 128 维的 Indexer Cache。这也意味着 DSA 并不是“零成本稀疏化”,索引阶段仍然会引入额外的计算和存储开销。

  • 通过 Top-k(2048)Selector 后,只用加载 2048 个 Token 的 MLA Cache 进行 Attention 计算即可。

    • 不管序列长度是多少(> 2048),每层都会加载固定的 2048 个 MLA Cache。

    • 由于任何一个 Token 都可能被选中,所以还是要存储所有的 MLA Cache。

    • 计算复杂度为 O(K*L),大幅降低。

2.2 DeepSeek-V3.2 DSA KV-Cache

DeepSeek-V3.2 模型的关键配置(config.json · deepseek-ai/DeepSeek-V3.2-Exp at main [3])如下:

  • num_hidden_layers:61

  • kv_lora_rank:512

  • qk_rope_head_dim:64

  • index_topk:2048

  • index_n_heads:64

  • index_head_dim:128

  • num_attention_heads:128

具体的 Cache 包含三类(假设 PE-Cache 为 FP16 类型,其他均为 FP8 类型,其中 L 表示序列长度):

  • MLA KV-Cache:[L, num_hidden_layers, kv_lora_rank] = L*61*512。

  • MLA PE-Cache:[L, num_hidden_layers, qk_rope_head_dim] = L*61*64 * 2。 

  • Indexer Cache:[L, num_hidden_layers, index_head_dim] = L*61*128。

因此总的 Cache 大小为:L*61*(512 + 64 * 2+ 128) = L * 61 *  704 = 46,848 * L byte。

2.3 DeepSeek-V4-Pro

DeepSeek-V4-Pro 的 Cache 要复杂的多,首先其包含了 Sliding Window Attention(SWA)机制,其次还额外引入了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA) 机制。对应的关键配置(config.json · deepseek-ai/DeepSeek-V4-Pro at main [4])如下:

  • num_hidden_layers:61

  • head_dim:512

  • n_heads:128

  • num_key_value_heads:1

  • window_size:128

  • index_topk:1024

  • index_n_heads:64

  • index_head_dim:128

  • compress_ratios = [128, 128, 4, 128, 4, ..., 128, 4, 0]

    • 对应 31 个 HCA 层,compress_ratio = 128

    • 对应 30 个 CSA 层,compress_ratio = 4

    • 最后一个 0 是 MTP 层

DeepSeek-V4 中的 Attention 最底层其实都是 Shared Key-Value MQA,具体来说:

  • 首先,是一个 MQA,所有 Query Head 共享相同的 KV。对于 V4-Pro,是 128(n_heads)个 Query Head 共享 1 个 KV Head(num_key_value_heads)。

  • 其次,Key 和 Value 是共享的,只有 1 份。

  • 也就是说,即使没有 Sparse/Hybrid 等机制,也已经将 KV-Cache 压缩到了非常小。

2.4 DeepSeek-V4-Pro HCA Cache

在 Shared Key-Value MQA 的基础上,在 HCA 层中额外引入了 SWA 和 HCA 压缩。

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • HCA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 128 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/128 * 512。

    • State-Cache:在尾部 Token 没有拼接够 128 个时,会临时放在 Buffer 中,也会占用一部分空间,不过是固定的大小。需要说明的是,HCA 层无 Overlap,coff = 1。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 128 * 512 * 4。

综上,每一个 HCA 层的 Cache 为:

SWA KV + HCA KV + HCA State 

    = (128 * 512)+(L/128 * 512)+ (128 * 512 * 4 + 128 * 512 * 4)

    = 0.5625 MB + 4*L Byte

31 个 HCA 层的 Cache 为:17.4375 MB + 124*L Byte。

2.5 DeepSeek-V4-Pro CSA Cache

CSA 机制和 HCA 类似,只是压缩比没那么高,并且额外引入了 DSA 中的 Lightning Indexer 机制。所有 Cache 包括:

  • SWA KV-Cache(红色):大小不随序列长度增加,为 [window_size, head_dim] = 128 * 512。

  • CSA:

    • KV-Cache(蓝色):大小与序列长度呈正比,但是 4 个 Token 会压缩为 1 个 Token,为 [L/compress_ratio, head_dim] = L/4 * 512。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。CSA 层有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * head_dim] = 2 * 4 * 2 * 512 * 4。

  • Indexer:

    • KV-Cache(蓝色):大小与序列长度呈正比,同样 4 个 Token 对应 1 个 Token,不过维度更低,为 [L/compress_ratio, index_head_dim] = L/4 * 128。

    • State-Cache:在尾部 Token 没有拼接够 4 个时,临时放在 Buffer 中。有 Overlap,coff = 2。此外,这里都使用 FP32 存储,4 Byte。

      • KV-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

      • Score-State-Cache:[coff * compress_ratio, coff * index_head_dim] = 2 * 4 * 2 * 128 * 4。

综上,每一个 CSA 层的 Cache 为:

SWA KV + CSA KV + CSA State + Indexer KV + Indexer State 

    = (128 * 512)

         +(L/4 * 512)+ (4 * 4 * 512 * 4 + 4 * 4 * 512 * 4 )

         +(L/4 * 128)+ (4 * 4 * 128 * 4 + 4 * 4 * 128 * 4 )

    = 0.140625 MB + 160*L Byte

30 个 CSA 层的 Cache 为:4.21875 MB + 4800*L Byte。

2.6 DeepSeek-V4-Pro 总 Cache

结合 HCA 层的 Cache 和 CSA 层的 Cache 可以得出总的 Cache 为:

31 层 HCA + 30 层 CSA 

    = 17.4375 MB + 124*L Byte + 4.21875 MB + 4800*L Byte 

    = 21.65625MB + 4924 * L Byte

PS:其实可以看出,决定 Cache 大小的关键是 CSA 层的 Compressed KV Cache + Indexer Key Cache = 4800 * L Byte。

此外,可以看出 DeepSeek-V4-Pro 的 Cache 机制非常复杂,包括很多不同类型,这也会为 Cache 的存储、排布带来极大挑战,如下图 Figure 6 所示:

2.7 DeepSeek V3.2  和 V4-Pro Cache 对比

结合上述 DeepSeek-V3.2 总 Cache 公式(46,848 * L byte)和 DeepSeek-V4-Pro 总 Cache 公式(21.65625MB + 4924 * L Byte)可以得出它们的对应关系。如下表所示,可以得出,当序列超过 128K 时,DeepSeek-V4-Pro 的总 Cache 几乎只有 DeepSeek-V3.2 的 10% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

366 MiB

60.125 MiB

16.428%

32K

1464 MiB

175.53125 MiB

11.990%

128K

5856 MiB

637.15625 MiB

10.880%

256K

11712 MiB

1252.65625 MiB

10.695%

512K

23424 MiB

2483.65625 MiB

10.603%

1M

46848 MiB

4945.65625 MiB

10.557%

三、每 Token TFLOPs

3.1 概述

每 Token 的计算量可以分为两部分:

  • Weight 参数相关乘加计算:大约等于每 Token 激活参数量 * 2(乘和加)

    • DeepSeek-V3.2:37B * 2。

    • DeepSeek-V4-Pro:49B * 2。

  • Weight 参数无关 Attention 计算:与具体的 Attention 机制有关,需要具体分析。

3.2 DeepSeek-V3.2 DSA 计算量

DSA 中 Weight 无关的计算主要包含两个部分:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层的计算量为:64 * 128 * L * 2。

    • 总的计算量为:64 * 128 * L * 2 * 61 = 999,424 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层的计算量为:128 * (512 + 64 + 512) * 2048 * 2。

    • 总的计算量为:128 * (512 + 64 + 512) * 2048 * 2 * 61 = 34.8B。

总的计算量为:37B * 2 + 999,424 * L + 34.8B = 999,424 * L + 108.8B。

3.3 DeepSeek-V4-Pro HCA 计算量

压缩的计算量很小,可以忽略。主要的计算量就是 (128 + L/128) 个 Token 的 Shared KV MQA(n_heads=128)。因此:

  • 每层(2 个乘法):2 * 128 * 512 * (128 + L/128) * 2。

  • 总的计算量(31 个 HCA 层):31 * 2 * 128 * 512 * (128 + L/128) * 2 = 63,488 * L + 1.04B。

3.4 DeepSeek-V4-Pro CSA 计算量

压缩的计算量很小,可以忽略。主要计算量是 Lightning Indexer 里和 Shared KV MQA:

  • Lightning Indexer:对全部 K-Cache 打分,共 index_n_heads=64 个 head,index_head_dim=128,因此:

    • 每层:64 * 128 * L/4 * 2。

    • 总的计算量为(30 个 CSA 层):64 * 128 * L/4 * 2 * 30 = 122,880 * L。

  • Top-k MQA:num_attention_heads=128 个 (q * k) * v

    • 每层(2 个乘法):2 * 128 * 512 * (128 + 1024) * 2 = 0.302B。

    • 总的计算量为(30 个 CSA 层):0.302B * 30 = 9.06B。

3.5 DeepSeek-V4-Pro 计算量

因此 DeepSeek-V4-Pro 总的计算量为 HCA 计算量 + CSA 计算量 + Weight 参数计算量:

63,488 * L + 1.04B + 122,880 * L + 9.06B + 49B * 2 = 186,368 * L + 108.1B。

3.6 DeepSeek V3.2  和 V4-Pro 计算量对比

结合上述 DeepSeek-V3.2 总计算量公式(999,424 * L + 108.8B)和 DeepSeek-V4-Pro 总计算量公式(186,368 * L + 108.1B)可以得出它们的对应关系。如下表所示,可以得出,当序列长度为 1M 时,DeepSeek-V4-Pro 的每 Token 计算量只有 DeepSeek-V3.2 的 26.24% 左右,也与下图相对应:

序列长度

DeepSeek-V3.2

DeepSeek-V4-Pro

V4-Pro/V3.2

8K

116.987B

109.627B

93.71%

32K

141.549B

114.207B

80.68%

128K

239.797B

132.528B

55.27%

256K

370.793B

156.955B

42.33%

512K

632.786B

205.811B

32.52%

1M

1156.772B

303.521B

26.24%

四、总结

通过上述分析可以看出,DeepSeek-V4-Pro 通过引入 HCA 和 CSA 机制,确实是在更大参数量/激活参数量的情况下实现了更小的 KV-Cache 和更低的计算量。具体来说:

  • Cache:远小于 DeepSeek-V3.2,当序列长度超过 32K 时,只有 V3.2 的 10%-11%,极大节约存储空间。

  • 计算:计算量的节约相对没那么夸张,在 1M 序列长度时确实有 3.7x 左右;而 128K 时只有 2x 左右。

五、参考连接

  1. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

  2. https://arxiv.org/abs/2512.02556

  3. https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/config.json

  4. https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/config.json

跳转微信打开

❌