谷歌放出Agent记忆教程,代码已开源!
原创 Datawhale 2026-11-16 23:35 浙江
Datawhale干货
讲师:Annie Wang
Datawhale干货
讲师:Annie Wang
Google Cloud Tech 工程师 Annie Wang 公开了一堂关于多模态 Agent 记忆架构的专题课程,并开源了配套的示范项目 FashionMind。
代码地址:https://g.dev/ai/fashion-mind带语音和视觉能力的多模态 Agent,在同一轮对话里往往表现得很聪明。可一旦用户关掉页面下次再打开,前面聊过的偏好和背景就会全部清空。
为了解决健忘问题,很多团队会把订单、日程、聊天偏好统统倒进同一个向量数据库。这种做法看似省事,一旦用户追问精确事实,系统却只能靠语义相似度去猜答案。
谷歌在这套面向生产环境的参考架构里给出了相反的解法。先把记忆按性质拆成三层,再把读写链路拆成实时热路径与后台异步任务。
一、传统记忆方案的两个坑
1. 会话一断,上下文记忆就归零
视频开篇把大模型的会话上下文比作电脑里的内存。你在五分钟前说过的话,模型都能直接拿来用,响应非常自然。
一旦这次对话结束,这块内存就会立刻释放。下一次用户重新走进系统时,面对的还是一个完全不认识自己的助手。
记忆工程的关键从来不是存下所有信息,而是决定哪些内容值得跨会话留下来。
2. 向量库查不准精确事实
想到长期记忆,不少开发者的第一反应就是上向量数据库。把所有聊天文本、购买清单和日程记录全部切成片段,算成向量一股脑写进去。
视频在四分半钟处专门拆解了这个误区。向量检索的强项是找意思相近的内容,它并不擅长核对一条确切的记录。
当用户问“我周四买过那件外套吗”时,向量库返回的是相似描述最多的片段。它很容易把心愿单里的同类衣服、或者上个月讨论过的款式拿来充数。
只要问题需要精确命中某一条记录,向量库的相似度匹配就会变成隐患。
二、三类记忆数据分开存储
1. 有编号和日期的事实进关系数据库
什么数据算精确事实,判断标准非常具体。只要这件事带有编号、时间戳、状态变更和增删改需求,就属于结构化事实。
比如“周四晚上七点有客户聚餐”、“已经买过蓝色夹克”、“把西装加入心愿单”。在谷歌的架构里,这类记录直接存入 PostgreSQL、MySQL 或 Cloud SQL 的行列表格里。
当用户提出调整时,Agent 通过 add_to_wishlist 或 mark_purchased 等工具直接执行事务更新,读取时也是精确的条件过滤,不会靠模糊检索去碰运气。
2. 动态偏好交由向量库管理
另一类长期记忆是没有固定表头的动态理解。例如“这个用户怕热”、“她喜欢极简风格胜过夸张设计”、“穿深色系会让她更有自信”。
这类信息很难提前建好字段,往往要经过多轮对话甚至多场会话才能看清轮廓。它们才适合进入 pgvector、AlloyDB,或者谷歌托管的 Vertex AI Agent Engine Memory Bank。
在开源仓库的配置文件 memory_bank_config.py 里,谷歌团队设定了 7 个提取主题来约束总结范围。其中包含用户偏好、个人信息两个托管主题,外加穿衣风格认同、标志性单品、舒适度限制、视觉特征和场合背景五个自定义主题。
需要说明的是,这套分层设计并不绑定某一家云厂商的具体产品。无论是自己维护的 pgvector 还是托管的 Memory Bank,核心逻辑都是把规律性理解从精确事实里剥离出来。
3. 音视频只存提炼结果
面对能听能看的多模态 Agent,开发者还会遇到第三种数据,也就是摄像头传来的每秒一到两帧画面,以及 16 kHz 的连续麦克风音频流。
Annie Wang 在五分半钟处给出了非常明确的边界。原始音视频流本身不是 Agent 记忆,真正要存下来的是从画面和声音里提炼出的结论。
比如系统不需要永远保存用户穿戴时的每一帧像素,它只需要抽出一句“她又戴了那顶黑色帽子”或“这场晚宴偏正式”写进语义记忆。至于原始视频流和音频波形要不要留底,那是审计、回放或模型微调层面的独立存储决策。
三、读写分离:避免卡顿语音流
1. 开场前并行读取两类记忆
存储边界划清之后,下一步要解决的是运行时怎么把两边记忆顺畅地接回来。谷歌在演示里把读取动作放在了 Agent 开口说第一句话之前。
当新会话启动时,后端系统并行发起两次读取。一边从关系型数据库捞取即将到来的日程和心愿单,另一边向语义记忆系统检索用户的穿衣禁忌和风格偏好。
这样一来,Agent 从开口第一秒就同时握住了确定性事实与概括性理解。不需要让用户把尺寸、预算和喜恶重新交代一遍,回答自然就能接上上次的话题。
2. 明确事实当场写入,偏好留给后台总结
写入路径同样不能一刀切。视频把保存动作明确拆成了快慢两条轨道。
当用户发出清晰指令“把那件西装加入心愿单”时,Agent 必须在当前对话回合立刻调用工具写进数据库,因为用户期望马上得到已保存的确认。
风格偏好则完全相反。用户今天随口说一句“我觉得黄色挺好看”,并不代表他从此放弃了深色简约风,立刻覆盖长期画像反而会让记忆变得杂乱。
更重要的是延迟代价。提炼偏好需要调大模型通读对话上下文,这在文本聊天里多等几秒或许影响不大,在全双工语音对话里却是致命停顿。
根据配套演讲稿的测算,语音输出大约保持在每分钟 150 词的节奏。只要插进一轮等待模型响应再由用户确认的工具往返,就会白白烧掉 2 个语音轮次,带来 6 到 16 秒的尴尬冷场。
实时热路径只负责把确定的事实同步写进去,需要大模型动脑归纳的偏好放到后台异步提炼。
在 FashionMind 源码里,团队通过 ADK 的 after_agent_callback 挂载后台协程任务。
每次交互后由 gemini-2.5-flash 在热路径之外静默提炼会话并写回 Memory Bank,从而保证前面语音流始终顺畅不断句。
四、开源代码里的三处工程取舍
对照 Google Cloud Next 的演讲方案和 cuppibla/fashionmind 开源仓库里的最新代码,我发现工程团队为了扛住真实网络环境下的延迟和断连,对最初设想做了三处明显的取舍。
1. 删掉推荐工具,改用正则匹配
最初方案想在模型说话时顺便触发一个 recommend_products 工具往前端推商品卡片,但现行 agent.py 第 327 行特意移除了这个工具。
原因还是为了省去工具调用的往返回合。现在后端在下行流函数 _detect_products_in_text() 里直接用正则匹配文本里的商品名称,话音刚说出口,前端卡片就已经同步亮起。
配套演讲稿也给出了一条目录大小经验线。100 件以下直接全量放进上下文,100 到 500 件只保留名称与价格,超过 500 件再退回检索工具调用。
项目说明里补充提到,这套直接注入上下文的做法在当前约 200 件商品附近会触及 token 成本上限,且单一会话期内不会动态刷新记忆。
2. 宁可晚几秒开麦,也要等记忆先读完
早期的文档和演示图曾主打零毫秒直接开麦,再靠 LiveRequestQueue 在后台把记忆硬插进对话流。
而在现行 main.py 里,团队特意延后了实时音频流起步。
代码里的 _startup_task 会先并行等待 Memory Bank 召回与数据库上下文查询写入 session.state,超时上限分别为 8 秒和 2 秒,等记忆准备妥当后再放开实时音频连接。
3. 对话状态暂放本地内存,避开远程延迟
在 services.py 的注释中可以看到,团队刻意选择了本地的 InMemorySessionService,暂时没有启用远程的 VertexAiSessionService。
因为在连续语音流下,每次数据块都要往远程服务追加 append_event 记录,不仅叠加延迟,长时间流中途一旦碰到 OAuth 凭证刷新还容易导致连接异常断开。
先保住当下这一通电话的稳定不断线,把跨会话记忆沉淀交给异步后台处理,成了更务实的选择。
写在最后
回看谷歌开源的这套 FashionMind 项目,它在架构上并没有用多复杂的算法,核心就是把不同性质的数据拆开:有确定状态的日程和订单走关系库 SQL,模糊的长期偏好走异步大模型总结,原始音视频流提取完结论后不进在线记忆库。
下次从零搭建带记忆的语音或视觉应用时,不妨先照着这条分界线画清你的存储架构图,再动手写第一行代码。
一起“点赞”三连↓