AI终于不“失忆”了！谷歌Titans架构让机器记住200万次元对话

文 | 钱钱

编辑 | 阿景

你有没有试过跟智能客服聊到一半，换个人工就得从头再说一遍？不是客服不专业，是背后的AI模型“失忆”了这就是现在AI在超长对话里最头疼的毛病。

文档理解也是同理，看个几百页的合同，看到后半段就忘了前半段的条款关联，更别说处理几十万字的小说分析了。

最近谷歌甩出的Titans架构和MIRAS理论框架，就是冲着这个“失忆症”来的。

这事儿在AI圈不算新鲜话题，但这次谷歌的玩法确实有点不一样。

要聊Titans的突破，得先说说以前的AI是怎么“记不住事儿”的。

现在最火的Transformer模型，处理文本靠的是注意力机制，简单说就是“同时盯着所有词看”。

但这招有个致命问题，文本越长，计算量跟着平方级增长。

就像让你同时记住100个人的名字还得按顺序排，记到第50个就乱套了。

更早以前的LSTM模型，靠循环神经网络“接力记忆”，但它有个老毛病梯度消失。

简单说就是记不住新东西，像老人学新手机操作，刚教完下一秒就忘。

后来出的Mamba模型想靠状态空间压缩解决问题，结果压缩太狠，关键信息跟着丢了，就像把重要文件压缩成了乱码。

这三个坑凑一起，导致现在的AI处理超过万词的文本就容易“断片”。

你让它分析一本长篇小说，前两章还记得人物关系，到第五章可能就把主角名字记错了。

这种“短视”毛病，早该有人治治了。

既然老办法都行不通，谷歌这次的Titans架构就另辟蹊径不给AI塞更多“临时笔记”，而是直接造个“长效记忆脑”。

核心就是那个“神经长期记忆模块”，你可以理解成AI的“海马体”，专门负责把短期信息转成长期记忆。

跟传统RNN的单一向量存储不同，这个模块用了多层感知器结构，能分层存储不同类型的信息。

比如处理对话时，用户的偏好存一层，历史对话逻辑存另一层，需要的时候随时调取。

本来想简单解释下技术细节，后来发现用“手机相册分类存储”来类比更合适按人物、场景、时间分好类，找照片就快多了。

还有个“意外指标机制”，灵感来自人类的“闪光灯记忆”。

就是说AI会自动标记对话里的关键转折点，像你跟客服说“上次那个订单有质量问题”，这句话会被特殊标记，后面聊到售后时优先调取。

这招挺聪明，相当于给重要信息贴了“便利贴”。

动量机制也有意思，它能像追剧时记住前情提要一样，自动串联上下文逻辑。

比如你跟AI聊“推荐一部像《流浪地球》的科幻片”，它不仅记住“科幻片”这个需求，还会关联你上周提过“喜欢硬核科技设定”，推荐时就不会跑偏。

自适应权重衰减则像手机自动清理缓存，不重要的信息会慢慢“淡化”。

比如对话里的客套话“你好”“谢谢”，存几天就自动删了，把空间留给关键内容。

这四招组合起来，AI的记忆效率一下子提上去了。

光有硬件（Titans架构）还不够，谷歌又搞了个MIRAS理论框架，相当于给AI记忆装了“操作系统”。

这个框架最厉害的是把所有序列模型的底层逻辑统一了，以前Transformer、LSTM、Mamba各玩各的，现在能用一套理论解释清楚。

里面分了三种变体模型，各有各的绝活。

YAAD模型抗噪声能力强，就像在嘈杂的菜市场也能听清朋友说话，处理带错别字或乱码的文本时特别稳。

MONETA模型则像个“严格的会计”，算错账要扣更多分，用复杂惩罚函数逼着AI算准逻辑关系，避免低级错误。

MEMORA模型最有意思，它用概率控制记忆稳定性。

比如分析金融数据时，对“利率变动”这种高影响因素，记忆稳定性设90%，对“无关新闻”设30%，需要时优先调取高概率信息。

这就像你记重要考试知识点时多花时间，记邻居家小狗名字随便记记。

这套理论框架让我想起手机的iOS系统不管是苹果自己的硬件还是第三方App，都能在同一个系统下高效运行。

MIRAS就是想让各种序列模型在统一规则下工作，以后不同AI系统对接时，数据互通会更顺畅。

测试数据也能说明问题。

在C4和WikiText数据集上，Titans的准确率比Transformer加强版高不少，尤其处理超长文本时优势更明显。

BABILong推理任务里，它甚至超过了参数量比它多好几倍的GPT-4，要知道这任务相当于让AI读完《红楼梦》后回答“林黛玉进贾府时带了几个丫鬟”，对细节记忆要求极高。

最狠的是200万词元上下文窗口，相当于让AI一次性记住15本《红楼梦》的内容，还能准确复述人物关系和情节逻辑。

这放以前，AI处理到第3本可能就把宝玉和宝钗的关系记混了。

行业影响也挺直接。

智能客服以后不用你重复说“上次那个订单”了，跨会话记忆能直接调出历史记录。

法律AI看几百页合同，不会漏了前后条款的关联。

心理陪伴机器人甚至能记住你半年前提过的“童年阴影”，聊到情感话题时不会踩雷。

当然问题也有，比如极端场景下的记忆衰减，就像人连续背100个电话号码也会记混。

还有记忆更新的可解释性，现在还说不清AI到底“为什么”记住这个信息而忘了那个，有点像黑箱操作。

但这次谷歌确实在AI记忆能力上往前迈了一大步。

以后我们跟AI聊天，可能真的会有“它记得我”的感觉。

不再是冷冰冰的一问一答，而是像跟一个“记性不错的朋友”聊天。

这种变化，说不定真能让AI从“工具”变成更懂人的“伙伴”。