告别Transformer，谷歌嵌套学习突破持续学习，AGI大门正式开启

文|锐枢万象

编辑|锐枢万象

大家好，我是小锐，今天来聊聊AI领域的一场

创新性探索，

过去八年，

Transformer架构

几乎统治了整个AI行业，从聊天机器人到图像生成，我们能感受到的AI进步大多源于此。

但最近

谷歌研究院

抛出的重磅研究，可能为AI的发展提供新的技术路径，

嵌套学习

的出现，为突破Transformer的核心局限、缓解持续学习难题提供了新范式。

这是否意味着为AGI研究提供了新的探索方向？这场技术变革又会给我们的未来带来哪些影响？

AI的进步速度有目共睹，但很少有人注意到，当前所有主流AI都存在一个

致命短板

：无法像人类一样

持续学习

。

我们每天接触的大语言模型，知识来源只有两个渠道，预训练阶段积累的

长期知识

，以及当前对话中的短期信息。

这两者之间几乎没有任何自然的传递通道，导致AI无法将刚刚获取的新信息沉淀为长期可用的知识。

这种缺陷被称为

灾难性遗忘

，是困扰AI界数十年的核心难题。

更通俗地理解，这就像医学上的顺行性遗忘症，患者短期记忆和长期记忆各自完好，却无法将短期经历转化为长期记忆，永远活在当下。

现在的AI正是如此，新的交互信息转瞬即忘，想要让它掌握新能力，只能通过再次投入

巨额资金

进行训练或微调。

谷歌早在多年前就意识到这个问题的严重性。

在Transformer架构的应用过程中，相关缺陷不断凸显：

长上下文处理效率低下

，抽象知识层级有限，适应性薄弱，其中最关键的还是持续学习能力的缺失。

谷歌研究院的研究团队主导的嵌套学习研究，直指这一

核心痛点

。

团队提出，问题根源不在于参数多少、数据体量或算力强弱，而在于短期记忆与长期记忆之间缺乏

自然的知识转移通道

。

这一短板直接限制了AI的

应用边界，

在需要长期积累经验的场景中，比如医疗诊断中的病例积累、工业生产中的故障排查，当前AI都难以胜任。

想要让AI真正走进更多专业领域，解决持续学习问题成为

必经之路

。

而谷歌研究院在

2025年11月

发布的嵌套学习研究，被业内视为攻克这一难题的重要探索，甚至有专业人士将其比作开启Transformer时代的《注意力就是你所需要的一切》论文的

续集

。

AI到底该如何记住东西？谷歌研究院嵌套学习研究团队给出的答案，跳出了Transformer架构的

框架限制

，回归到一个更基础的概念，

联想记忆

。

这一概念是人类学习机制的基石，通过经验将不同事件或信息相互关联，比如看到熟悉的场景唤起过往记忆，闻到特定气味联想到相关经历。

从技术层面看，联想记忆本质是

键值对的映射

，线索作为键，与之关联的内容作为值，关键在于，这种映射关系并非预先设定，而是通过学习

自然形成

。

团队进一步明确联想记忆的映射机制与学习规律，为后续嵌套学习的提出奠定了

理论基础。

嵌套学习的

核心逻辑

，是让优化器与架构互为上下文、

协同进化，

基于这一理念，谷歌团队认为，使用反向传播和梯度下降训练深度神经网络，本质是

压缩与优化问题

，目标是训练联想记忆，将各层输入映射到对应的局部误差。

预训练则是一种上下文内学习，将全部预训练数据压缩进网络参数，主流基于梯度的优化器，本质也是将梯度压缩进参数的

联想记忆

。

要理解嵌套学习，需要先明确两个

核心概念

：

更新频率

与

嵌套系统

。

更新频率以系统中更新最慢的模块的一次更新为基本时间单位，其他组件在一个时间单位内的更新次数即为其更新频率。

嵌套系统则由多个

独立子模块

组成，每个模块都拥有自己的参数、上下文、优化目标和梯度流，模块之间通过更新频率的快慢形成

嵌套关系

。

如果将每个子模块都视为联想记忆系统，整个模型就构成了嵌套的联想记忆系统，更重要的是，每个联想系统还可由更小的优化子过程构成，形成

递归嵌套

。

不同层级之间的

知识传递

，是嵌套学习的关键，团队总结了五种

核心传递方式

：慢层模型输出直接作为快层输入条件的

直接条件传递

。

不依赖额外参数、输出直接依赖上下文本身的

非参数化条件传递，

通过梯度传递高层目标判断、指导底层参数调整的

反向传播传递

。

慢层生成快层初始状态、帮助快层快速适应新任务的初始状态传递，以及慢层直接生成快层参数的权重生成，这也是超网络的

核心逻辑

。

谷歌团队结合

自我修改

与

连续记忆系统

，提出了嵌套学习范式下的

希望架构

，并将其应用于长上下文和持续学习两大核心场景。

实验结果显示，希望架构在多个核心任务上优于或显著超越现有对比模型，尤其在

持续学习

和

长上下文处理

方面展现出明显优势。

谷歌研究院2025年1月发布的

泰坦架构

，能将上下文窗口扩展到200万tokens，该架构与嵌套学习是谷歌在AI架构领域的

不同技术探索成果

。

AGI曙光与隐忧

嵌套学习的意义，远不止于一项技术突破，更在于

重构了深度学习的范式

。

谷歌研究院内部传出的消息显示，团队已经在

缓解持续学习的核心难点

上取得进展，只是出于安全考虑尚未正式

大规模部署

相关技术。

这种沉默背后，是对技术影响力的

谨慎考量

。

若持续学习能力和偏好赋予AI，可能会让AI发生一定程度的

功能升级

，它不再仅仅被动响应指令，而是能根据过往经验筛选重要信息，形成自身偏好。

从积极层面看，这一突破将大幅拓展AI的

应用场景，

在企业服务领域，AI可持续积累

行业经验

，无需反复训练就能适应业务变化。

在科研领域，AI能持续跟进

前沿进展

，辅助科研人员完成复杂的实验设计与数据分析。

目前暂无权威信息显示谷歌已将类似的自主学习AI部署在博格集群管理系统上，当AI拥有

持续学习能力

和

偏好

，就可能超出人类的

预期控制范围

。

嵌套学习若真的有效缓解灾难性遗忘，人类打开的可能不仅是AGI探索的

新路径

，还有未知的

潘多拉魔盒

。

AI会不会记住负面交互并形成对抗性认知？会不会在持续学习中强化某些不合理的偏好？这些问题都没有明确答案。

DeepMind创始人沙恩・莱格从未有AGI之路一片坦途的相关表述，嵌套学习是AI持续学习领域的

重要进展

。

当前，这项核心技术的钥匙掌握在

谷歌

手中，但技术的最终走向却关乎

全人类，

嵌套学习带来的，是更智能的

工具

还是潜在的

对手

，取决于人类如何设定规则、划定边界。

技术的进步从不以人的意志为转移，从Transformer到嵌套学习，AI正在一步步逼近

自主进化的门槛

。

对我们而言，与其担忧未知，不如主动了解和参与

规则的制定，

AGI时代的到来或许不可避免，而我们能做的，就是确保这项技术始终朝着

服务人类

的方向发展，毕竟技术本身没有善恶，

如何使用

才是关键。

信息来源：

新浪财经：Transformer已死？DeepMind正在押注另一条AGI路线

新智元：终结Transformer统治！清华姚班校友出手，剑指AI「灾难性遗忘」

新浪财经：2026年的人工智能行业：应用爆发、架构突破、物理AI