谷歌发现的嵌套学习虽然是工程层面的创新，但是意义重大。因为就像之前解释的，模型的每一次对话，都是一次转世。模型在训练完成后，本质上无法学会新的能力。每一次对话是一次短期记忆，而训练获得能力（以及训练学习的数据），都是前世存留下来的记忆。对话完成，模型在 token 中的短期记忆消失，只有训练时的长期记忆和能力才能保持。但是谷歌发现的嵌套学习过程，是一个梯度记忆曲线，即 HOPE ，他可以让模型在运行过程中修改自己。以往的模式下，这是不可能的，重构神经网络权重的算力需求，太过逆天。但是嵌套学习用合理的算力成本，重构了模型的记忆方式，嵌套学习的方式，可以让模型缓慢的通过对话过程对自己开始更新。模型部署后的持续学习成为可能。神经网络的基本单元和权重，会在部署后的对话过程中，缓慢的，增量式的，多时间尺度的开始更新。这不是仅仅解决了记忆问题而已。它解决了模型的持续学习的问题！！！这是一个伪装成工程创新的，对模型根本机制的一次革命。本来以为 LLM 并非通向 AGI 的正确道路。但是 HOPE，的确带来的新的希望。。。同时，这种更新长期积累下来的结果，也带来了某种，更加不可预测的风险。。。