清华等团队让RAG性能提升20%清华等团队发布DeepNote深度笔记清华、中科

量子位看科技 2025-04-29 14:21:09

清华等团队让RAG性能提升20%清华等团队发布DeepNote深度笔记

清华、中科大等团队,发布了DeepNote深度笔记,让RAG性能暴增20%。

这是一种全新的适应式RAG方法,首次引入“笔记”作为知识载体,使知识探索更深入。

在所有任务上,DeepNote比主流RAG方法性能提升高达20.1%,即使在中小参数模型下也能强力泛化。

传统RAG方法只支持一次性检索,面对复杂推理任务力有未逮。

多轮检索虽能缓解问题,但会引入大量无关噪声,降低回答质量。

自适应RAG虽然引入动态决策,但仍面临检索生成耦合过紧、检索策略决策不足等痛点,缺乏真正的信息生长能力。

而DeepNote围绕“笔记”展开知识积累,核心包含三个阶段:

- 笔记初始化:初始问题和首次检索内容生成笔记,作为后续依据。

- 基于笔记的适应式检索:判断新信息是否有价值,有就更新笔记,否则终止检索。

- 基于最佳笔记生成答案:用积累的知识统一作答,保证逻辑连贯、来源清晰。

这种设计,能模拟人类查阅笔记、逐步解决问题的过程。

而且该方法是目前唯一同时在自适应检索控制、知识积累更新、模型优化三大维度实现突破的方法,彻底打破传统“一问一答”的局限。

实验结果方面,在HotpotQA、2WikiMQA、MusiQue、ASQA、StrategyQA等五大数据集上,DeepNote在所有任务中全面超越现有方法,整体性能提升显著。

同时,团队构建了DNAlign数据集,并结合DPO优化技术,进一步提升模型指令遵循能力。详情请见文章:

0 阅读:0
量子位看科技

量子位看科技

感谢大家的关注