人类记忆与人工智能记忆:大语言模型时代的融合与发展
本文综述了从人类记忆到AI记忆的研究进展,系统探讨了如何借鉴人类记忆机制构建更强大的AI记忆系统。文章首先剖析了人类记忆的分类(短期/长期记忆)及其认知过程,随后提出了AI记忆的"三维八象限"分类框架(对象、形式、时间三个维度),将现有研究系统化。研究重点分析了个人记忆(提升个性化能力)和系统记忆(增强复杂任务处理)的实现方法,包括参数化与非参数化存储技术。最后指出了当前AI记
今天跟着虎sir 接着看下Agent+Memory 的文章,首先通过下面两张图来看下Agent 和记忆的关系:
由此看出,记忆单元不可或缺且非常重要,那么如何让Agent 也建立起和人类一样的记忆了?今天我们来看一篇华为诺亚方舟实验室带来的文章:《From Human Memory to AI Memory: A Survey on Memory Mechanisms in the Era of LLMs》
以下是正文部分:
摘要
记忆是对信息进行编码、存储和提取的过程,它使人类能够长期保留经验、知识、技能与事实,是人类成长及与世界有效互动的基础。记忆在塑造个人身份、辅助决策、从过往经验中学习、建立人际关系及适应变化等方面发挥着关键作用。在大语言模型(LLM)时代,记忆指人工智能(AI)系统保留、回忆并利用过往交互信息,以改进未来响应与交互的能力。尽管以往的研究与综述已对记忆机制进行了详细阐述,但目前仍缺乏系统性综述:既未总结分析大语言模型驱动的 AI 系统(LLM-driven AI systems)记忆与人类记忆的关联,也未探讨如何借鉴人类记忆构建更强大的记忆系统。为此,本文对大语言模型驱动的 AI 系统记忆展开全面综述:首先,详细分析人类记忆的类别,并将其与 AI 系统记忆建立关联;其次,系统梳理现有与记忆相关的研究成果,提出基于 “对象、形式、时间” 三个维度及八个象限的分类方法;最后,阐明当前 AI 系统记忆存在的开放性问题,并概述大语言模型时代记忆研究可能的未来方向。
1 引言
近年来,大语言模型(LLM)凭借强大的语言理解与生成能力,已成为 AI 系统的核心组件,广泛应用于智能客服、自动写作、机器翻译、信息检索、情感分析等各类场景 [1-4]。与依赖预定义规则和人工标注特征的传统 AI 系统不同,大语言模型驱动的 AI 系统具备更高灵活性,能处理多样化任务,且适应性与上下文感知能力更强。此外,记忆功能的引入使大语言模型能够保留与用户的历史交互记录、存储上下文信息,从而在未来交互中提供更具个性化、连续性与上下文相关性的响应 [2,5,6]。具备记忆能力的大语言模型 AI 系统,不仅能提升用户体验,还可支持更复杂、动态的应用场景,推动 AI 技术向更高智能水平与 “以人为本” 的设计方向发展 [7,8]。
在神经科学领域,人类记忆指大脑存储、保留与提取信息的能力 [9,10]。它是人类认识世界、学习新知识、适应环境及做出决策的基础,使我们能够保留过往经验、技能与知识,并助力形成个人身份与行为模式 [11]。根据新记忆形成后的保留时长,人类记忆可大致分为短期记忆与长期记忆 [12]:
-
短期记忆:指临时存储与处理的信息,通常保留几秒至几分钟,包括感觉记忆与工作记忆 [11];
-
长期记忆:指可长期存储的信息,保留时长从几分钟到数年不等,包括陈述性外显记忆(如情景记忆、语义记忆)与非陈述性内隐记忆(如条件反射、程序记忆)[11]。
人类记忆是复杂的动态过程,依赖不同记忆系统处理各类用途的信息,影响我们对世界的理解与响应方式。人类记忆的不同类型及其工作机制,可为研发更科学合理的 “记忆增强型 AI 系统” 提供重要启发 [13-16]。
在大语言模型时代,最典型的记忆增强型 AI 系统是 “大语言模型驱动的自主智能体系统”[10]。这类智能体是能够通过自然语言执行复杂任务的 AI 系统,集成了规划、工具使用、记忆、多步推理等能力,以增强交互效果与问题解决能力 [1,2,10]。该系统可自主分解复杂任务、记忆交互历史、调用并执行工具,从而高效完成一系列复杂任务。其中,记忆作为大语言模型智能体的核心组件,被定义为获取、存储、保留并后续提取信息的过程 [10]。它使大语言模型能够突破上下文窗口限制,让智能体回忆交互历史并做出更准确、智能的决策。例如,MemoryBank [17] 提出一种长期记忆机制,支持大语言模型检索相关记忆,并通过持续更新实现能力进化,同时整合过往交互信息以理解并适配用户性格。此外,许多商业与开源 AI 系统也集成了记忆功能以增强个性化能力,如 OpenAI 的 ChatGPT Memory [18]、苹果的 Personal Context [19],以及开源项目 mem0 [20]、MemoryScope [21] 等。
尽管以往研究与综述已对记忆机制进行了详细解释,但现有成果大多仅从 “时间维度”(短期记忆与长期记忆)分析记忆 [8,7,17]。我们认为,仅基于时间维度对记忆进行分类并不充分,AI 系统的记忆分类还涉及对象、形式等多个维度。例如:
-
从 “对象维度” 看:AI 系统需与人类交互,因此需感知、存储、回忆并利用与单个用户相关的记忆(即 “个人记忆”);同时,AI 执行复杂任务时会产生中间结果(如推理规划过程、网络搜索结果等),形成 “系统记忆”;
-
从 “形式维度” 看:由于 AI 系统由大语言模型驱动,记忆既可以通过 “参数记忆”(编码在模型参数中)存储,也可以通过 “非参数记忆”(以外部记忆文档形式存储于模型之外)管理。
因此,当前大语言模型时代,仍缺乏从 “对象(个人 / 系统)、形式(参数 / 非参数)、时间(短期 / 长期)” 多维度综合考量记忆的研究,也尚未有系统性综述分析 “大语言模型驱动 AI 系统记忆与人类记忆的关联”,以及 “如何借鉴人类记忆构建更高效强大的记忆系统”。
为填补这一空白,本文对大语言模型驱动 AI 系统的记忆机制展开全面综述:首先,详细分析人类记忆的类别,并与 AI 系统记忆建立关联,尤其探索人类的短期记忆(含感觉记忆、工作记忆)与长期记忆(含外显记忆、内隐记忆),如何对应大语言模型 AI 系统的 “个人 / 系统记忆”“参数 / 非参数记忆” 及 “短期 / 长期记忆”;其次,系统梳理现有记忆相关研究,提出基于 “三维八象限”(对象、形式、时间三个维度)的分类方法 —— 对象维度分为个人记忆与系统记忆,形式维度分为参数记忆与非参数记忆,时间维度分为短期记忆与长期记忆;最后,基于上述三维八象限的分类结果,分析当前 AI 系统记忆的开放性问题,并概述大语言模型时代记忆研究的未来方向。
本文的主要贡献如下:
-
系统且全面地定义了大语言模型驱动 AI 系统的记忆,并与人类记忆建立对应关系;
-
提出基于 “三维(对象、形式、时间)八象限” 的记忆分类方法,为大语言模型时代的记忆研究提供更系统的探索框架;
-
从增强个性化能力的角度,分析总结与 “个人记忆” 相关的研究;
-
从提升 AI 系统复杂任务执行能力的角度,分析总结与 “系统记忆” 相关的研究;
-
明确当前记忆研究存在的问题与挑战,并指出未来可能的发展方向。
全文结构安排如下:第 2 章详细阐述人类记忆与 AI 系统记忆,对比二者的差异与关联,并介绍 “三维八象限” 记忆分类方法;第 3 章总结与个人记忆相关的研究,旨在增强 AI 系统的个性化响应能力;第 4 章总结与系统记忆相关的研究,旨在提升 AI 系统的复杂任务执行能力;第 5 章分析记忆相关的开放性问题,并指出未来发展方向;第 6 章对综述进行总结。
2 概述
人类大脑经过长期进化,形成了复杂且高效的记忆机制,能够高效地编码、存储与提取信息 [9]。因此,在 AI 系统研发中,可借鉴人类记忆的启发,设计高效的记忆机制或系统。本章首先从记忆神经科学视角,详细阐述人类大脑复杂的记忆机制及相关记忆系统;其次,探讨大语言模型驱动 AI 系统特有的记忆机制与类型;最后,基于大语言模型 AI 系统的记忆特征,从不同维度对现有研究进行系统综述与分类。
2.1 人类记忆
人类记忆通常依赖不同记忆系统处理各类用途的信息,例如:工作记忆用于临时存储与处理信息以支持当前认知活动,情景记忆用于长期记录个人经历与事件 [11]。
2.1.1 短期记忆与长期记忆
根据著名的 “多存储模型”(又称 “阿特金森 - 希夫林记忆模型”)[22],可依据记忆保留的时间范围,将人类记忆大致分为短期记忆与长期记忆。
短期记忆
短期记忆是临时存储系统,可存储少量信息,保留时长通常为几秒至几分钟,包括感觉记忆与工作记忆:
-
感觉记忆:对从外部世界获取的感觉信息进行短暂存储,包括图像记忆(视觉)、声像记忆(听觉)、触觉记忆(触觉)及其他感觉数据,通常仅保留几毫秒至几秒。部分感觉记忆会传递至工作记忆,另有部分最终会存储为长期记忆(如情景记忆);
-
工作记忆:用于临时存储与处理信息的系统,不仅能帮助我们维持当前想法,还在决策与问题解决中发挥作用。例如,解决数学问题时,工作记忆可帮助我们同时记住题目与解题步骤。
长期记忆
长期记忆是可长期存储信息的系统,保留时长从几分钟到一生不等,包括外显记忆与内隐记忆 —— 二者协同作用,帮助人类长期保留知识、经验与习得的能力:
-
外显记忆:又称陈述性记忆,指可轻松用语言描述或 “陈述” 的记忆,进一步分为情景记忆与语义记忆:
-
情景记忆:与个人经历和事件相关的记忆,例如 “午餐吃了什么”,通常分为编码、存储、提取等阶段;
-
语义记忆:与事实和知识相关的记忆,例如 “地球是圆的”“地球绕太阳公转”;
-
-
内隐记忆:又称非陈述性记忆,指难以用语言描述的记忆,与习惯、技能、流程相关,无需有意识回忆即可调用。程序记忆(又称 “肌肉记忆”)是内隐记忆的典型形式,指通过动作习得的记忆(如骑自行车、弹钢琴),动作的规划与协调是其核心组成部分。
人类的多个记忆系统通常同时运作,通过不同脑区以多种方式存储信息。这些记忆系统并非完全独立,而是相互作用、在多数情况下相互依赖。例如,当你听到一首新歌时:
-
耳朵的感觉记忆与大脑中负责处理声音的脑区被激活,将歌曲声音存储几秒;
-
声音信息随后传递至工作记忆系统;
-
当你通过工作记忆有意识地思考这首歌时,情景记忆会自动激活,回忆起 “在哪里听到这首歌”“当时在做什么”;
-
随着你在不同时间、不同地点多次听到这首歌,新的语义记忆逐渐形成,将歌曲旋律与歌名关联 —— 此后再听到这首歌时,你会记起歌名,而非某一次具体的聆听经历;
-
当你练习用吉他弹奏这首歌时,程序记忆会记住弹奏所需的手指动作。
2.1.2 记忆机制
记忆的核心是编码、存储与提取信息的能力,因此人类记忆涉及三个主要过程:
-
编码:将获取的信息处理为大脑可存储的形式;
-
存储:将编码后的信息在短期或长期记忆中保留;
-
提取:在需要时访问并调取存储的信息,使其回到意识层面。
编码
记忆编码是将感觉信息转换为大脑可处理与存储形式的过程。根据信息处理方式的不同,编码可分为多种类型:
-
视觉编码:基于颜色、形状、纹理等视觉特征处理信息;
-
听觉编码:聚焦音高、音调、节奏等听觉特征;
-
语义编码:基于信息的含义进行处理,便于信息的结构化与记忆。
此外,还有多种方法可提升大脑的编码效率,例如:
-
记忆术:利用首字母缩写、挂钩词系统等辅助记忆;
-
分块:将信息拆分为更小的有意义单元,增强记忆保留效果;
-
联想:将新信息与已有知识关联,提升理解与长期记忆存储效果。
存储
记忆存储涉及多个脑区的协同活动,关键脑区包括:
-
前额叶皮层:与工作记忆、决策相关,帮助短期维持与处理信息;
-
海马体:协助整理与巩固信息,形成新的外显记忆(如情景记忆);
-
大脑皮层:参与语义记忆的存储与提取,使人类长期保留事实、概念与常识;
-
小脑:主要负责通过重复形成的程序记忆。
提取
记忆提取是访问并调取存储信息的能力。当我们回忆某件事时,大脑会重新激活与该记忆相关的神经通路(又称突触),前额叶皮层则帮助将记忆带回意识层面。记忆提取主要包括以下类型:
-
再认:识别曾接触过的信息或刺激,例如认出熟悉的面孔、回忆起学过的事实;
-
回忆:无需外部提示即可从记忆中提取信息,例如凭记忆想起电话号码或地址;
-
再学习:重新获取曾学过但已遗忘的信息 —— 由于残留的记忆痕迹仍存在,再学习的速度通常快于初次学习。
除编码、存储、提取这三个基础记忆过程外,人类记忆还涉及以下环节:
-
巩固:稳定并强化记忆以实现长期存储的过程,主要涉及海马体,通过突触可塑性(增强神经元间连接)与系统巩固(记忆从海马体逐渐转移到新皮层长期存储)强化神经连接;
-
再巩固:已存储的记忆被重新激活后进入不稳定状态,需再次巩固才能维持存储的过程,可修改或更新现有记忆以适应新信息或新场景,可能导致记忆增强、减弱或失真 —— 记忆重新激活后会涉及海马体与杏仁核,且可能受情绪、认知偏差或新信息影响,实现记忆调整或重塑;
-
反思:个体主动回顾、评估自身记忆内容与过程的过程,旨在增强自我意识、调整学习策略或优化决策,有助于提升元认知能力、纠正记忆偏差、促进深度学习与调节情绪,主要依赖大脑的元认知能力,涉及负责监控与调节记忆功能的前额叶皮层;
-
遗忘:大脑无法提取或保留信息的自然过程,可能由以下原因导致:
-
编码失败:因注意力不足或缺乏有意义关联,信息未被正确编码;
-
记忆衰退:神经连接减弱,记忆未得到强化而随时间淡化;
-
干扰:相似或新的记忆与现有记忆竞争,甚至覆盖现有记忆;
-
提取失败:信息虽已存储,但因缺乏上下文提示而无法访问;
-
动机性遗忘:个体有意识压抑或无意识抑制创伤性或令人痛苦的记忆。
-
然而,遗忘是自然且必要的过程 —— 它帮助大脑过滤无关、过时的信息,使我们能优先关注当前需求中最重要的内容。
2.2 大语言模型驱动 AI 系统的记忆
与人类类似,大语言模型驱动的 AI 系统也依赖记忆系统编码、存储与提取信息,以备未来使用。典型案例是 “大语言模型驱动的智能体系统”,该系统利用记忆增强智能体的推理、规划、个性化等能力 [10]。
2.2.1 AI 记忆的基本维度
大语言模型驱动 AI 系统的记忆,与大语言模型的特征密切相关 —— 这些特征决定了信息基于模型架构与能力的处理、存储及提取方式。我们主要从三个维度对记忆进行分类与梳理:
-
对象维度:个人记忆与系统记忆;
-
形式维度:非参数记忆与参数记忆;
-
时间维度:短期记忆与长期记忆。
这三个维度全面涵盖了 “记忆保留的信息类型”(对象)、“信息的存储方式”(形式)与 “信息的保留时长”(时间),既符合大语言模型的功能结构,也满足高效提取与适应的实际需求。
对象维度
该维度与大语言模型 AI 系统和人类的交互密切相关,根据信息的来源与用途对其进行分类:
-
一方面,系统接收人类的输入与反馈,形成 “个人记忆”;
-
另一方面,系统执行任务时会产生一系列中间输出结果,形成 “系统记忆”。
个人记忆帮助系统加深对用户行为的理解、增强个性化能力;系统记忆则可提升系统的推理能力,例如 “思维链”(CoT)[23]、“推理 - 动作协同”(ReAct)[24] 等方法均依赖系统记忆。
形式维度
该维度聚焦大语言模型 AI 系统中记忆的表示与存储方式,决定信息的编码与提取逻辑:
-
部分记忆通过训练嵌入模型参数,形成 “参数记忆”;
-
另一部分记忆以结构化数据库或检索机制的形式存储于模型外部,形成 “非参数记忆”。
非参数记忆可作为补充知识源,供大语言模型动态访问,提升实时检索相关信息的能力,例如 “检索增强生成”(RAG)[25] 技术即基于非参数记忆实现。
时间维度
该维度定义记忆的保留时长,以及不同时间尺度下记忆对大语言模型交互的影响:
-
短期记忆:指在当前对话中临时保留的上下文信息,确保多轮对话的连贯性与连续性;
-
长期记忆:指存储在外部数据库中的过往交互信息,需用时调取,使模型能保留用户专属知识,长期提升个性化水平。
这种区分使系统既能保证实时响应能力,又能通过积累学习增强适应性。
除上述三个核心维度外,记忆还可按其他标准分类(如按模态分为单模态记忆(单一数据类型)与多模态记忆(整合文本、图像、音频等多种数据类型);按动态性分为静态记忆(固定不变)与流式记忆(实时动态更新))。但这些分类并非本文关注的核心 —— 我们聚焦对大语言模型 AI 系统记忆组织与提取影响最直接的核心结构维度。
2.2.2 人类记忆与 AI 记忆的关联
大语言模型(LLM)驱动的人工智能系统,其记忆在结构和功能上与人类记忆存在相似性。人类记忆通常分为短期记忆和长期记忆,这一分类方式同样适用于人工智能记忆系统。下文将直接对比这些记忆类别,将人类认知记忆过程与智能人工智能系统中的对应过程进行映射。图 1 展示了人类记忆与人工智能记忆的对应关系。
• 感觉记忆:当大语言模型驱动的人工智能系统感知外部信息时,会将文本、图像、语音、视频等输入转换为机器可处理的信号。这一信息处理的初始阶段,与人类的感觉记忆类似 —— 在进行进一步认知处理前,原始数据会被短暂保留。若这些信号经过额外处理,会转化为工作记忆,为推理和决策提供支持;若未进行进一步处理或存储,信息会被快速丢弃,这与人类感觉记忆的瞬时性特征一致。
图 1:人类记忆与人工智能记忆的对应关系示意图
• 工作记忆:人工智能系统的工作记忆是一种临时存储与处理机制,可支持实时推理和决策。它既包含个人记忆(如多轮对话中保留的上下文信息),也包含系统记忆(如任务执行过程中生成的思维链)。作为短期记忆的一种形式,工作记忆可经过进一步处理与巩固,最终转化为可在未来调取使用的长期记忆(如情景记忆)。此外,在推理过程中,大语言模型会生成键值缓存(KV-Caches)等中间计算结果,这些结果可作为参数化短期记忆,通过加快推理过程提升效率。
• 外显记忆:人工智能系统的外显记忆可分为两个不同部分。第一部分是非参数化长期记忆,负责存储和调取用户专属信息,支持系统保留并利用个性化数据,对应人类的情景记忆;第二部分是参数化长期记忆,将事实知识和已学习信息嵌入模型参数,形成内置知识库,对应人类认知中的语义记忆。这两部分共同作用,使系统能够回忆过往交互内容,并有效应用已获取的知识。
• 内隐记忆:人工智能系统的内隐记忆涵盖任务执行过程中习得的流程与模式,可帮助系统形成特定任务的专属技能,对应人类的程序记忆。这种记忆形式可通过非参数化方式,模拟人类从成功与失败中学习的过程 —— 通过回顾和优化积累的痕迹,保留并复用过往经验中的有效策略;同时,它也可被编码到模型参数中,使系统内化与任务相关的知识,无需显式回忆即可高效执行操作。
除上述对应关系外,从人类记忆中获得的启示还可进一步指导设计更高效的人工智能记忆系统,提升其以结构化、适应性方式处理、存储和调取信息的能力。
2.2.3 三维八象限(3D-8Q)记忆分类法
基于 “对象(个人记忆与系统记忆)、形式(非参数记忆与参数记忆)、时间(短期记忆与长期记忆)” 三个基础记忆维度,结合已确立的人类记忆与人工智能记忆的对应关系,我们提出人工智能记忆的 “三维八象限(3D-8Q)分类法”。该分类法根据功能、存储机制和保留时长,对人工智能记忆进行系统性分类,为理解和优化人工智能记忆系统提供结构化思路。表 1 展示了八个象限及其各自的作用与功能。
表 1:大语言模型驱动的人工智能系统三维八象限(3D-8Q)记忆分类法
对象 |
形式 |
时间 |
象限 |
角色 |
功能 |
---|---|---|---|---|---|
个人记忆 |
非参数记忆 |
短期记忆 |
I |
工作记忆 |
支持实时上下文补充,提升人工智能在单个会话内维持连贯交互的能力。 |
长期记忆 |
II |
情景记忆 |
实现跨会话记忆保留,支持系统回忆过往用户交互内容,以提升个性化水平。 |
||
参数记忆 |
短期记忆 |
III |
工作记忆 |
临时增强当前交互中的上下文理解,提升响应的相关性与连贯性。 |
|
长期记忆 |
IV |
语义记忆 |
助力新获取知识持续融入模型,提升模型的适应性与个性化能力。 |
||
系统记忆 |
非参数记忆 |
短期记忆 |
V |
工作记忆 |
通过存储思维链提示等中间输出,辅助复杂推理与决策过程。 |
长期记忆 |
VI |
程序记忆 |
捕捉历史经验与自我反思所得,助力人工智能逐步优化推理与问题解决能力。 |
||
参数记忆 |
短期记忆 |
VII |
工作记忆 |
通过键值缓存等临时参数存储机制提升计算效率,优化推理速度并降低资源消耗。 |
|
长期记忆 |
VIII |
语义记忆 / 程序记忆 |
形成编码于模型参数中的基础知识库,作为事实性知识、概念性知识及任务相关知识的长期存储库。 |
接下来,我们将分别从个人记忆(第 3 节)和系统记忆(第 4 节)的角度,对现有研究成果进行解读与阐述。其中,个人记忆更聚焦模型从环境中感知和观察到的个体数据,而系统记忆则强调系统的内部或内生记忆(如任务执行过程中生成的中间记忆)。
3 个人记忆
个人记忆指大语言模型驱动的人工智能系统在与人类交互过程中,对人类输入及响应数据进行存储与利用的过程。个人记忆的开发与应用,对提升人工智能系统的个性化能力、改善用户体验具有关键作用。本节将探讨个人记忆的概念及相关研究,并分析构建与实现个人记忆的非参数化方法和参数化方法。表 2 展示了个人记忆的类别、特征及相关研究成果。
3.1 上下文相关个人记忆
在个人记忆中,可加载的非参数化上下文记忆通常分为两类:当前会话多轮对话的短期记忆,以及跨会话历史对话的长期记忆。前者能有效补充上下文信息,后者可填补信息空缺并突破上下文长度限制。
3.1.1 加载多轮对话(第一象限)
在多轮对话场景中,当前会话的对话历史能显著提升大语言模型驱动的人工智能系统对用户实时意图的理解,进而生成更具相关性与上下文适配性的响应。如今,许多对话系统已具备处理多轮对话的能力,并在响应时充分考虑当前对话上下文。典型案例包括 ChatGPT [26]、DeepSeek-Chat [27]、Claude [28] 等,这些系统在长时间交互中仍能维持响应的连贯性与相关性。
表2 个人记忆
以 ChatGPT [26] 为例,它是典型的多轮对话系统 —— 当前会话的对话历史会作为短期记忆,用于补充对话上下文信息。在 ChatGPT 中,对话记忆以 “角色 - 内容” 格式编码,明确区分 “用户”“助手” 等角色,确保系统清晰追踪说话者身份与对话流程。通过 “助手(Assistant)、会话线程(Threads)、消息(Messages)、执行步骤(Runs)” 等不同层级的对话管理,系统能精准追踪对话每一轮、每一步的状态,保障交互的连续性与一致性。此外,当对话长度过长时,系统会通过截断对话轮次来管理输入,避免输入超出模型的长度限制,从而在不丢失关键上下文的前提下持续处理对话,维持多轮交互的有效性。
3.1.2 记忆检索增强生成(第二象限)
在跨会话对话场景中,从历史对话中调取用户相关的长期记忆,可有效补充当前会话中缺失的信息(如个人偏好、人物关系等)。记忆检索增强生成的优势在于:大语言模型无需加载所有跨会话对话 —— 即便模型上下文窗口已扩展至数百万token,从历史会话中调取相关信息仍能大幅提升计算效率、降低成本。除跨会话对话外,长期个人记忆还涵盖用户长期行为历史、偏好及与人工智能代理的交互记录等内容。
通过利用长期记忆中的检索增强生成技术,大语言模型驱动的人工智能系统能更好地定制响应和行为,进而提升用户满意度与参与度。例如,记住用户偏好新闻来源的个人助手,可在每日简报中优先推送这些来源的内容;而了解用户过往观看习惯的推荐系统,能推荐更符合用户喜好的内容。目前,许多商业和开源平台都在努力为个性化人工智能系统构建和利用长期记忆 —— 例如,面向个人助手的 ChatGPT Memory [18] 和 Me.bot [36],以及作为开源框架的 MemoryScope [21] 和 mem0 [20]。长期个人记忆通常遵循四个核心处理阶段:构建、管理、检索和使用。表 2 的第二部分(按行组织)概述了现有关于个人非参数化长期记忆的研究,并根据其主要贡献进行了分类。
记忆构建
用户记忆的构建需要从多轮对话等原始记忆数据中提取并提炼信息。这一过程类似于人类的记忆巩固 —— 即稳定并强化记忆以实现长期存储的过程。结构清晰的长期记忆既能提升用户记忆的存储效率,也能增强其检索有效性。例如,MemoryBank [17] 利用记忆模块存储对话历史和关键事件摘要,从而构建长期用户画像;类似地,RET-LLM [44] 通过记忆模块保留外部世界的核心事实知识,使智能代理能监控并更新与用户相关的实时环境上下文。此外,为适配不同类型的记忆,研究人员开发了多种存储格式,包括键值对、图结构和向量表示:
-
键值对格式 [44,50,63]:便于高效访问用户事实、偏好等结构化信息;
-
图结构格式 [46,13,61,20]:用于捕捉和表示个体、事件等实体间的关系;
-
向量格式 [17,48,20]:通常由文本、视觉或音频记忆表示转换而来,用于编码对话的语义含义和上下文信息。
记忆管理
用户记忆的管理涉及对已构建记忆的进一步处理和优化,例如去重、合并和冲突解决。这一过程类似于人类的记忆再巩固与反思 —— 即重新激活、更新现有记忆并将其整合,以长期维持记忆的连贯性和相关性。例如:
-
反思性记忆管理(RMM)[52]:这是一种用户长期记忆管理框架,结合了用于动态摘要的 “前瞻性反思” 和通过强化学习优化检索的 “回顾性反思”,解决了记忆粒度僵化、检索机制固定等局限,提升了长期记忆管理的准确性和灵活性;
-
LD-Agent [53]:通过动态角色建模模块为用户和代理构建个性化角色信息,并整合检索到的记忆优化响应生成,从而增强长期对话的个性化与一致性;
-
A-MEM [54]:受 “卡片盒笔记法”(Zettelkasten method)[88] 启发,提出自组织记忆系统,通过动态索引、关联和记忆演化构建互联知识网络,使大语言模型代理能更灵活地组织、更新和检索长期记忆,进而提升任务适应性和上下文感知能力;
-
MemoryBank [17]:融入受 “艾宾浩斯遗忘曲线”(Ebbinghaus Forgetting Curve)[89] 启发的记忆更新机制,使人工智能能根据时间推移和记忆的相对重要性,对记忆进行遗忘或强化,从而构建更贴近人类的记忆系统,提升用户体验。
记忆检索
个人记忆的检索是指识别与用户当前请求相关的记忆条目,检索方法与记忆的存储方式密切相关:
-
针对键值对记忆:ChatDB [59] 通过结构化数据库上的 SQL 查询实现检索;而 RET-LLM [44] 采用模糊搜索检索三元组结构记忆 —— 这类记忆以 “两个实体通过预定义关系关联” 的形式存储信息;
-
针对图结构记忆:HippoRAG [13] 基于实体、短语和摘要构建知识图谱,以召回更相关、更全面的记忆;HippoRAG 2 [61] 则进一步将原始文本片段与基于短语的知识图谱结合,同时融入概念信息和上下文信息;
-
针对向量记忆:MemoryBank [17] 采用类似 “密集段落检索”(Dense Passage Retrieval)[90] 的双塔密集检索模型,精准识别相关记忆;生成的向量表示随后通过 FAISS [91] 建立索引,实现高效的基于相似度的检索。
记忆使用
个人记忆的使用能有效为下游应用赋予个性化能力,提升用户的个性化体验。例如,检索到的相关记忆可作为上下文信息,增强对话推荐代理的个性化推荐和响应能力 [63-66],改善用户的个性化体验。除了通过记忆增强个性化对话和推荐,个人记忆还可用于提升各类应用的性能,包括软件开发 [68]、社交网络模拟 [69,70] 和金融交易 [71] 等。为推动个人记忆的深入研究,近年来出现了多种与记忆相关的基准测试数据集,包括:
-
长期对话记忆:MADial-Bench [74]、LOCOMO [75]、MSC [78];
-
日常生活记忆:MemDaily [76];
-
记忆感知主动对话:ChMapData [77];
-
多模态对话记忆:MMRC [79];
-
第一视角视频理解:Ego4D [80]、EgoLife [62];
-
长上下文 “大海捞针” 推理:BABILong [81,82]。
3.2 参数化个人记忆
除了外部非参数化记忆,用户的个人记忆也可通过参数化方式存储。具体而言,可利用个人数据对大语言模型进行微调,将记忆直接嵌入模型参数(即参数化长期记忆),构建个性化大语言模型;此外,也可在推理过程中将历史对话作为提示词缓存(即参数化短期记忆),以便在未来交互中快速复用。
3.2.1 用于加速的记忆缓存(第三象限)
个人参数化短期记忆通常指大语言模型处理个人数据时生成的中间注意力状态,这些状态常作为记忆缓存用于加速推理。具体而言,提示词缓存(prompt caching)[83] 是一种高效的数据管理技术,可预先存储大量个人数据或高频请求信息(如用户的对话历史)。例如,在多轮对话中,对话系统可直接从参数化记忆缓存中快速获取个人上下文信息,无需从原始数据源重新计算或检索,从而节省时间和资源。DeepSeek、Anthropic、OpenAI、谷歌等主流平台均采用提示词缓存技术,以降低对话场景中的 API 调用成本并提升响应速度。此外,个人参数化短期记忆还可通过 “上下文检索”(Contextual Retrieval)[84] 提升检索增强生成(RAG)的性能 —— 提示词缓存有助于减少生成上下文片段的开销。目前,专门针对个人记忆数据的缓存技术研究仍较为有限,现有研究多将缓存视为系统记忆的基础能力(尤其是在键值对(KV)管理和 KV 复用场景中)。相关细节将在第 4 节进一步讨论。
3.2.2 个性化知识编辑(第四象限)
个人参数化长期记忆采用个性化知识编辑技术 [92](如参数高效微调(PEFT)[93]),将个人数据以参数化方式编码到大语言模型的参数中,实现记忆的长期参数化存储。例如:
-
Character-LLM [85]:通过训练大语言模型记住贝多芬、克利奥帕特拉女王、尤利乌斯・凯撒等特定人物的角色和经历,实现对这些角色的角色扮演;
-
AI-Native Memory [36]:提出将深度神经网络模型(尤其是大语言模型)作为 “终身个人模型”(Lifelong Personal Models, LPMs),通过用户交互对个人记忆进行参数化、压缩和持续演化,从而更全面地理解用户;
-
MemoRAG [86]:利用大语言模型的参数化记忆存储用户对话历史和偏好,形成个性化全局记忆,以增强个性化能力并实现定制化推荐;
-
Echo [87]:一种增强了时间情景记忆的大语言模型,旨在提升多轮复杂记忆对话类应用的性能。
个人长期记忆的参数化面临若干挑战,其中最显著的是需要基于个体用户数据对模型进行微调 —— 这需要大量计算资源,严重制约了参数化方法在长期个人记忆中的可扩展性和实际部署。
3.3 讨论
本节从非参数化和参数化两种视角,阐述了个人记忆及相关研究:
-
个人非参数化短期记忆需要高效的记忆编码和管理机制;
-
现有研究主要聚焦于设计和实现能支持 “个人非参数化长期记忆构建、管理、检索与高效使用” 的系统;
-
个人参数化短期记忆可通过提示词缓存等技术降低计算成本、提升效率;
-
参数化长期记忆在记忆压缩方面具有优势,能更全面、全局地呈现用户的累积经验。
该领域的最新趋势显示,研究人员正越来越关注短期与长期记忆范式的融合,通过参数化与非参数化记忆组件的互补与强化,进一步提升记忆系统性能。下一节将详细讨论系统记忆及其相关研究进展。
4 系统记忆
系统记忆是大语言模型驱动的人工智能系统的关键组成部分,涵盖任务执行过程中生成的一系列中间表示或结果。利用系统记忆,大语言模型驱动的人工智能系统能增强推理、规划等高阶认知能力,同时有效提升系统的自我演化和持续改进能力。本节将从非参数化和参数化两种视角,探讨系统记忆及相关研究。
表3: 系统记忆
4.1 上下文相关系统记忆
从时间维度来看,非参数化短期系统记忆指大语言模型在任务执行过程中生成的一系列推理结果与动作结果。这种记忆形式能为当前任务场景下的推理和规划能力提供支持,进而帮助提升任务的准确性、效率及整体完成率。与之相对,非参数化长期系统记忆是短期系统记忆经过抽象和泛化后的形式,它涵盖了对过往成功经验的整合,以及基于历史交互的自我反思机制 —— 这些共同推动了大语言模型驱动的人工智能系统的持续演化与适应性提升。
4.1.1 推理与规划增强(第五象限)
与人类认知过程类似,大语言模型(LLM)的推理和规划过程会生成一系列短期中间输出。这些输出可能反映了与任务相关的尝试(无论成功与否),但无论正确性如何,它们都能作为具有参考价值的建设性信息,为后续任务执行提供指导。这种非参数化短期系统记忆在大语言模型驱动的人工智能系统中扮演着关键角色。实证结果表明,利用这种记忆结构能显著提升大语言模型的推理和规划能力。例如,ReAct [24] 通过生成中间推理步骤与对应动作,将推理与动作整合,使模型能在 “思考” 与 “执行” 之间交替进行,从而在复杂问题解决场景中实现智能规划与适应性决策;类似地,Reflexion [95] 引入动态记忆与自我反思机制,让大语言模型能基于过往错误或不足进行自我评估,并逐步优化行为 —— 这种自我改进循环能提升模型在未来任务中的表现,类似一个持续学习与优化的过程。
4.1.2 反思与优化(第六象限)
非参数化长期系统记忆的形成过程,与人类从成功和失败中学习的过程相似,涉及对累积的短期记忆痕迹进行反思和优化。这种记忆机制不仅能让系统保留并复用过往经验中的有效策略,还能从失败中提取有价值的经验教训,从而减少重复犯错的可能性。通过持续更新与优化,系统的决策能力会逐步提升,对新挑战的响应能力也会不断改善;此外,长期记忆的逐步积累还能让系统以更强的适应性和韧性应对日益复杂的任务。例如:
-
“思维缓存”(Buffer of Thoughts, BoT)[98]:对历史任务中的思维链进行优化,形成思维模板并存储在记忆库中,为未来的推理和决策过程提供指导;
-
“智能体工作流记忆”(Agent Workflow Memory, AWM)[99]:引入可复用的 “工作流” 路径,通过选择不同工作流指导后续任务生成;
-
“记忆中思考”(Think-in-Memory, TiM)[100]:基于对话历史持续生成新思维,相较于原始观测数据,这种思维更利于推理和计算;
-
“《我的世界》幽灵智能体”(Ghost in the Minecraft, GITM)[101]:利用记忆中记录的参考计划,让智能体规划器能更高效地处理遇到的任务,从而提升任务执行成功率;
-
“航海家智能体”(Voyager)[102]:根据环境反馈优化技能,并将习得的技能存储在记忆中形成技能库,以便在类似场景(如对抗僵尸与对抗蜘蛛)中复用;
-
“回溯变换器”(Retroformer)[103]:将近期交互轨迹作为短期记忆,将过往失败的反思反馈作为长期记忆,共同指导决策与推理;
-
“经验学习智能体”(ExpeL)[104]:通过借鉴带上下文的成功案例,并对过往经验进行对比分析和模式分析,从成功与失败中提炼见解,进而提升任务解决能力。
4.2 参数化系统记忆
参数化系统记忆指在推理过程中,以键值缓存(KV Cache)[128] 等参数化形式临时存储知识信息(短期记忆),或在模型参数中对知识信息进行长期编辑与存储(长期记忆)。其中,参数化短期系统记忆对应人类的工作记忆,可降低大语言模型推理的成本并提升效率;参数化长期系统记忆对应人类的语义记忆,有助于高效整合新知识。
4.2.1 键值对(KV)管理与复用(第七象限)
参数化短期系统记忆主要聚焦于大语言模型中注意力机制的 “键”(Key)和 “值”(Value)的管理与复用,旨在解决推理过程中推理成本高、延迟大等问题。在键值对管理方面,可通过键值缓存组织 [111]、压缩 [110]、量化 [116] 等技术优化内存效率和推理性能:
-
vLLM [111]:一种高效的大语言模型服务系统,基于 “分页注意力”(PagedAttention)机制构建 —— 这种机制受虚拟内存启发,能实现近乎零浪费的键值缓存,且支持请求间灵活共享,大幅提升批处理效率和推理吞吐量;
-
ChunkKV [110]:一种针对大语言模型长上下文推理的键值缓存压缩方法,通过将令牌分组为语义块、保留信息最丰富的块、实现层级索引复用,在减少内存和计算成本的同时,在多个基准测试中表现优于现有方法;
-
LLM.int8 ()[116]:一种混合精度量化方法,将向量级 Int8 量化与对 “异常特征” 的选择性 16 位处理相结合,能在不损失性能的前提下,实现对大规模大语言模型(参数规模达 1750 亿)的内存高效推理。
在键值对复用方面,通过token令牌级的键值缓存(KV Cache)[128] 和句子级的提示词缓存(Prompt Cache)[83],复用与推理相关的参数,可降低计算成本并提升大语言模型的使用效率:
-
键值缓存(KV Cache)[128]:存储神经网络在序列生成过程中生成的注意力 “键” 和 “值”,供后续推理步骤复用,既能加快长文本生成中的注意力计算,又能减少冗余计算;
-
提示词缓存(Prompt Cache)[83]:在句子级缓存过往输入的提示词及其对应输出结果,当遇到相似提示词时,大语言模型可直接检索并返回缓存的响应,节省计算资源并加快响应生成速度。
通过避免对相同或相似上下文的频繁重复计算,键值对复用能实现更高效的推理,显著降低计算开销,同时提升基于大语言模型的系统在处理连续或交互式任务时的灵活性和响应速度。基于这些思路,“检索增强生成缓存”(RAGCache)[131] 还为检索增强生成(RAG)设计了多级动态缓存系统 —— 该系统缓存中间知识状态,根据大语言模型的推理和检索模式优化内存替换策略,并将检索与推理过程并行执行,从而大幅降低延迟并提升吞吐量。
参数化短期系统记忆与前文提及的参数化短期个人记忆在技术方法上存在一定重叠,但二者的侧重点不同:参数化短期个人记忆更关注改进对个体输入数据的处理,而参数化短期系统记忆则聚焦于优化任务执行过程中系统级上下文的存储与复用;前者主要解决如何快速处理和适配个体输入信息的问题,后者则旨在降低多轮推理中的推理成本,提升全局任务的一致性和效率。
4.2.2 参数化记忆结构(第八象限)
若将大语言模型视为长期参数化记忆,那么它不仅是能根据输入输出提供即时响应的工具,还能长期存储和整合信息,形成不断演化的知识系统。基于 Transformer [153] 架构的大语言模型之所以能记忆知识信息,主要得益于 Transformer 模型中的自注意力机制和大规模参数化训练方法 —— 通过在海量语料上训练,大语言模型能习得丰富的世界知识、语言模式及各类任务的解决方案。此外,大语言模型还可通过参数化知识编辑对内部知识进行修改、更新或优化,从而更精准地处理任务,或生成更符合用户需求的响应。例如:
-
“记忆大语言模型”(MemoryLLM)[148]:具备自我更新能力,能将新知识注入记忆,高效整合新信息,同时展现出优异的模型编辑性能和长期信息保留能力;
-
“终身智能编辑框架”(WISE)[149]:一种面向大语言模型的终身编辑框架,采用双参数记忆设计 —— 主记忆保留预训练知识,副记忆存储编辑信息;该框架通过路由机制在推理时动态访问合适的记忆,并利用知识分片高效分布和整合编辑内容,确保在持续更新过程中模型的可靠性、泛化性和局部性。
参数化知识编辑 [92] 的核心功能是为大语言模型赋予动态灵活的知识更新能力,使其能应对不断变化的任务需求、领域知识及现实世界中的新信息,从而在各类应用场景中保持高效性和准确性,并能根据用户或环境需求进行定制优化。
4.3 讨论
本节从非参数化和参数化两个视角阐述了系统记忆及相关研究:非参数化短期系统记忆能提升当前任务的推理和规划能力,非参数化长期系统记忆则能实现成功经验的复用和基于历史经验的自我反思,推动大语言模型驱动的人工智能系统能力演化;另一方面,参数化短期系统记忆可降低大语言模型推理成本并提升效率,参数化长期系统记忆则能长期存储和整合信息,形成不断演化的知识系统。下一节将总结大语言模型时代记忆研究存在的问题与挑战,并指出未来可能的发展方向。
5 开放性问题与未来方向
尽管当前在 “对象、形式、时间” 三个维度及对应的八个象限中,记忆研究已取得显著进展,但仍存在诸多开放性问题与挑战。基于最新研究进展并结合现有局限,我们提出以下具有前景的未来研究方向:
从单模态记忆到多模态记忆
在大语言模型时代,大语言模型驱动的人工智能系统正逐步从仅能处理单一类型数据(如文本),向可同时处理多种类型数据(如文本、图像、音频、视频乃至传感器数据)演进。这种转变能增强系统的感知能力,使其在复杂现实任务中展现出稳健性能。例如,在医疗领域,通过结合文本(病历)、图像(医学影像)和语音(医患对话),人工智能系统能更准确地理解病情并进行诊断。多模态记忆系统可将不同感知渠道的信息整合为统一认知,从而更贴近人类的认知过程。此外,多模态记忆的拓展还为更具个性化和交互性的人工智能应用 [154] 创造了可能 —— 例如,个人人工智能助手不仅能通过文本与用户交流,还能通过识别面部表情、语音语调或肢体语言解读用户情绪,进而提供更具个性化和同理心的响应。
从静态记忆到流式记忆
静态记忆可视为一种 “批处理式” 记忆存储方式,它以离散批次的形式累积信息或经验,通常在特定时间间隔或预设节点进行处理、存储和检索。作为离线记忆模型,静态记忆注重对大量信息的系统性组织与整合,非常适合长期知识保留和结构化学习。与之相对,流式记忆以连续、实时的方式运作,类似数据流处理,会在信息产生时即时处理,优先保证即时性和适应性。作为在线或实时记忆模型,流式记忆聚焦于信息的动态更新和对不断变化的上下文的快速响应。这两种记忆范式并非互斥,反而常互补发挥作用:静态记忆为稳定的长期知识积累提供支持,流式记忆则能让系统灵活适应当前任务和实时信息需求。
从特定记忆到全面记忆
人类记忆系统由多个相互关联的子系统(如感觉记忆、工作记忆、外显记忆、内隐记忆)构成,每个子系统都有独特功能,共同支撑整体认知过程。而在大语言模型领域,当前的记忆架构往往聚焦于特定或任务专属组件(如用于即时推理的短期记忆、用于存储领域专属知识的记忆)。尽管这类针对性记忆机制能在特定场景中提升性能,但其局限性也制约了系统的整体灵活性、泛化性和适应性。未来,构建 “全面协同型记忆系统” 至关重要 —— 这类系统应整合多种记忆类型,支持高效交互、自我组织和持续更新,让大语言模型能应对日益复杂和动态的任务。通过更贴近人类记忆的多层级、多维度和适应性特征,这类架构有望大幅提升基于大语言模型的人工智能系统的通用智能水平和自主性。
从专属记忆到共享记忆
目前,每个大语言模型驱动的人工智能系统的记忆都是独立运作的,通常局限于特定领域,且仅适配孤立任务或环境的处理需求。但随着人工智能技术的不断发展,记忆系统有望实现更高程度的互联,突破领域界限,促进模型间的协作。例如,专注于医疗领域的大语言模型可与专注于金融领域的大语言模型共享记忆或知识库,推动跨领域知识迁移和协同任务解决。这种共享记忆范式不仅能提升单个系统的效率和适应性,还能让多个大语言模型动态获取并利用彼此的领域专属专长。向协同型记忆架构的转型,可能会催生更智能、资源利用更高效的人工智能系统网络,使其能应对复杂的多领域挑战;最终,共享记忆有望拓展人工智能的应用范围,加速其在更多样化、更高要求的现实场景中的落地。
从个体隐私到集体隐私
在人工智能时代,数据共享日益普遍,隐私保护的重心正从传统的 “个体隐私” 逐步转向更广泛的新兴 “集体隐私” 概念。传统隐私框架主要致力于保护个人数据,防止可识别个人身份的信息被未授权访问、泄露或滥用。但在大语言模型场景中,个体数据常被整合为群体级数据集,用于大规模分析和预测。集体隐私关注的是数据被集体使用的群体或社区的权益保护,核心问题是如何防止在群体层面出现数据滥用、画像分析或过度监控。随着人工智能记忆系统的不断发展和互联,保障集体隐私将成为一项关键挑战 —— 解决这一问题需要创新技术,在数据可用性与隐私保护之间实现有效平衡 [155]。
从规则驱动演化到自动演化
传统人工智能系统的演化依赖于基于累积知识和历史数据的过往经验反思(如复用成功策略),但这一演化过程往往需要人工设计规则和启发式调整来实现自我反思。尽管规则驱动演化有一定效果,但其固有局限性会制约系统的灵活性、可扩展性和效率 —— 规则的质量和泛化性直接决定了系统的适应能力。未来,人工智能系统有望实现 “自动演化”:通过利用个人记忆和系统记忆,根据不断变化的数据和环境上下文动态调整并优化自身。这类系统能自主识别性能瓶颈并主动发起自我改进,无需依赖明确的人工定义规则。向 “自主适应” 的转型将大幅提升系统的响应速度,减少对人工干预的依赖,进而实现更智能、动态且持续自我演化的范式。
6 结论
在大语言模型(LLM)时代,记忆对人工智能系统的发展起着关键作用 —— 它不仅影响人工智能行为的个性化程度,还会作用于适应性、推理、规划、自我演化等核心能力。本文系统分析了人类记忆与大语言模型驱动的人工智能系统记忆机制的关联,探索了如何借鉴人类认知原理设计更高效、灵活的记忆架构:首先,剖析了人类记忆的各类别(包括感觉记忆、工作记忆、长期记忆),并与人工智能中的现有记忆模型进行对比;在此基础上,提出基于 “对象、形式、时间” 三维度的八象限分类框架,为构建多层级、全面的记忆系统提供理论基础;此外,还从个人记忆和系统记忆两个视角综述了当前人工智能记忆的发展现状;最后,指出了当前人工智能记忆设计中的关键开放性挑战,并概述了大语言模型时代记忆研究的未来方向。我们相信,随着技术的持续进步,人工智能系统将逐步采用更动态、更具适应性和智能的记忆架构,从而在复杂的现实任务中实现更稳健的应用。
好了,文章的讲解就到这里,整篇文章对AI 记忆做了深刻和细致的讲解,下面做下总结:
这篇文档是一篇关于 “从人类记忆到 AI 记忆” 的综述,核心是想弄明白:人类的记忆是怎么工作的?能不能借鉴人类记忆的逻辑,帮助大语言模型(LLM)打造更强大、更智能的记忆系统?最后还梳理了当前 AI 记忆的问题和未来方向。
用大白话拆解,主要讲了这 3 件事:
一、先搞懂 “人类记忆”,再对标 “AI 记忆”
人类记忆不是 “一个大仓库”,而是分了好多种类,各有各的用处,文档先把人类记忆拆清楚,再对应到 AI 的记忆逻辑上:
-
人类记忆怎么分?
按 “保存时间” 分,有 “短期记忆” 和 “长期记忆”:-
外显记忆:比如 “昨天吃了火锅”( episodic 记忆,个人经历)、“地球绕太阳转”( semantic 记忆,常识知识);
-
内隐记忆:比如骑自行车、打字( procedural 记忆,肌肉记忆),不用想步骤就能做。
-
短期记忆:比如记个临时电话号码、算数学题时记步骤(叫 “工作记忆”),只能存几秒到几分钟,用完可能就忘;还有 “感官记忆”,比如看到一闪而过的画面、听到一声响,瞬间就没了。
-
长期记忆:能存几分钟到一辈子,又分 “外显记忆”(能说出来的)和 “内隐记忆”(不用刻意想的):
-
-
AI 记忆怎么对标人类?
大语言模型的 AI 系统(比如 ChatGPT、智能助手),也有类似人类的记忆逻辑:-
像 AI 对话时记当前几轮的聊天内容,对应人类的 “短期记忆”;
-
存用户长期偏好(比如 “用户不爱吃辣”)或系统自己的推理步骤(比如解数学题的思路),对应人类的 “长期记忆”;
-
甚至 AI 模型参数里内置的常识(比如 “猫是动物”),类似人类的 “语义记忆”;AI 练熟的特定技能(比如写代码的套路),类似 “内隐记忆”。
-
二、给 AI 记忆搞了个 “三维八象限” 分类,让混乱的研究变清晰
以前研究 AI 记忆,大多只看 “能存多久”(短期 / 长期),文档觉得不够,提出从 3 个维度给 AI 记忆分类,刚好分出 8 种类型(八象限),每种都有具体作用:
-
维度 1:记 “什么内容”(对象)
-
个人记忆:记和用户相关的,比如用户的喜好、聊天历史,用来让 AI 更个性化(比如知道你喜欢喝拿铁);
-
系统记忆:记 AI 自己干活时产生的中间结果,比如推理步骤、搜索到的信息,用来帮 AI 更好地完成复杂任务(比如写报告时记收集到的资料)。
-
-
维度 2:“怎么存”(形式)
-
参数记忆:存在模型自己的参数里,比如训练时学会的知识(类似人类 “刻在脑子里” 的常识);
-
非参数记忆:存在模型外面,比如数据库、文档里(类似人类记在笔记本上的内容,需要时去查)。
-
-
维度 3:“能存多久”(时间)
-
短期记忆:临时存,用完就丢(比如当前对话的上下文);
-
长期记忆:长期存,下次还能用(比如用户一年前说过的偏好)。
-
这 8 种组合起来,每种都有实际例子:
比如 “个人 + 非参数 + 长期记忆”:ChatGPT Memory 存用户长期偏好;“系统 + 非参数 + 短期记忆”:AI 解数学题时记临时的推理步骤。
三、梳理当前 AI 记忆的研究,还指出未来要解决的问题
文档分别讲了 “个人记忆” 和 “系统记忆” 的现有研究,再提了未来的方向:
-
个人记忆:让 AI 更懂你
比如怎么存用户的聊天历史(短期)、怎么快速查到用户几年前的偏好(长期),现在已有工具像 mem0、MemoryScope 能帮 AI 管理这些记忆,让 AI 回复更个性化。 -
系统记忆:让 AI 更会干活
比如 AI 做复杂任务时,怎么记自己的推理思路(短期)、怎么总结过去的成功经验(比如 “上次这么做能解决问题”,长期),现在有方法让 AI 把有用的步骤存起来,下次遇到类似任务直接用。 -
未来要解决的问题
现在的 AI 记忆还有很多不足,比如:-
只能记文字,记不了图片、声音(要从 “单模态” 变 “多模态”);
-
大多是固定存好的(静态),不能实时更新(要变 “流式记忆”,像人类实时记新信息);
-
不同 AI 的记忆不互通(比如医疗 AI 和金融 AI 各记各的,未来要搞 “共享记忆”,互相帮衬);
-
还要保护隐私(比如用户记忆不能泄露,甚至要保护一群人的集体隐私,不被滥用)。
-
总结一下
这篇文档本质是 “借人类记忆的灵感,给 AI 记忆搭框架”:先拆清楚人类记忆的逻辑,再对应到 AI 上,用 “三维八象限” 把混乱的 AI 记忆研究理清楚,最后指出现在的不足和未来该往哪走 —— 目标是让 AI 的记忆更像人类,既能记住用户的偏好,又能灵活应对复杂任务,还安全可靠。
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!
如果你也想通过学大模型技术去帮助就业和转行,可以点扫描下方👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图(还有视频解说)
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了,这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)