大模型---MemGPT与Letta框架

目录一.MemGPT1.MemGPT的定义2.MemGPT3.MemGPT和普通RAG的区别4.MemGPT的缺陷二.Letta1.Letta的定义2.Letta的记忆系统后续深入学习会继续补充：一.MemGPTLetta框架是由MemGPT演化而来，先讲MemGPT，参考论文：MemGPT: Towards LLMs as Operating Systems1.MemGPT的定义MemGPT的核心思想是：让模型自己参与管理记忆，通过函数调用在“主上下文”和“外部上下文”之间移动信息。其针对的问题是：LLM 的上下文窗口有限。即使模型本身很强，只要任务需要长期对话、持续个性化、或者分析远超窗口长度的文档，模型就会出现“记不住”“前文丢失”“后文挤爆上下文”的问题。相比长上下文模型的扩大窗口本身，MemGPT则是在讲如何把窗口当成稀缺资源来调度。论文最重要的概念就是virtual context management。类比传统操作系统：主上下文(main context)类似RAM，容量小但访问快；外部上下文(external context) 类似磁盘，容量大但不能直接全部放进 prompt；系统要决定什么时候把什么信息换入主上下文，什么时候把什么信息写回外部存储。主上下文：这是模型当前真正“看得见”的内容，也就是prompt里的有效工作区。它通常放的是当前任务必须立即用到的信息；与用户持续相关、必须常驻的核心记忆；最近对话和当前推理所需的短期上下文。外部上下文：这是超出当前窗口、但仍可在需要时访问的长期存储。例如，archival memory：长期知识库、附加文档、预加载数据源等等；recall storage/recall memory：历史对话与先前交互的可回忆存储。2.MemGPT如下图所示，首先，LLM 的上下文窗口是有限的，例如8k tokens，也就是说模型当前一次能“看到”的内容是有限的，不可能把所有历史、所有知识都一直放进去。图中Prompt Tokens被分为了三个内容，System Instructions，Working