详情介绍
Letta是由加州大学伯克利分校Sky Computing Lab孵化的开源项目,创始人是博士生Sarah Wooders和Charles Packer。它的前身是MemGPT——一个在发布前就因热度备受关注的项目。2024年,团队将MemGPT正式更名为Letta,构建一个更完整的、用于创建有状态LLM服务的平台。
Letta的核心洞察很直接:当前的大语言模型虽然聪明,但它们本质上都是“无状态”的,每次对话都是全新开始,就像《记忆碎片》里的主角一样不断遗忘。这不仅让AI无法从过往交互中学习,甚至会因为上下文窗口被无关信息填满而导致性能下降——这种现象被称为“上下文腐烂”。
Letta的解决方案是通过虚拟上下文管理技术,让AI学会管理自己的记忆。它把记忆分成不同模块,比如用户信息模块、助手人格模块、对话历史模块等。当上下文窗口快满的时候,AI会自动压缩旧信息、提取关键内容保存下来,需要的时候再检索回来。这样一来,AI就拥有了真正意义上的“学习能力”,而且这种学习过程是透明、可审计的,因为所有记忆都以明文形式存储。
目前Letta已经获得1000万美元种子投资,估值达7000万美元,投资方包括Felicis、Google AI负责人Jeff Dean、Hugging Face等知名机构和投资人。它支持OpenAI、Anthropic、Ollama以及各类本地模型,可以灵活切换,部署方式也很多样,既有云服务版本,也可以自托管,还提供了可视化的Agent开发环境ADE。
官网入口地址
官网地址:https://www.letta.com
开源项目GitHub:https://github.com/letta-ai/letta
云服务控制台:https://app.letta.com
下载地址
Letta本身是一个框架,主要通过以下方式获取:
-
pip安装:
pip install -U letta(适合快速体验,默认SQLite) -
Docker部署:拉取官方镜像(推荐生产环境使用,内置PostgreSQL)
-
源码构建:从GitHub克隆后通过poetry安装
-
桌面版:可通过Docker运行后访问本地ADE界面
功能介绍
结构化长期记忆系统
Letta最核心的功能是分层记忆块设计。开发者可以为智能体配置多个记忆模块,每个模块有独立的描述和容量限制。比如你可以设置一个20000字符的“用户信息”模块,专门存储用户的姓名、偏好、历史问题;再设置一个“工作项目”模块,记录当前进行的任务状态。智能体会在对话过程中通过工具调用主动读写这些记忆模块,就像在更新自己的数据库一样。
虚拟上下文管理
这是Letta的技术基石。传统AI的上下文窗口是固定的,满了就只能丢掉最早的消息。Letta通过智能压缩和检索机制,在有限的窗口内保留最关键的信息。当预算超限时,它会自动对旧内容进行摘要,把压缩后的精华信息保留下来,确保智能体不会因为对话拉长而“失忆”。
工具调用与函数执行
智能体可以调用预定义的各类工具,包括内置工具(如记忆读写、对话搜索)和自定义工具(API调用、数据库查询、文件操作)。工具调用支持严格的输入模式校验,减少幻觉参数。工具执行模式也很灵活:可以在云端执行(如网页抓取),也可以通过人类审批模式在本地执行(如读写本地文件)。
模型无关架构
Letta的架构设计让它可以无缝对接各类大模型。你用同一套记忆配置和工具集,可以切换使用OpenAI的GPT-4、Anthropic的Claude、Google的Gemini,或者本地的Ollama模型。这种灵活性避免了厂商锁定,也让生产部署可以根据成本、性能灵活调整。
多Agent协作与共享记忆
不同智能体之间可以共享特定的记忆块,形成协作网络。比如一个客服Agent可以把它学到的产品知识同步给他客服Agent,或者一个研究助理可以把文献摘要共享给报告撰写Agent。这种设计让团队级别的智能体协作成为。
背景代理与离线维护
Letta支持睡眠时间代理功能,即使用户不在线,智能体也可以在后台自动维护和更新记忆。比如它可以定期扫描新的文档、总结团队聊天记录、更新自己的知识库。等到用户下次提问时,它已经“自学”了新内容。
文件系统接入
智能体可以直接访问外部文件夹,处理PDF、TXT、JSON、Markdown等多种格式的文件。结合文件操作工具,它可以完成读取文档内容、提取关键信息、写入新文件等一系列操作,实现与本地文件系统的深度整合。
Agent开发环境
Letta提供了一个可视化的Web界面ADE,开发者可以在这里创建智能体、配置记忆模块、添加工具、调试对话。所有记忆更新过程都可以实时查看,每一步工具调用都有日志记录,方便定位问题。这个环境既可以连接自托管的本地服务器,也可以连接Letta云服务。
可观测性与调试工具
生产环境部署智能体,可观测性至关重要。Letta提供了详细的日志记录、工具调用追踪、成本监控等功能。开发者可以查看每次对话的完整上下文构成,了解哪些记忆被检索出来、哪些工具被调用、消耗了多少token。
应用场景
客户支持助手
这是Letta最典型的应用场景。一个支持Agent可以跨会话记住用户身份、历史问题、产品偏好,甚至能学习团队常见问题的解决方案。比如Ezra就是Letta团队自己的Discord支持Agent,它已经运行了一个月,学会了API集成模式、常见用户痛点、文档缺失的地方,甚至记住了活跃用户的个人项目情况。
个人研究助理
研究人员可以让Agent帮忙整理文献,它会记住你已经读过的论文、提取的关键观点、不同文献之间的关联。下次再问相关问题时,它能直接调用之前积累的知识,而不是从头开始。
销售运营助手
销售Agent可以跟踪潜在客户的互动历史,记录每次沟通的关键信息、客户的兴趣点、下一步计划。当需要跟进时,它能准确回忆上次聊到的内容,让客户感受到被重视。
内部知识管理
企业可以部署一个内部知识助手,它会持续学习团队的决策记录、项目进展、技术文档。新员工入职时可以直接向它提问,它能基于过去积累的知识给出准确答案。
代码开发辅助
结合本地文件访问能力,Letta可以在开发过程中持续学习代码库结构、项目规范、常见问题。当开发者需要修改某个功能时,它能基于之前的理解给出更精准的建议。
教育辅导
学习助手可以记住学生的学习进度、薄弱环节、过往错题,根据这些信息调整辅导策略,提供个性化教学。
必要信息补充
定价模式
Letta采用分层定价策略。免费版可以创建无限个有状态智能体,使用Letta API上的前沿模型,每月包含20美元API额度,支持按量付费超额。Pro版面向智能体重度用户,提供更高使用限制,优化Letta Code体验,优先体验新功能。企业版需要联系销售,提供基于用量的定价、更高配额、RBAC权限控制、SAML单点登录和专属支持。所有套餐都支持自带API密钥,连接自己的模型提供商后,用量直接从你的账户扣费,不消耗Letta额度。
开发者背景与融资
Letta由加州大学伯克利分校Sky Computing Lab孵化,创始人是两位博士生Sarah Wooders和Charles Packer。项目获得1000万美元种子投资,估值7000万美元,投资方包括Felicis、Jeff Dean(Google AI负责人)、Hugging Face等。团队致力于推动AI记忆管理的开源和透明化。
安全与隐私设计
Letta在隐私保护方面做了多重设计。本地部署版本所有数据都存储在你自己的服务器上,不上传云端。云服务版本在服务条款中明确,用户上传的内容归用户所有,Letta只获取运行服务所需的必要权限。记忆模块的内容是明文存储,方便审计,但也意味着需要注意敏感信息的处理。在工具执行方面,支持人类审批模式,读写本地文件等敏感操作需要用户手动确认。
硬件与部署要求
如果使用pip安装,默认使用SQLite和ChromaDB,适合开发测试。生产环境推荐使用Docker部署,内置PostgreSQL+pgvector,支持数据迁移和横向扩展。内存和存储需求取决于智能体的数量和记忆容量,一般轻量使用几GB内存足够。
版本演进
Letta的前身是MemGPT,最初专注于解决长文档分析中的上下文窗口限制。2024年正式更名为Letta,扩展为完整的智能体平台,增加了多Agent协作、背景代理、文件系统接入等功能。目前仍在持续迭代,社区活跃,GitHub上有上百位贡献者。
应用示例
一个典型的Letta智能体创建流程:安装框架后,通过CLI运行letta run命令,选择LLM模型和嵌入模型,系统会自动创建一个带基础人格的智能体。在对话过程中,如果用户纠正了姓名,智能体会调用core_memory_replace工具更新自己的核心记忆模块。下次再聊时,它已经记住了正确的称呼。开发者也可以通过API创建智能体,配置自定义的记忆模块和工具集,集成到自己的应用中。
Letta常见问题
Letta是由加州大学伯克利分校Sky Computing Lab孵化的开源项目,创始人是两位博士生Sarah Wooders和Charles Packer。它不是传统意义上的公司产品,而是从学术研究生长出来的开源框架。不过项目已经获得了1000万美元种子投资,成立了公司运营,投资方包括Felicis、Jeff Dean和Hugging Face等。
Letta的官网是https://www.letta.com 云服务控制台在https://app.letta.com 如果你想在线体验,可以直接访问控制台注册账号使用云版本。如果你更倾向于本地部署,可以去GitHub下载开源代码自己搭建。
Letta是一个专门给AI智能体装“长期记忆”的开源框架。现在的AI模型每次对话都像失忆症患者,聊完就忘。Letta让AI可以把重要信息保存下来,下次还能想起来。比如你跟它说过你叫张三、喜欢喝咖啡,下次再聊它还记得。它还能跨会话积累知识,越用越懂你,越用越聪明。
用起来分几步。如果是开发者,可以用pip安装letta包,然后通过letta run命令创建智能体开始聊天,系统会引导你选择模型、配置记忆。如果想做复杂应用,可以通过Python或TypeScript SDK调用API,创建带自定义记忆模块和工具的智能体。普通用户如果想体验,可以直接去app.letta.com注册账号,用Web界面创建智能体,不需要写代码。第一次用建议先看官方快速入门文档,跟着走一遍就明白了。
Letta开源版本免费,你可以自己部署任意使用。云服务版本有免费套餐,包含每月20美元API额度和无限个智能体创建,适合个人体验和小项目。Pro套餐适合重度用户,需要付费。企业版按需报价。另外所有套餐都支持自带API密钥,如果你用自己的OpenAI或Anthropic账号,就不消耗Letta额度,相当于免费Letta的管理功能。
安全性取决于你怎么用。如果你自己本地部署,所有数据都在你自己服务器上,安全性由你自己把控,安全。如果你用Letta云服务,他们会在服务条款里说明数据处理方式,用户内容归用户所有,但毕竟要上传到云端,需要注意敏感信息。另外Letta设计了人类审批模式,读写本地文件这类敏感操作需要你手动确认,不会偷偷执行。整体来说框架本身很透明,代码开源可审计,但建议根据使用场景评估风险。
分享几个实战技巧。第一,提前设计好记忆模块,别让AI随便记,给它分好类比如用户信息、项目状态、偏好设置,这样检索更准。第二,工具调用模式要严格定义,用枚举值限定输入,减少幻觉。第三,定期查看记忆内容,清理过时或错误信息,AI自己也记错。第四,复杂任务可以拆成多个Agent协作,一个负责收集信息,一个负责整理,一个负责输出。第五,生产环境一定要用Docker部署PostgreSQL,SQLite只适合本地测试,不支持平滑升级。
Letta的特色就是让AI拥有结构化、可审计的长期记忆。具体功能包括分层记忆块、虚拟上下文管理、多Agent共享记忆、背景代理自学、文件系统接入等。用途很广,比如客户支持助手可以记住用户历史、销售助手可以跟踪潜在客户、研究助理可以积累文献知识、代码助手可以学习项目结构。最典型的例子是Letta自己的Discord支持Agent,已经运行一个月,学会了API模式和用户画像,像微调过的模型一样好用。
数据安全分几个层面。第一,本地部署版本由你控制,数据不出你的服务器,安全。第二,云服务版本,Letta在服务条款中明确用户内容归用户所有,他们只获取提供服务所需的必要权限。第三,记忆内容以明文存储,方便审计但也意味着要小心敏感信息,可以自己加加密或脱敏。第四,工具执行支持审批流程,敏感操作需要你手动确认。总体来说设计上考虑了隐私,但任何云服务都有潜在风险,敏感场景建议本地部署。
Letta在开发者和产品团队中口碑不错。它解决了真实痛点--AI记不住事确实很烦人。上手难度中等,熟悉API和概念需要一点时间,但官方文档和教程挺全的,还有可视化ADE界面可以低门槛体验。生产环境部署比较稳定,支持Docker和PostgreSQL,适合长期运行。如果你需要AI在几天、几周甚至几个月的时间里持续学习和记忆,Letta是当前少有的成熟方案。
Letta本身不直接生成PPT,但你可以通过工具调用让它操作软件来做PPT。比如你可以给智能体配一个操作PowerPoint的工具,然后让它读取你的内容摘要,自动打开PPT软件、新建幻灯片、填入内容、设置格式。它负责执行步骤,具体生成内容还得靠你的指令和他模型配合。
跟做PPT类似,Letta不直接生成视频画面,但它可以调用视频编辑工具或者视频生成API。比如你可以配置一个调用视频生成服务的工具,让智能体根据你的脚本描述去生成视频片段。或者让它操作剪映之类的软件,自动导入素材、添加字幕、导出成片。它主要负责编排和调用,真正生成视频的还是背后的模型或软件。
Letta恰恰是为了解决长度限制而生的。传统的AI有固定的上下文窗口,聊长了就记不住前面的。Letta通过虚拟上下文管理技术,让AI可以在有限的窗口内保留最关键的信息,把不重要的压缩、遗忘。所以严格来说它没有硬性的对话长度限制,可以持续聊很久,但记忆质量取决于压缩和检索策略设计得好不好。开发者可以通过配置上下文预算来控制token占用,比如设成128K,满了就自动压缩旧信息。
| 分享笔记 (共有 篇笔记) |