功能介绍
评论列表

详情介绍

Letta是由加州大学伯克利分校Sky Computing Lab孵化的开源项目,创始人是博士生Sarah Wooders和Charles Packer。它的前身是MemGPT——一个在发布前就因热度备受关注的项目。2024年,团队将MemGPT正式更名为Letta,构建一个更完整的、用于创建有状态LLM服务的平台。

Letta的核心洞察很直接:当前的大语言模型虽然聪明,但它们本质上都是“无状态”的,每次对话都是全新开始,就像《记忆碎片》里的主角一样不断遗忘。这不仅让AI无法从过往交互中学习,甚至会因为上下文窗口被无关信息填满而导致性能下降——这种现象被称为“上下文腐烂”。

Letta的解决方案是通过虚拟上下文管理技术,让AI学会管理自己的记忆。它把记忆分成不同模块,比如用户信息模块、助手人格模块、对话历史模块等。当上下文窗口快满的时候,AI会自动压缩旧信息、提取关键内容保存下来,需要的时候再检索回来。这样一来,AI就拥有了真正意义上的“学习能力”,而且这种学习过程是透明、可审计的,因为所有记忆都以明文形式存储。

目前Letta已经获得1000万美元种子投资,估值达7000万美元,投资方包括Felicis、Google AI负责人Jeff Dean、Hugging Face等知名机构和投资人。它支持OpenAI、Anthropic、Ollama以及各类本地模型,可以灵活切换,部署方式也很多样,既有云服务版本,也可以自托管,还提供了可视化的Agent开发环境ADE。

官网入口地址

官网地址:https://www.letta.com
开源项目GitHub:https://github.com/letta-ai/letta
云服务控制台:https://app.letta.com

下载地址

Letta本身是一个框架,主要通过以下方式获取:

  • pip安装:pip install -U letta(适合快速体验,默认SQLite)

  • Docker部署:拉取官方镜像(推荐生产环境使用,内置PostgreSQL)

  • 源码构建:从GitHub克隆后通过poetry安装

  • 桌面版:可通过Docker运行后访问本地ADE界面

功能介绍

结构化长期记忆系统
Letta最核心的功能是分层记忆块设计。开发者可以为智能体配置多个记忆模块,每个模块有独立的描述和容量限制。比如你可以设置一个20000字符的“用户信息”模块,专门存储用户的姓名、偏好、历史问题;再设置一个“工作项目”模块,记录当前进行的任务状态。智能体会在对话过程中通过工具调用主动读写这些记忆模块,就像在更新自己的数据库一样。

虚拟上下文管理
这是Letta的技术基石。传统AI的上下文窗口是固定的,满了就只能丢掉最早的消息。Letta通过智能压缩和检索机制,在有限的窗口内保留最关键的信息。当预算超限时,它会自动对旧内容进行摘要,把压缩后的精华信息保留下来,确保智能体不会因为对话拉长而“失忆”。

工具调用与函数执行
智能体可以调用预定义的各类工具,包括内置工具(如记忆读写、对话搜索)和自定义工具(API调用、数据库查询、文件操作)。工具调用支持严格的输入模式校验,减少幻觉参数。工具执行模式也很灵活:可以在云端执行(如网页抓取),也可以通过人类审批模式在本地执行(如读写本地文件)。

模型无关架构
Letta的架构设计让它可以无缝对接各类大模型。你用同一套记忆配置和工具集,可以切换使用OpenAI的GPT-4、Anthropic的Claude、Google的Gemini,或者本地的Ollama模型。这种灵活性避免了厂商锁定,也让生产部署可以根据成本、性能灵活调整。

多Agent协作与共享记忆
不同智能体之间可以共享特定的记忆块,形成协作网络。比如一个客服Agent可以把它学到的产品知识同步给他客服Agent,或者一个研究助理可以把文献摘要共享给报告撰写Agent。这种设计让团队级别的智能体协作成为。

背景代理与离线维护
Letta支持睡眠时间代理功能,即使用户不在线,智能体也可以在后台自动维护和更新记忆。比如它可以定期扫描新的文档、总结团队聊天记录、更新自己的知识库。等到用户下次提问时,它已经“自学”了新内容。

文件系统接入
智能体可以直接访问外部文件夹,处理PDF、TXT、JSON、Markdown等多种格式的文件。结合文件操作工具,它可以完成读取文档内容、提取关键信息、写入新文件等一系列操作,实现与本地文件系统的深度整合。

Agent开发环境
Letta提供了一个可视化的Web界面ADE,开发者可以在这里创建智能体、配置记忆模块、添加工具、调试对话。所有记忆更新过程都可以实时查看,每一步工具调用都有日志记录,方便定位问题。这个环境既可以连接自托管的本地服务器,也可以连接Letta云服务。

可观测性与调试工具
生产环境部署智能体,可观测性至关重要。Letta提供了详细的日志记录、工具调用追踪、成本监控等功能。开发者可以查看每次对话的完整上下文构成,了解哪些记忆被检索出来、哪些工具被调用、消耗了多少token。

应用场景

客户支持助手
这是Letta最典型的应用场景。一个支持Agent可以跨会话记住用户身份、历史问题、产品偏好,甚至能学习团队常见问题的解决方案。比如Ezra就是Letta团队自己的Discord支持Agent,它已经运行了一个月,学会了API集成模式、常见用户痛点、文档缺失的地方,甚至记住了活跃用户的个人项目情况。

个人研究助理
研究人员可以让Agent帮忙整理文献,它会记住你已经读过的论文、提取的关键观点、不同文献之间的关联。下次再问相关问题时,它能直接调用之前积累的知识,而不是从头开始。

销售运营助手
销售Agent可以跟踪潜在客户的互动历史,记录每次沟通的关键信息、客户的兴趣点、下一步计划。当需要跟进时,它能准确回忆上次聊到的内容,让客户感受到被重视。

内部知识管理
企业可以部署一个内部知识助手,它会持续学习团队的决策记录、项目进展、技术文档。新员工入职时可以直接向它提问,它能基于过去积累的知识给出准确答案。

代码开发辅助
结合本地文件访问能力,Letta可以在开发过程中持续学习代码库结构、项目规范、常见问题。当开发者需要修改某个功能时,它能基于之前的理解给出更精准的建议。

教育辅导
学习助手可以记住学生的学习进度、薄弱环节、过往错题,根据这些信息调整辅导策略,提供个性化教学。

必要信息补充

定价模式
Letta采用分层定价策略。免费版可以创建无限个有状态智能体,使用Letta API上的前沿模型,每月包含20美元API额度,支持按量付费超额。Pro版面向智能体重度用户,提供更高使用限制,优化Letta Code体验,优先体验新功能。企业版需要联系销售,提供基于用量的定价、更高配额、RBAC权限控制、SAML单点登录和专属支持。所有套餐都支持自带API密钥,连接自己的模型提供商后,用量直接从你的账户扣费,不消耗Letta额度。

开发者背景与融资
Letta由加州大学伯克利分校Sky Computing Lab孵化,创始人是两位博士生Sarah Wooders和Charles Packer。项目获得1000万美元种子投资,估值7000万美元,投资方包括Felicis、Jeff Dean(Google AI负责人)、Hugging Face等。团队致力于推动AI记忆管理的开源和透明化。

安全与隐私设计
Letta在隐私保护方面做了多重设计。本地部署版本所有数据都存储在你自己的服务器上,不上传云端。云服务版本在服务条款中明确,用户上传的内容归用户所有,Letta只获取运行服务所需的必要权限。记忆模块的内容是明文存储,方便审计,但也意味着需要注意敏感信息的处理。在工具执行方面,支持人类审批模式,读写本地文件等敏感操作需要用户手动确认。

硬件与部署要求
如果使用pip安装,默认使用SQLite和ChromaDB,适合开发测试。生产环境推荐使用Docker部署,内置PostgreSQL+pgvector,支持数据迁移和横向扩展。内存和存储需求取决于智能体的数量和记忆容量,一般轻量使用几GB内存足够。

版本演进
Letta的前身是MemGPT,最初专注于解决长文档分析中的上下文窗口限制。2024年正式更名为Letta,扩展为完整的智能体平台,增加了多Agent协作、背景代理、文件系统接入等功能。目前仍在持续迭代,社区活跃,GitHub上有上百位贡献者。

应用示例
一个典型的Letta智能体创建流程:安装框架后,通过CLI运行letta run命令,选择LLM模型和嵌入模型,系统会自动创建一个带基础人格的智能体。在对话过程中,如果用户纠正了姓名,智能体会调用core_memory_replace工具更新自己的核心记忆模块。下次再聊时,它已经记住了正确的称呼。开发者也可以通过API创建智能体,配置自定义的记忆模块和工具集,集成到自己的应用中。

Letta常见问题

本文标签