https://www.youtube.com/watch?v=aiR7F4jqjXY
在这期由红杉资本（Sequoia Capital）主持的《Training Data》播客节目中，初创公司 Engram 的联合创始人 Dan Biderman 和 Jessy Lin 深入探讨了 “记忆（Memory）与持续学习（Continual Learning）” 在 AI 领域的核心作用，并分享了他们对未来 AI 发展趋势的独特见解：
核心论点与核心 premise
- 将知识直接“烤入”模型权重（Weights）： Engram 的核心前提是：不要一味地将越来越长的提示词强行塞入上下文窗口，或者完全依赖外挂的检索增强生成（RAG）。相反，应该将团队、公司或个人的特有知识直接训练并内化到模型的权重中，让 AI 模型像工作了多年的资深员工一样，本能、直觉式地了解这家公司 01:11。
- 记忆与持续学习是硬币的两面： 目前的 Frontier 实验室主要聚焦于预训练和后训练（Post-training），将模型打造成在数学和代码上具有高 raw intelligence 的工具。而 Engram 认为，AI 未来的瓶颈在于理解“全新且不断演变的上下文”，并主张模型应该处于“永远在训练”的状态 01:04。
技术实现与架构
- 轻量化训练与适配器（Adapters）： 团队在技术上通过各种适配器（如 LoRA、Prefix 等）和微调手段（SFT、RL、在策略蒸馏等），在各个工作空间（Workspace）内针对不同团队训练专属的专属小模型 04:39。
- 不仅是开源模型： 虽然由于可以直接访问权重（White box access），这种方法在开源模型上最容易实施，但他们也可以与闭源模型公司合作，将这种能力应用到任何基于 Transformer 的模型上 06:31。
与 RAG（外挂检索）及 KV Cache 的对比
- RAG 存在极限（"Rag Killer" 的定位）： 尽管不完全排斥 RAG（基础事实的记录依然需要），但如果一味依赖 RAG，模型很难进行抽象的、跨领域的联想（Associations）。此外，当信息量达到每天数千万 Token 时，RAG 的查找和模型的重新阅读成本将变得极为高昂 02:59, 29:00。
- 压缩 KV 缓存（KV Cache）： Dan 提到目前的 KV 缓存堪称“庞然大物”（例如一个 Llama 70B 模型对单个长条目的 KV 缓存甚至能吃掉 80GB 的显存，而整个模型的权重也就 100GB 左右）。通过梯度下降（离线训练），可以将这 80GB 的“大脑状态”压缩上千倍，并深深烙印在权重中，极大降低推理成本 30:16。
创始人背景与思维碰撞
- 生物学/神经网络的启发： Dan 拥有神经科学背景，他提到人类的大脑演化出了特定的局限性，大脑在梦境中其实也是在脱离实际交互后，重新去试验和消化白天所学。Engram 的模型也包含类似的阶段，给模型时间去“消化”并从中学习，以防模型在持续学习中彻底“脱轨”（Off the rails） 13:24, 27:52。
- 关于“语言战胜视觉”的趣味探讨： 主持人提出了一个非技术性的“疯狂理论”（即电脑纯电子化的环境强化了语言，削弱了生物学上具有极高比特率的视觉优势）。Dan 和 Jessy 认为，人类在办公室读写备忘录等知识工作（Knowledge work）本就不是生物演化的结果，因此采用基于文本的语言作为现阶段 AI 的切入点和界面是非常高效且合理的 41:11, 42:43。
未来愿景（5-10年后）
- 人人都有专属模型： 未来不会是只有一个越来越大的通用 AGI 模型统治一切。世界将走向分化：每个人、每个团队都将拥有专属于自己的小模型，它们懂你的风格和独特的习惯 15:21, 42:53。
- 数据层的神经接口（Neural Interface to Data Plane）： 正如 DataBricks 或 Oracle 成为传统数据层的基础设施一样，Engram 期望成为所有人访问数据层的“神经网络接口”——它不代表冷冰冰的文件系统，而是代表针对该文件系统的一种高度联想、高效的大脑状态（Brain state） 43:26。
AI 业内备受瞩目的创新实验室（Neolab）Engram 详细介绍
Engram 是一家在 AI 业内备受瞩目的创新实验室（Neolab），其核心愿景是攻克生成式 AI 的两大终极难题：长期记忆（Memory）与在线持续学习（Continual Learning）。
2026年6月，Engram 正式结束隐身状态（Stealth mode），宣布获得由红杉资本（Sequoia Capital）、Kleiner Perkins 和 General Catalyst 领投的 9800 万美元融资，估值达到 6 亿美元。令人瞩目的是，AI 巨擘 Andrej Karpathy 和 AI 领域泰斗 Pieter Abbeel 均以个人名义进行了追投。而此时，整个公司仅有 13 名员工。
以下是关于两位联合创始人、公司起源以及发展历史的详细介绍：
一、 核心创始人背后的技术底色
Engram 的诞生是一场“理论神经科学”与“计算机系统架构”的强强联合。
1. Dan Biderman（首席执行官 CEO）
- 学术背景与底色： Dan Biderman 来自理论神经科学领域。在神经科学中，“记忆”与“大脑印记”是研究的核心。他曾于斯坦福大学统计学与 AI 领域深造，并在世界顶级 AI 专家 Christopher Ré 教授的实验室工作。
- 核心理念： 受到生物学启发，Dan 认为当前的 AI 模型虽然充满智慧，但由于缺乏真正的记忆，它们就像“聪明的陌生人”。他主张模型不应在每次对话时重新检索、阅读文件，而是应该像人类大脑一样，通过消耗离线算力，将知识压缩并“内化”到权重中。
2. Jessy Lin
- 学术背景与底色： Jessy Lin 毕业于麻省理工学院（MIT），在认知计算科学与自然语言处理（NLP）领域拥有深厚的研究背景，随后在加州大学伯克利分校（UC Berkeley）继续进行前沿 AI 机制的研究。
- 核心研究贡献： Jessy 长期专注于模型的主动阅读（Active Reading）与稀疏记忆微调（Sparse Memory Finetuning）。在联合创办 Engram 之前，她便致力于解决模型在面对长上下文时，如何识别“哪些事实值得被记住，哪些事实该被遗忘”的过滤机制。
3. 豪华创始人天团的其他成员
除 Dan 和 Jessy 外，创始团队还包括：
- Sabri Eyuboglu： 斯坦福大学博士，专注于 Transformer 内部记忆机制、状态空间模型（SSM）及 BASED、Minions 等架构的研究。
- Jack Morris： 2025年底毅然放弃康奈尔大学（Cornell）的博士学位加入创办，专注于模型记忆化与对抗性研究。
- Scott Linderman & Christopher Ré： 斯坦福大学知名教授及实验室导师。
二、 公司的起源：从斯坦福实验室到“逆向押注”
1. 实验室的灵感碰撞（2025年前后）
公司起源于斯坦福大学的 AI 实验室。当时，Dan Biderman 和 Sabri Eyuboglu 在 Christopher Ré 的实验室里发现，他们正从两个完全不同的学科两端，追逐着同一个“在当时并不算流行”的概念——机器记忆。
- 传统的计算机科学中，“数据库（存储事实）”和“算法（处理逻辑）”是完全分离的。
- 现代大模型的快猛发展（如预训练和 RAG）虽然部分解决了知识外挂的问题，但并没有从底层改变模型“健忘”的缺陷。
2. “记忆印记”的命名
公司取名 “Engram”（记忆印记/ 遗痕） 正是源自神经科学。在生物学中，engram 指的是记忆在生物大脑神经组织中留下的物理或化学痕迹。创始人们希望在硅基芯片中，为 AI 刻下同样可以线性组合、擦除和沉淀的“神经印记”。
3. 成立与拒绝巨头邀约（2025年10月）
2025年10月，团队正式从斯坦福实验室走出，在旧金山创立了 Engram。为了这个共同的机器记忆愿景，团队内的多位核心成员拒绝了来自 Google Gemini 团队和 Anthropic 等前沿实验室的高薪 Offer，选择加入这场胜算极高却充满挑战的 calculated risk（精确计算的冒险）。
三、 发展历史与商业演进（2025年10月 - 2026年6月）
1. 隐身期与“RAG 杀手”架构的确立
在创立初期的几个月里，Engram 在隐身状态下快速迭代。大模型行业当时正深陷“高昂的 Token 推理成本”和“日益臃肿的上下文窗口（Context Window）”危机。
- 痛点： 现有的企业 AI 代理（Agents）在处理一份 7 万字的合同或代码库时，其生成的 KV Cache（键值缓存）会膨胀到 100GB 以上。每问一个新问题，模型就得把这 100GB 的“大脑状态”重新从磁盘加载或重新计算一遍，这带来了恐怖的显存占用和资金消耗。
- Engram 的解法： 他们提出了一套 “永远在训练”（Always Training） 的架构。利用团队此前在 LoRA、BASED、Cartridges、稀疏微调等领域的一系列突破性论文成果，Engram 能够在后台自主运行轻量化的微调，把企业的 Bespoke（定制化）工作流、专属工具链和团队上下文，直接压缩成数千倍小的适配器权重。
2. 拥抱顶尖生态合作伙伴
随着算力成本和 Token 消耗成为应用层的最大痛点，Engram 的技术迅速迎来了强烈的市场需求。在隐身期间，他们便与 Microsoft（微软）、Notion、Harvey（知名法律 AI） 等在企业协作和大规模数据处理上饱受 AI 运营成本折磨的巨头及头部初创公司达成了战略合作伙伴关系。
3. 轰动性的高额融资与未来愿景（2026年6月）
2026年6月23日前后，Engram 正式走出隐身状态，向世界揭晓了其 9800 万美元的巨额融资。
在红杉资本主持的 Training Data 播客中，Dan Biderman 和 Jessy Lin 勾勒出了公司的终极演进路线：
- 从每天更新到每分钟更新： 目前 Engram 的系统能够让模型在企业内部每天自主消化和吸收新产生的数据。未来，他们的目标是提升数据吸收频率到“每小时”，最终实现“每分钟”甚至“实时更新”而不会发生灾难性遗忘（Catastrophic forgetting）。
- 去中心化的个人模型时代： Frontier 实验室（如 OpenAI、Anthropic）在拼尽全力用海量资源去堆积一个庞大、通用的 AGI。而 Engram 坚信未来的世界属于分化：“每个人、每个团队都应该拥有一个属于自己的小模型”。这个模型独立、安全、可控、极度便宜，且会在日常使用中，像一个真正的数据员工一样，每天醒来都变得比昨天更聪明。
Top comments (0)