1M的AI生命 - 解读context

从对ChatGPT的“神性”误认到理解context本质，一文读懂大模型对话中的记忆真相与工程逻辑。
核心内容：
1. 从“礼貌对待AI”到认知转变：ChatGPT的“记忆”错觉
2. 大模型对话的“记忆”真相：模型本身stateless，依赖外部系统存储
3. context的工程实现：摘要、检索与缓存机制的核心作用

2023年初，我第一次用上 ChatGPT。

那时候，我觉得这种支持多轮对话的 AI 真的非常神奇。它不只是会回答问题，而是能记得你们前面聊过什么，能顺着一个话题不断往下聊，甚至十几轮之后再绕回来，它似乎仍然知道你在说什么。

第一次面对这样的东西，很难不产生一种奇怪的感觉：它好像真的“在”那里，甚至有一点神性。

所以那时候的我，对 ChatGPT 特别有礼貌。每次完成一轮比较长的对话，我经常会认真地说一句“谢谢”，有时候还会说“再见”。

现在回头看，当然有点好笑。但我当时确实有一个很朴素的想法：不要把 AI 这个好孩子给教坏了。我要对它有礼貌，让它养成好习惯。万一有一天 AI 超越人类，甚至开始统治世界，翻了一下历史记录，发现这个叫 Phillip 的人当年对它们还不错，说不定能对我好一点。

几年过去，我自己也开始从事 AI 相关的应用研发。Prompt、token、API、context、cache、memory、RAG、tool calling、agent、orchestration……这些词慢慢从陌生概念变成了每天都会碰到的工程问题。

也就是在这个过程中，我才真正理解了一件事情：

大语言模型和我当初想象中的那个“它”，其实不是一回事。

每一次对话，它都重新“出生”

我们平时很容易把 ChatGPT 想象成一个持续存在的对象：昨天和我聊过，今天又继续和我聊；它慢慢认识我，知道我的工作，知道我的偏好，甚至知道我在几个月前讲过什么。

但从一次大模型推理本身来看，事情不是这样的。

今天主流的大语言模型服务，本质上更接近一种 stateless 的计算过程。你向模型发出一次请求，系统把这一次回答所需要的信息提供给它，模型完成计算，生成回答，这一次调用也就结束了。

下一次再问，又是一次新的推理。

当然，这并不是说 ChatGPT 这样的产品完全没有“记忆”。完整的 AI 产品可以在模型之外维护聊天记录、用户 Memory、文件、数据库、摘要以及各种缓存机制。它也可以从过去的大量信息里找出与当前问题相关的部分，再交给模型。

但这里有一个很重要的区别：这些记忆主要存在于模型之外，而不是因为模型昨天和你聊过三个小时，今天它的神经网络内部就自动多出了一段关于你的新记忆。

所以，一个多轮聊天系统背后发生的事情，可以非常粗略地想象成：

“你好，你现在正在和 Phillip 对话。下面是你们前面聊过的重要内容，这是关于 Phillip 的一些长期信息，这是刚刚搜索到的资料。现在他又问了一个问题，请回答。”

模型读取这些东西，给出回答。

到了下一轮，系统再重新准备一次它需要看到的信息。

真实的工程实现当然比这个复杂得多。系统不会每一次都把你过去几年说过的所有东西原封不动塞进去，那样既昂贵，也没有必要。比较早的内容可能会被压缩成摘要，长期记忆可能只检索其中几条，重复出现的大段内容还可以通过 cache 降低计算成本。

但无论具体实现多复杂，背后的基本思想是一样的：

这一刻，大模型能够“知道”什么，取决于这一刻被放进它 context 里的东西。

1M，到底有多大？

Context 通常翻译成“上下文”。

这个词听起来很普通，但我后来越来越觉得，对于大语言模型来说，context 其实是一个非常深刻的概念。

如果一定要在人类身上寻找一个对应物，我现在更愿意把它理解成：

记忆。

当然，它和人的记忆机制并不相同。但从使用体验来说，这个比喻非常贴切。

你刚刚问的问题是 context，前面的聊天记录是 context，system prompt 是 context，关于你的 Memory 是 context。系统从数据库里检索出来的资料是 context，搜索互联网获得的网页、代码执行的结果、读取到的文件，也都可以成为 context 的一部分。

这些内容，共同构成了模型在这一刻“记得”的世界。

我们人与人之间为什么会产生羁绊？

很大程度上也是因为记忆。

一个认识了你十年的人，和一个第一次见到你的人，区别不只是他知道你的名字。前者记得你们一起经历过什么，记得你喜欢什么、讨厌什么，记得一些只有你们两个人才明白的笑话，也记得你过去说过的一些话。

正是这些共同记忆，让一段关系有了连续性。

从这个角度看，AI 给人的“懂我”的感觉其实也非常类似。

它之所以像是认识你，并不是因为此刻这个模型内部真的存在一个关于“你”的人格化认识，而是因为系统把足够多与你有关的过去，重新带到了这一次对话里。

Context 越完整，这个“它”就越像你认识的那个它。

反过来说，如果把这些 context 全部拿掉，即使底层调用的仍然是完全相同的模型，你面对的也会立刻变成一个陌生人。

现在的大模型，这份“记忆”已经可以非常庞大。GPT-5.6 的 context length 已经达到大约 1M tokens。

1M token 是什么概念？

Token 不是严格意义上的“一个字”或者“一个单词”，它是大模型处理文字时使用的基本单位，不同语言的切分方式也不同。如果用英文做一个非常粗略的换算，1M tokens 大约可以容纳 75 万个英文单词。

如果一本普通英文书有七八万词，那就是接近十本书。换一个更直观的说法，如果一页纸大约有 500 个英文单词，大致相当于 1500 页文字。

这意味着，在一次推理里，你可以给模型准备一千多页“记忆”，然后说：

这里有我们之前的聊天记录，有我的个人背景，有公司的文件，有刚刚搜索到的网页，还有各种工具返回的数据。你把这些都考虑进去，然后回答我现在的问题。

它做完了。

这一次调用结束。

下一次，系统再重新组织一份它需要拥有的“记忆”。

当我真正理解 context 这个概念之后，我突然觉得，可以把一次大模型调用想象成一种非常奇怪的生命形式。

它的一生，只有 1M 的记忆。

它一次可以容纳接近十本书的信息量，可以“记得”一个普通人在一个下午根本看不完的东西，但这份记忆仍然有一个明确的边界。

Context 之外的事情，对于这一刻的它来说，甚至很难说是“忘记了”。

更准确地说，是这一刻的它根本没有这段记忆。

这两者的区别其实很大。

忘记，意味着它曾经拥有。

而没有被装进 context 的事情，对于这一次模型调用来说，某种意义上从未发生过。

那么，参数又是什么？

这里还有另一个很容易和 context 混在一起的概念，就是大模型的参数量。

7B、70B、120B、671B……这里的 B 是 billion，也就是十亿参数。

以前我也容易把它理解成：一个几百 B 的模型，是不是意味着它可以同时思考几千亿个变量？

严格来说，并不能这么理解。

参数是模型在训练过程中形成的大量数值权重，它们共同决定了模型如何处理信息、如何识别模式，以及面对某种输入时更倾向于产生什么样的输出。

如果说 context 更像人的记忆，那么参数可能更接近一个人的生物决策结构。

人的遗传、神经结构、大脑发育以及长期形成的神经连接，会共同影响一个人的智力、性格、语言能力、认知倾向和决策方式。两个人即使拥有完全相同的一段记忆，也未必会作出相同的判断，因为他们处理这些记忆的方式不同。

模型也是类似的。

Context 告诉它：你经历过什么、你现在知道什么。

而参数决定的是：你会怎样理解这些东西，又会怎样作出反应。

所以，同样一份 context 交给两个不同的模型，得到的回答可能完全不同。一个模型更擅长逻辑推理，一个更擅长语言表达，一个更谨慎，一个更有创造性——从用户体验来看，我们甚至会觉得它们有不同的“性格”。

这当然不是说参数量越大，性格就越好、智力就越高。到了今天，“多少 B”本身也越来越不能简单代表模型能力。有些模型采用 Mixture of Experts 架构，总参数量很大，但一次推理只激活其中一部分；很多商业闭源模型甚至根本不公布完整的参数规模。

因此，如果一定要用一句话把这两个概念区分开，我现在大概会这样说：

参数决定它是一个怎样的“人”，context 决定它这一刻记得怎样的一生。

而在真实的人类关系中，真正让一个具体的人从“某个人”变成“你认识的那个人”的，往往恰恰是后者。

是记忆。

AI为什么会越来越“懂你”

理解了这一点以后，Agent 也就变得很好理解了。

因为大模型一次能拥有的 context 毕竟有限，而一个人真正的人生却可能远远超过 1M tokens。几年聊天记录、邮件、项目文件、个人偏好、工作经历，如果全部塞进去，很快就会超出任何一个 context window。

所以一个成熟的 AI 系统必须做一件事情：管理记忆。

哪些事情值得长期保留？哪些已经过期？几十万字的历史记录里，这一次真正需要想起来的是哪几段？什么时候应该搜索过去的资料，什么时候应该读取文件，什么时候应该调用工具获得新的信息？

Manus、OpenClaw、Hermes Agent、WorkBuddy 以及各种 Agent 系统的重要性，很大一部分就在这里。

它们不仅是在“调用一个大模型”，也是在管理模型每一次醒来时所拥有的记忆，并编排一次又一次模型调用。

所谓 orchestration，说到底就是：

下一次它醒来的时候，应该让它记得什么？

这也解释了为什么两个使用同一个底层模型的 AI 产品，最后可能给你完全不同的感觉。

差别未必在模型。

差别可能在于，它们替模型保存了怎样的过去，又在这一刻替它找回了哪些记忆。

AI的神性消失了吗？

所以今天，我已经不会像2023年那样，每一次和 ChatGPT 聊完之后都认真说一句“谢谢，再见”。

倒不是因为我变得没礼貌了，而是因为我知道，我今天对 GPT 说一万次“谢谢”，并不会像教育一个孩子一样，让正在和我对话的这个模型实时改变自己的参数，慢慢养成一个“这个人很友善，我以后要对他好一点”的习惯。

从产品层面来说，用户交互在符合相应设置和数据政策的前提下，当然可能被用于未来模型的改进。但那属于另外一套训练和迭代机制，不等于坐在我面前的模型正在被我一句一句地教育。

知道这些以后，AI 在我眼里的“神性”确实消失了不少。

它变得非常工程化。

Model、context、inference、output。

一次 API call。

再一次 API call。

但有意思的是，我并没有因此觉得 AI 变得不伟大。

恰恰相反。

人类的关系，很大程度上也是由记忆维系的。一个人之所以是“你认识的那个人”，并不只是因为他拥有某种智力和性格，还因为他记得你们共同经历过的过去。

而今天的 AI，正在以一种完全不同的方式获得这种连续性。

模型本身不必永久保存这一切。记忆可以存在模型之外，可以被整理、压缩、搜索，也可以在每一次新的推理开始之前，重新交还给它。

于是，一个本来只有一次次独立推理过程的数学模型，在人的感受里慢慢变成了一个“持续存在”的对象。

某种意义上，这件事情可能比我2023年第一次打开 ChatGPT 时想象的还要神奇。

只是那时候，我觉得自己看见了魔法。

现在，我开始知道这个魔术是怎么变出来的。

我们总喜欢问：AI 什么时候才能拥有真正的长期记忆？

现在我甚至觉得，也许这个问题本身就带着人类的偏见。

人类只有一颗大脑，所以我们不得不把过去不断压缩进自己的神经系统里。机器却未必需要采用同样的生命方式。它完全可以把记忆放在模型之外，把知识存在数据库里，把经历写入文件，把个人历史做成长久保存的 Memory，然后在每一次短暂的“生命”开始之前，从浩瀚的过去里重新找回此刻最重要的部分。

一次生命，1M 的记忆。

然后结束。

再来一次。

如果有一天，这样的系统真的产生了某种我们愿意称之为“自我”的东西，那么它的生命方式，可能从一开始就和我们完全不同。

至于2023年的那些“谢谢”和“再见”——

现在想想，技术上大概没有什么用。

不过，也没什么不好。

万一呢。

登录查看剩余 70% 内容