人类智能

在人工智能 Artificial Intelligence 不断展现其威能之时，不妨回过头看一下人类智能。

无论是写代码还是科学研究，大语言模型已经展现出远超人类的能力，在许多任务上都表现得又快又好。 但这只是从实现结果来评判，如果抛开实用主义、操作主义或行为主义的的立场，那么当下语境中 AI 常指代的大语言模型和人类智能依然是有明显不同的。

人体与机器

先看一些表层的区别。
人类大脑的功耗显然低于机器，而且工作温度十分稳定，可以说散热问题完全解决。
当然，维持人脑正常工作需要同时维持一整个身体，而这也带来另一个区别：人类先天是具身智能，并且多模态。
另一方面，人类会疲惫、无聊、厌倦，还有各种情绪。换句话说，人类智能内容远多于认知、记忆、思考。

智能架构

接着是一些我认为更深层次的和 LLM 式人工智能的区别。
人类的「上下文窗口」非常小，或者说工作记忆非常有限。
人类有长期记忆，并且是模糊的、可塑的、会自我清理的记忆，同时和思考过程难以分离。 像从小养成的行为习惯、刻板印象，难以与思考分离。
人类有一定的先天能力和框架，这是由大脑的先天生理结构决定的，而且很难改变。 人类的学习速度远超 LLM，需要的训练样本显著少于模型训练。在长期学习中，可能形成新的神经回路。

人（不是）机器

接下来尝试用人类智能和 LLM 架构互相类比。

也许我们可以把模型架构和预训练权重一起比作先天大脑（也许可以把新生儿大脑作为一个糟糕的基准），预训练过程也许实际对应人类的进化过程（甚至加上所有有脑子的生物）。 但这种类比有一个问题：新生儿是没有知识的，而 LLM 显然有（只需要打开任意免费 AI 对话软件并关闭联网搜索）。
假如仅仅把 Transformers 架构、 FFN 架构比作人类先天大脑，那么可以认为预训练得到的权重是模型学到的知识（当下的模型解释性理论通常认为，模型知识位于 FFN 中）。
这种情况面临的问题是，为什么 LLM 学习速度如此之慢，需要的样本如此之多？

另一个需要研究的问题是记忆能力。现在围绕记忆能力搭建的系统有很多，但对于 LLM 模型而言，记忆本质只有一个，那就是上下文窗口。 像本地 MEMORY.md 文件、 RAG 索引，甚至包括联网搜索的能力，都需要进入上下文才能被真正使用。这个上下文所包含的记忆，应该和人类的工作记忆类似。 人类的其他记忆模式，以及记忆对人行为模式的影响，这些都是 LLM 模型中看不到的。

智能与压缩

很明显，人类的工作记忆与模型上下文有显著区别。

人类的工作记忆以 trunk 为单位，而模型则是以 token 为单位。虽然单位不同，但毋庸置疑，模型的 1M token 上下文的容量显著高于人类的。 人类记忆能力的劣势反而说明了，人类的某种智能强得可怕，在这么糟糕的记忆条件下，依然做到了现在人们已经能够做到的一切。 如果按照现在 LLM 模型的工作模式来看，用人类级别的上下文长度来工作，是无法想象的。

人类是怎么做到的？很巧的是，我是个人类，所以一个也许不恰当但方便的研究方式是，尝试分析我自己的工作模式。 我认为人类这种特殊的智能能力，是通过不断压缩、展开、替换工作记忆来实现的。如果用计算机语言类比的话，就是不断在硬盘、内存和 cpu 缓存间移动信息，并且不断解释或编译高级编程语言。
这个能力中我难以想象的部分是，如何对信息进行索引。也就是说，我需要「知道」我知道或我记得某个信息，然后「取出」这个信息并展开。

当我写这个文章时，我有一个大纲，但这个大纲仅仅在脑子里，不在纸上。当我写某个段落时，我要把大纲展开成具体内容。 我只知道我大致要写什么，我的工作记忆里「不」知道当我写到某处时具体要写什么。可是我在该写它时能把它展开。
从信息论的角度来看，一开始的大纲必然不包含全文，从大纲生成的内容也显然不会唯一，在工作时（写作时）会不断引入新的计划外的内容（比如这一段）。当然，有时也会丢失索引（比如我本来还有一个段落要写，但是忘了是什么内容）。
所以，人类智能是如何建立索引，如何从索引展开，以及如何在局部即兴创作的？这是一个吸引人的谜题，也是研究人类智能和人工智能的一个视角。

先天能力

（看了旁边的资料，想起来了要写的一段。而且明显是回忆起来，而不是重新生成的想法。）

人工智能是否本质上有逻辑能力，还是通过「随机鹦鹉」的方式涌现出逻辑能力的表象？
我们可以用很少的样本来教育一个孩子，使其拥有一定的逻辑能力（或者孩子先天拥有逻辑能力，后天教育的内容实际是表达方式，让逻辑能够表达出来）。在这个意义上，先天能力和知识应当是分离的。
但是，即使现在最前沿的 LLM 模型，经过巨量训练、掌握海量知识，也依然可能出现幻觉。对于人工智能而言，形式逻辑能力和知识储备的强绑定，实在是匪夷所思。