天天问AI一堆问题，终于明白了大模型的知识结构最近我用AI学习古埃及、全球文字、

天天问AI一堆问题，终于明白了大模型的知识结构

最近我用AI学习古埃及、全球文字、甲骨文等等冷门生僻知识，还有各种时事热门新闻。慢慢有了领悟，AI是真的对这些东西有了超乎人类的理解。

1. 知识压缩，大模型知识结构广度深度超过人类

AI用万亿级别的系数，存储人类所有知识。在应用时，它还可以搜索。人类知识加上搜索出的信息，这些远大于万亿级别，光用于预训练的文字信息就是10万亿级别的。大模型不是死记硬背，需要压缩这些信息。

压缩过程就是理解。知识结构的底层是token，可以理解为单词，这些token通过Transfomer建立关联。以前对关联的结构不太明白，现在用多了有感觉了。这种关联是横跨无数个领域的，AI能够发现人类知识结构的类似性！

例如问AI，怎么理解古埃及文字、甲骨文，它仔细给我解释，用了很多类比，真的说清楚了。我认为AI建立了对人类知识结构深刻的理解，远超任何人类。甚至领域专家的理解都不如它，因为专家不懂其它领域，可能会忽略一些重要的关联。甚至专家也不懂本领域的一些知识，知识天天在进步。而AI会总结很多专家的知识，自己建立深层理解。

例如经济学知识，可以肯定AI比不少经济学家强。经济学家对很多经济现象都不理解，各有立场，互相矛盾，执念很深。而AI会客观学习所有经济学知识，中立客观地建立经济学知识结构，很强。

现在AI做数学题能打败人类奥数参赛者了，这是对数学的结构有了深入的理解，而不是记忆答案。做数学题和下围棋一样，都是对许多概念和逻辑有了深入的洞察，超过人类。数学本身就是抽象的，围棋也是抽象的，不需要对应到真实世界。我们做数学题，也是玩抽象，关联到实际应用不是数学的本质。

也就是说，大模型建立了人类知识体系内在的结构化理解。超过人类的，一个是知识的广度，学的太多了。一个是知识的深度，很多不同领域的知识结构其实是类似的，大模型会基于这些类似建立深层次的抽象知识结构。我们说“一艺通则百艺通”就有点这个意思，对一个知识有了哲学性、概括性、结构性的深入理解，也会帮助对其它知识的理解。这一点没人能比AI做的更好。

2. 幻觉不是知识结构产生的，是输出时信息有问题

我们很容易发现大模型有很多输出幻觉，真的会出错，使用时要小心。但是，我仔细体会，发现AI的知识结构很厉害，没发现有什么问题，理解都是对的。它仔细解释各种概念的关联，真的是最好的老师。AI的知识结构绝对是价值极高的，正确地理解了人类知识结构。

但是，大模型输出的错误和幻觉哪来的？这是大模型应用正确的知识结构，结合其它输出需要的信息，在推理输出时，出错了。例如，你让它查个经济数据，它就经常会错。因为经济数据本身，不是知识结构！如果数据本身成了知识，那大模型多少系数也不够存的，数据无数。数据是一种“信息”，不是知识结构。人类会给出很多错误信息，如在某个网页给了个错误经济数据、错误事件描述。大模型很难排除错误信息，就输出了错误。有时没有数据和信息，人类又强迫它输出，就像模像样地编造了，这是信息不足的问题。

因此，大模型输出 = 知识结构 + 信息。AI的知识结构经过精心整理训练素材，是可以保证基本正确的。但是信息真的很难保证正确，人类也很难保证不被错误信息误导。

另外一个问题，知识结构不是知识本身。如关于重力的知识，AI比普通人强得多，重力相关知识结构很广很深。但是重力的体验AI是没有的，这无论如何都不如人。再例如，人在社会中生活，花钱赚钱，这AI没法体验。

因此，大模型缺少对知识的灵魂洞察，有时直觉不如人类高手。如人类思索者在社会中体验琢磨，能发现一些非平凡的东西，知识发现比大模型强。大模型的知识结构没法自行扩增，是好老师，但不是高水平研究者。大模型缺的是体验，理解得很好，但是没有灵魂。