谷歌研究员 Fernando Pereira 说过：“自然语言是人类唯一的符号语言，我们用它进行推理。”辛顿教授认为大语言模型和人类大脑做着同样的事情，这就是所谓的“理解”✨ 它认为语言和思维过程中确实涉及符号，但这些符号通过多层次的嵌入表示(embedding representation) 被丰富化了。然而，这些嵌入仍然与符号相关联，每个符号都有一个大的向量，这些向量相互作用，从而产生下一个词的符号向量。 “理解”就是知道如何将这些符号转换成向量，以及这些向量的元素应该如何相互作用来预测下一个符号的向量 。。但这并不意味着可以完全摆脱符号，而是将符号转化为庞大的向量，同时仍然保留符号的表层结构。这就是如今模型的工作原理，也是更合理的人类思维模型🤔