Statistics is for learning, while Probability is for reasoning.

To get general intelligence, the feasible way is to incentivize, not teach.

没想到在𝕏上的第一个百万展示贴是这种符合平台算法内容，而不是我来这里的原因智能第一性原则认知构建。 这是𝕏背后的广告商业模式决定的吧，难怪一班子数学家都跑到专业平台如Mastodon去了。

建模思考预测需要语言符号表征，没有语言参与的思考推理更多是偏直觉的刺激反应，或者trial and error。 通过学习思考过程的文本描述，LLM可以在自己的潜空间中解析人类理性背后的因果逻辑，进而输出自身的思考结果。 越是形式化描述的科学如数学越能被LLM参透。 难点在于人类理性思考的应用场景更多是带着自身价值取向导致的偏见，所以我们很难直接将这种cot能力应用于人类生活场景。

这似乎和大刘借三体人之口说人类智能中的人性就是个bug是差不多意思： “在一个充满顺从主义者的世界里，反社会行为是一种智力特征。” ― 尼古拉·特斯拉

sigh，会有越来越多类似的数字智能跃升时刻..

auto模式就是模型自适应选择哪个么？ 有意思，绝对有个agent在前面了，类似之前gpt-4的有个50B的注意力分析模型用来选择moe路由？

红外感应拍摄的iPhone的前置原深感摄像头进行FaceID的交互： 再一次让我感到人类可见光视觉构建的世界模型的局限

人类真是疯狂，将印刷文本数字化扫描喂给LLM已经进化到这个地步啦！

经典力学直觉上还是以人类智能为出发点，所以时间扮演了很重要的角色； 而热力学明显的出发点是通用宇宙智能。

从智能第一性视角，人类智能进化的突破点在： 双体对称结构海洋动物出现开始探索3D空间steering；～6亿年前 脊椎动物具备探索比海洋更复杂的陆地空间通过不停试错reinforcing；～5亿年前 然后哺乳动物进化出新皮质层可以根据刺激与反应模拟，极大的提高了生存适应智能simulating；～一亿年前 接着到灵长类动物新皮质层进一步发展出粒状结构，形成建模预测，并能理解别人的头脑mentalizing；～三千万年前 当前的人类之所以主宰这个星球是语言speaking… 而AI的突破算力scaling下的大型语言模型继承压缩了所有人类的数字化文本精华，并被塑造了会话能力以及正被赋予推理思考能力。

有点不敢相信，一个基因组的变异导致现代人类超越了尼安德特人？在下一秒的生存确定性预测中更有优势？ 2022年的一项科学研究发现，单一的基因组变化可能通过增加新皮质神经生成，使现代人比尼安德特人等更古老的同时代人更有优势。t.co/ZnZoehAu1w

agree。只是学习、思考而没有行动是拖延症。 行动及结果反馈是我们缓解下一秒生存确定性焦虑的必须。

人类对现实的认知随着数学的发展而深入：

秩序基质问题，中美各为代表。 马克思说经济基础决定上层建筑，所以经济有一种秩序替代作用。 要不就基于民主共识的经济构建群体政治秩序，要不就是还是基于人性操控以威权形成阶级专政的秩序。

人欲便是天道 有生计算智能体的特性，也是局限。 三体人从智能第一性说人类这种智能是bug。 黑神话的作者从人性第一性直接说伪善礼佛就是个屁了…

#有生计算智能体PreTraining系列 开个书单贴，如果说研究这波AI狂潮现象，并浮现迭代出A𝕀²·ℙarad𝕚g𝕞，是一种全新的尝试，对我个人的启示，把自己项上颅内的生物神经网络也同等看待，用ANN上LLM的方法进行预训练；所以列一下书单-训练语料。 这本书让我重新认识与思考了呼吸-Breath： 曾经一度鼻炎严重甚至影响了睡觉💤，一度想是不是要手术；后来找到这本书； 后来明白了是免疫力下降导致身体上的各种循环问题，现在通过调整作息坚持拉伸，呼吸通畅，鼻炎也渐渐消失。并深深体会到什么叫：息息相关。 如果气血循环不畅，一定会反应是鼻息上，如同有时拉伸，一个新的深层肌肉群的神经元被重新激活，鼻息中某处突然会有一丝fresh的感觉。

IQ在100到120的尴尬了

数字神经网络操纵进入下一个阶段： 通过next token prediction我们让这些数字神经网络压缩（pretraining）了人类语言文本精华（token stream），给予他们文本表征的世界模型，并塑造了这些模型的会话能力。 正如人类理性源自在这个不确定性的世界环境里寻求一点点生存的确定性（next second prediction to pursuit survival certainty ）, 接下来就是赋予这些模型的推理思考能力。人类的理性思考经过了漫长的生存适应进化，而这些文本世界模型从next token prediction迭代到reasoning，需要我们设计一个怎样的奖励模型来塑造他们的理性行为呢？

为什么这种数字神经网络的构建在next token prediction之上的推理学习需要过程监督与奖励反馈？我理解为赋予数字智能学习动机与动力。 人类智能在进化过程中，在最初的很长一段时间也是不断的重复trial and error，大脑出现新皮质层后才开始对环境进行实用主义的建模预测。底层一直是下一秒生存确定性的追求驱动的。 而这些数字神经网络有数字化文本构建的数字世界模型，没有类似自我驱动的动机。

生物complexity为何会一直递进演化？ 为了理解人类费尽心机，从量子力学到生物生理学前沿。t.co/CYf35oWLl9

真是这样的吗？

o1模型可以认为就是一个GPT-4o的CoT agent｜在此之前的GPT版本，一些复杂问题交互，需要复杂的思维链（ CoT） 提示工程，定位于Level 2智能的o1将大大减少CoT提示工程量，可以理解为CoT Prompt被内化成了模型的自适应行为了。 t.co/TFEl6VV1Xv

赫拉利的书我曾经啃过，但啃不下去，后来就没怎么看了。 信息的维度还是太低了点，理解人类文明，可能从智能第一性原则视角才能抵达：

@FMackenzie7 OpenAI内部还有个o1-full版本，推理计算时间更长，推理性能更好。 推出的这两个版本演进路线应该不一样，O1是新范式LLM版本，o1-mini可能更像是GPT-4o的推理增强，主要用o1的推理过程合成数据做next token prediction。 当然目前推测，这几个版本的参数量都不大。

黄金分割线的数学解释

关于scaling what的再思考，对前一篇文章做了一些扩充 深思考系列｜“Scaling What”问题中的LLM范式迁移｜关于伊利亚所说的“大模型缩放假设”的补充 t.co/SRtill98TS

又一篇scaling what相关arxiv论文，都是在inference compute方向发力！