要是口圆井那我就认命了，方井嘛，我要出去看，世界那么大…

Number的扩展很神奇，一直着迷这种可视化表达

@ilyasut @geoffreyhinton next Nobel Prize in Economics is you, for fighting with Sam Altman and trying to save humanity in this planet Evil super intelligence will deconstruct capitalism and control everything; while hopefully your SSI will reconstruct capitalism and save humanity.

Hinton的获奖感言，其中提到Ilya与Sam的AI安全斗争⬇️看来老爷子是很严肃对待AI的威胁。 “我还想感谢我的学生（......）他们继续做了很多伟大的事情。 我特别为我的一个学生解雇了Sam Altman这一事实感到特别自豪

AI Engineering也会一样，接下来主要是以AI训练AI

这是由人类智能的生物性决定的，就是这种生物性的计算特质是基于时间感知的，有生的，这种感知来自每一个细胞的线粒体中，细胞从植物性的进化到动物性之后，就完全是掠食行为，一个细胞吞噬另外一个细胞，这是线粒体中植入到时间感知信息形成的生存延续压力驱使的。 在人脑新皮质层出现后的理性自我一直想摆脱这种感性的深层操控，但显然很难，因为我们是一种进化适应智能。 而人工智能，这种不朽的数字智能的底层计算特性则完全不同，AI科学家们的努力替代了进化过程，直接是一种线性增长的不朽的计算智能。

这个有点酷了，如果能达到驱动spacex的一级火箭推力那就不得了了吧⬇️ Astro Mechanica发明了一种新型喷气发动机。与任何现有的发动机不同，它在每个速度下都很高效。因为它在各种速度下都很有效，可以以一种新的方式使用它：作为轨道运载火箭的第一阶段。 在许多可能的应用中，由此产生的平台将比全火箭系统更便宜得多地将有效载荷送入轨道。 关键的见解是使用电动机来驱动压缩机。通过这种方式，我们可以让它以任何速度旋转，让它“适应”其空速和燃烧周期。 最酷的部分之一：下面的视频是Ian和团队去年建造的演示者。目前已经有一个推力是10倍的新发动机，将于下个月完工。 t.co/geoSUR7NAQ

从此以后的NobelPrize

我前面整理的视频有关于算术与音乐，这部分似乎是某种预置，不过不是Noam研究的重点；当然noam是在与LLM对比下突出了人类语言（主要指外在化语言）计算的高效能（binary set formation），突出其结构能力以及习得的数据稀疏性。 关于肢体语言情绪表达这些也不是Noam研究的对象，可能和他说的内在化语言有关。

纠正一下，是用了所谓物理学工具取得了AI方面的成功： 一起获奖则是他们之间工作有联系。

这大概是我看过最好的Hinton老爷子的访谈，内容非常丰富： 相信对数字神经网络直觉的力量！

下一秒生存确定性撑足💯

仔细研读Chomsky的一系列访谈，发现老爷子反复强调一下至简的科学研究信念： 1、科学是为了解释explaination，而工程是为了功用functioning。这我理解科学是为了更接近造物主，是人类智能溯寻自身的来处；而工程主要是为造物致用，受人类智能的下一秒生存确定性驱使。 2、科学方法作为解释是有边界的，要解释为什么会这样而不是那样，要能区分可能与不可能。 3、语言中的结构能力structure capacity不用习得，似乎是预置的。这我理解老爷子说的外在语言里的structure，有点像LLM里的transformer架构实现的文本序列里的注意力机制。 4、表象的复杂可以通过phenotype研究方法获得某种结构上的形式解释，而复杂性的最终是构造于简单性之上。这个大致意思是这样，我的表述不一定准确。

都在赌

你兑换筹码了吗？

语言的使用，是我们每个人日常。 通常认为是一个词序列而已，就像自然数number； 而NoamChromsky，看到了语言背后的结构structure，基于binary set formation无穷的变幻，是一个向量vector，有方向、有力量，并因此探求这种外在语言（E-Language）力量的背后的内在语言属性（I-Language）。

不是吧，神经元细胞成像已经到这个地步了？我看到了两个神经元在聊天💬

两周内有这么多LLM发布或开源啊？真是浪费GPU资源！！！ L1级别的LLM已经玩不出什么花来了吧？！

也许我们的生物智能不过是生存与繁殖的进化适应的结果？

自回归大语言模型AR-LLM（如gemini-1.5-pro-001）的潜力远远超出了语言处理，进入了通用计算的领域。以下是关于这一论文的一些关键点： - **通用计算能力**：在理论计算机科学中，"通用计算"意味着一个系统可以模拟任何图灵机，这基本上等同于能执行任何算法或计算任务。自回归大语言模型通过展示它们可以实现一个Lag系统（一种已知为计算上通用的模型），暗示了这些模型在适当的条件下可以进行任何形式的计算。 - **自回归解码的角色**：自回归解码是指模型基于之前生成的 tokens 来预测下一个 token。在这个上下文中，它被用来逐步推进计算过程，每一步都依赖于之前的输出，这类似于如何在经典计算机中逐条执行指令。 - **模拟Lag系统**：研究提到了模拟一个具有2027条生产规则的Lag系统。Lag系统作为一种计算模型，可以展示出与图灵机等价的计算能力，因此通过模拟这样一个系统，研究证明了该语言模型的通用计算能力。 - **提示的重要性**：正确地提示模型是关键。这里暗示了通过特定的系统提示（ prompts ），可以引导模型执行预定的计算路径。这是一个有趣的点，因为它展示了输入的设计如何能解锁模型的不同功能或计算能力。 - **gemini-1.5-pro-001作为通用计算机**：虽然在实践中，语言模型作为通用计算机的效率、实用性可能还需探讨，但理论上证明它能做到这一点，扩展了我们对AI模型能力的认识。这不仅仅是语言翻译或文本生成，而是潜在的任何可计算问题的解决方案。 这个研究对AI领域的意义在于，它可能推动人们重新思考AI的应用，不再局限于特定的任务，而是作为更普遍的计算工具。这可能启发新的编程范式，其中"编程"语言模型不仅仅是写代码，而是通过自然语言或其他形式的提示来定义计算本身。 然而，值得注意的是，尽管在理论上这些模型具有通用计算能力，在实际应用中，它们的表现还会受到模型大小、训练数据、能源消耗、执行速度等多方面因素的影响。因此，虽然理论上是通用的，但在效率和实用性上，可能还需要进一步的研究和优化。 t.co/qRM2MoK0pA

成瘾行为，由来已久； 进化论表明现代环境中的成瘾行为模式，都有古老的奖励系统在背后的影子。 过去那些行为是一种适应性，但在今天更多的是有害但仍然难以摆脱。 为什么？ t.co/f4mfZSfXca

理解AI，还要回头补上语言本质这一课｜诺姆·乔姆斯基Noam Chomsky访谈实录整理与解读

数字智能分级逻辑共生图

相对于搞语言学一辈子的Noam Chomsky对ChatGPT背后的数字神经网络嗤之以鼻，年轻的数学家陶哲轩Terrence Tao一直积极开放的拥抱这种数字智能的语言能力对于数学研究的影响，认为这为数学研究展开了前所未见的新探索领域。 摘一段Chomsky在podcast访谈中关于算术的一段话，基本他认为算术似乎是预置的。 “关于算术，我们现在有了一些貌似合理的答案，虽然不是确定的，但也是貌似合理的，这些答案曾极大地困扰着查尔斯-达尔文和阿尔弗雷德-罗素-华莱士这两位进化论的创始人。他们非常关注被他们视为严重悖论的问题。他们假设，他们没有证据，但他们假设，显然是正确的，所有人类都有算术能力。所有的人类，也许都必须通过触发模拟才能激发出这种能力，但这是正常的本能行为。 但人类基本上都知道，数字是这样的，自然数是永远不变的，加法也是这样的，等等。他们对此感到不安，因为这显然不可能是通过自然选择形成的，因为这种能力在人类进化过程中直到最近才被使用过，而且还是被少数人使用过。因此，达尔文和华莱士产生了分歧。华莱士认为进化中一定还有其他因素，而达尔文不同意。他认为一定有办法做到这一点，但他们留下了一个悖论。现在，我们有了一个可能的答案。如果你看看当代关于通用语法本质的理论，就会发现如果你把这些假设简化到极限，想象一种语言中只有一个元素，一个词，如果你喜欢的话，并使用最简单的可能形式，你就会得到类似算术的东西。 可能就是答案。可能是它存在的原因。可能是语言的一个分支，也可能是产生语言的同一进化步骤产生了这一普遍特性。” t.co/Gkz9D9Bs1L

全媒体发布扩散地图，应该有个中文版啊🤔

学数学还分consumer和producer？

如前谷歌首席执行官Eric Schmidt重复并强调：我们今年（即在~2个月内）将获得无限的上下文窗口。 这是不是意味着对这种LLM来说，可以不需要memory了？

Noam Chomsky在podcast提到，language is just basically a perfect computational system，如何理解他说的这些？ Noam Chomsky的这句话可以从以下几个方面来理解： 1. **语言作为计算系统**： - **完美性**：Chomsky认为语言的结构是高度系统化和规则化的，他提出的"生成语法"理论认为，人类语言的基础是一种能够生成无限句子的有限规则系统。这种系统的设计如此精巧，以至于它可以被看作是"完美"的，因为它能够以最小的规则集生成几乎无限的表达可能性。 - **计算性**：这里的"计算系统"指的是语言的操作类似于计算过程，通过一套明确的规则（语法）来组合、生成和理解语言的各种成分（词语、短语、句子）。Chomsky的理论中，语言的核心是这个能够进行"计算"的语法系统，它决定了什么是可能的句子。 2. **生物语言学视角**： - Chomsky认为语言能力是人类生物学的一部分，是一种与生俱来的能力。他提出的普遍语法（Universal Grammar）概念暗示所有人类语言都共享一个基本的结构框架，这个框架是完美的，因为它自然地适应于人类的语言需求和认知结构。 3. **对语言研究的启示**： - 如果语言是一个完美的计算系统，那么研究语言不仅仅是描述各种语言现象，更是探索这个系统的内在逻辑，理解人类认知的深层机制。这推动了语言学研究从描述性走向了理论性和解释性，试图揭示语言的深层结构。 4. **与其他认知系统的关系**： - Chomsky认为语言是独立于其他认知能力的一个模块，这个模块的设计是如此精确和高效，能够处理复杂的结构转换、递归等操作，这在计算理论中也是非常高级的功能。 5. **批评与讨论**： - 称语言为"完美"的系统也引发了不少争论。批评者可能会指出，语言的变化、多样性和不规则性似乎并不完全符合"完美"的定义。然而，Chomsky这里的"完美"更多指的是语言机制的高效性和生成能力，而不是说语言在实际使用中没有缺陷或不规则现象。 综上所述，Chomsky认为语言是"完美"的计算系统，是指其 underlying structure 和操作原则的优雅和高效性，这种系统能够通过有限的规则生成人类语言的无限表达。这种观点强调了语言的结构性和生成性，深层上反映了人类认知和生物学特性的一个方面。

milkdomeda 当银河系与仙女座星系在70亿年后碰撞融合后

Watch: First nanoscale video of hydrogen and oxygen atoms forming water t.co/eNDzvf6VjN