给大模型来个 IQ 测试💡 OpenAI 最新的 o1-preview 智商 120 遥遥领先⏩ 插线版 GPT-4o 与 Claude 3 Opus 还有 3.5 Sonnet 不相上下，但拔掉网线后 GPT-4o 就大幅落后 Claude 了。。 访问这里看详情和测试题集 t.co/De9zg2wtx2

Runway Gen-3 的 vid2vid 新功能 把客厅地板上的 LEGO 与积木玩具 变成火星基地 转换结构挺稳定 就是丑了点 。。😶

这两天读完分子工程学大师 Eric Drexler 教授的成名作《ENGINES OF CREATION 2.0》，这本书出版于 1986 年，2006 年升级到 2.0 版，纳米技术科普的开山之作，像复制装配器、分子制造还有灰色黏液（失控的自我复制）等各种概念都被科幻小说大量引用。免费 PDF 版这里下载 t.co/RgnEzxDJCT 纳米技术的思想其实也是来自于物理学大师费曼，从第一性原理思考，物理定律允许的就都能实现，因此“我们原则上应该可以造出纳米级的机器，按照想要的方式排列原子，并通过机械操作进行化学合成”，费曼在 1959 年物理学年会的著名演讲“There's Plenty of Room at the Bottom”中通过思想实验给大家形象的描绘了纳米技术 t.co/UzSlcDkcse “我们可以用这些原子堆叠机制构建什么呢？”一方面，我们可以制造出比活细胞还要小的组装机器，并制造出比现在任何材料都更坚固、更轻的材料。因此，可以制造出更好的航天器；可以制造出可以沿着毛细血管进入和修复活细胞的微型装置；可以治愈疾病，逆转衰老带来的损伤，或者让我们的身体比以前更快或更强壮。我们可以制造出小到病毒大小的机器，这些机器的工作速度是我们任何人都无法想象的。 作为 Marvin Minsky 的学生，Drexler 早在40 年前就在书中预言了纳米与 AI 技术分别会从物理和数字世界颠覆人类社会，分子工厂革新制造，人工智能则颠覆软件，书中关于 AI 的思考现在已经几乎实现，但纳米技术的大规模使用依旧在科幻小说里，毕竟复制原子要比复制比特难得多。在社会影响和人类安全方面，纳米技术和 AI 系统具有破坏性潜力超过了核武器，因为它们能被精细化应用。炸弹只能摧毁，而纳米机器和 AI 却可以用来渗透、夺取、改变和统治一个地区或整个世界。有了先进技术，集权国家将能够进一步巩固其对人民的控制。。。 用 Google notebookLM + illuminate 生成了一段介绍 ENGINES OF CREATION 2.0 的播客对谈，这样可以快速了解全书的核心观点，非常方便🫰

FT 绘制的这几年中国 VC 募资和新创立公司的数量，来源 IT 橘子 。。 靠谱么？另外这裁员数据 投资行业应该已经不存在了吧 。。2015 年自己做了个 Venture，还好 2018 年就收摊不投了，从曲线来看也算 VC 逃顶成功😅

拿最新发布的 o1-preview 和 Claude 3.5 Sonnet 做了个“不成熟的”推理对比，分步骤推导出牛顿的“万有引力公式”和爱因斯坦的“质能方程”。。大家看看结果，是不是 Claude 表达的更加清晰、简洁，每一步公式和常数都有理有据✨ 可能这代表不了真实的数学推理水平，因为这些步骤应该出现在了很多训练素材里面，但能够逻辑性强的表达出来，也是算一种能力。。

OpenAI 对研究团队的一个小采访，o1 🍓是一个全新的系列，被定义为"推理模型”，这些系列的新特点： - 注重思考过程：”推理模型"会在回答问题之前进行更多思考，采取了用思考时间转更好的结果的策略； - 自生成思维链：团队使用强化学习(RL)训练模型生成和完善自己的思维链，而不仅仅依赖人类编写的思路链； - 能自我反思：o1 能够质疑自己、反思错误，展现出更复杂的推理过程； 当团队在强化学习中投入更多计算资源来训练生成连贯的思维链时，模型生成比人类编写的思维链更好的推理，特别是在数学问题上，模型开始展现出自我质疑和反思的能力，这让团队意识到他们发现了一些新颖而强大的东西！

终于 OpenAI 发布了期待已久的新模型 o1 🍓 t.co/l2iw4OVFv9 这个全新的模型经过强化学习训练，可以执行复杂的推理，在回答问题之前，它会先思考！因此，o1 在各种基准测试上表现都好与 GPT-4o，尤其是在数学、物理这种多推理少废话的学科上，能力大幅提升；在模拟编程竞赛上 o1 的 Elo 评分达到了 1807，远超 GPT-4o 的 808 分，可惜没看到和 Claude 3.5 Sonnet 的 Coding 能力对比。。 但 o1-preview 在一些自然语言任务的人类评估中表现可能还不如 GPT-4o，例如写作和文字修改方面，感觉逻辑推理强了，说话就不那么好听了，是不是像人类的理科生？ OpenAI 特意提到了 o1 采用了“隐藏思维链”技术，就是我会给你缜密思考后的答案，但不会告诉你我是怎么想的。。。OpenAI 最终决定不向用户展示原始思维链，这是在权衡了用户体验、竞争优势以及进行思维链监控的选择等多重因素后作出的决定。 正如萨顿教授在《苦涩的教训》中所说，只有两种技术可以无限地随着算力提升而扩展 - “学习”和“搜索”！引用 @DrJimFan 的观点，从 o1 的表现我们看到了 OpenAI 正在向用“推理搜索来提升模型能力”的范式转移。你不需要一个巨大的模型来执行推理，可以从知识中分离出推理，即一个小的“推理核心” ，它知道如何检索和使用代码验证器等工具，这样预训练的计算消耗可能会减少🤔 如果 o1 表现良好，那就很容易成为数据飞轮，这反过来又改进了 GPT 未来版本的推理核心，类似于 AlphaGo 那样，通过生成越来越精细的训练数据来改进其推理的方法。但这是否也意味着 OpenAI 在预训练与其它 RL 方法上撞墙后的策略变化呢？不过无所谓，Scaling Law 在哪个阶段用什么方法，能够 Scaling 就行，GPU 不能少😄

The Information 报道 OpenAI 计划在两周内发布 Strawberry，比原计划提前，将作为独立产品提供。Strawberry 依旧是 ChatGPT 的一部份，不过定价和使用方式会有所不同，它最大的特点是回答前会进行 10 到 20 秒的 “思考”，更适合处理复杂或多步骤的查询，在数学问题和编码方面表现更好。 一句话来总结，过去需要多步骤的 Chain-of-thoughts Prompting 的操作，就变得更简单了，你只需要提问然后等待就能得到不错的答案🍓 t.co/mFfYQQjkZ4

入手 Yuval Harari 新书「Nexus」准备开读 - A Brief History of Information Network from the Stone Age to AI！叙事大神很多年没出新书了，过两天给大家汇报下读后感👀 关于 AI 对人类的影响，我在那本电子书「智变时代」也强烈输出了自己的观点： 人类面对比自己更加聪明的物种出现的时候，天生就有一种警觉，它们的目的是什么？它们会毁灭我们吗？Amazon 的创始人杰夫·贝索斯在接受 Lex Fridman 采访时候就做了个形象的比喻：“现在大语言模型的智能，不像是我们发明出来的，而是召唤出来的。” 对复杂的神经网络内隐藏秘密的研究才刚开始，我们如何使用和控制这些黑箱模型，是业界和社会争论最激烈的话题。有人认为 AGI 不加以控制，会导致人类灭亡；也有人认为现在的架构，再怎么扩展算力，也根本实现不了AGI。媒体报道上充满了各种矛盾且对立的观点，大家还十分喜欢围观这样的辩论，因为我们喜欢寻找大脑中默认想法的认同感 。。 我个人最认同 Wolfram 的观点：未来，AI将会从我们人类这里学习它们所能学到的，然后它们基本上将像自然界一样成为自我运行的计算系统，也就是有时候“与我们互动”而已🤔

Visual Intelligence 👀 Apple 版本的 Google Lens 😅

Camera Control 📷 I will upgrade to iPhone 16 for this 🫰

iPhone 6 除了 Camera Control 其它感觉很无聊！还不如 Google Pixel 😅

感觉可以把我这款 Series 7 升级到第十代土豪金了⌚️竟然还支持音乐外放🔥

Google 的“论文转播客”实验项目 illuminate 正式上线，目前仅支持来自 arXiv 的论文，音频生成专门为计算机科学领域优化！测试了一下《Consciousness in Artificial Intelligence》这篇，七分钟语音对话，非常适合快速了解论文的重点，访问 t.co/EelwDmwQuR 直接体验✨

最近都没学习新知识 感觉有些枯萎🥀 Photo is not generated by AI

等橱柜 。。 基本上就是右图感觉的！不过 Poliform 这意大利速度实在太慢😆

YC S24 项目 @LumenOrbit 直接在太空中搭建兆瓦级别的数据中心，可以高效利用太阳能训练 AI！本来以为 SpaceX 和 AI 暂时没什么关系 。。现在有了！大规模近地轨道运力和 Starlink 的高速网络，真正的StarGate 之门不是梦✨

创始人模式 - 简而言之就是 “CEO 不仅在组织的顶层进行管理，还会亲自前往出现问题的部门，解决具体问题”。现在还没有专门介绍创始人模式的书籍，商学院也不知道它的存在，因为没人会教你如何当好”老板“，每一位老板都是独特的！目测 @paulg 的这篇 Founder Mode 将成为经典 t.co/x0nbAwszYY

真山脊赛车🏁 Whistler ATV 在沙尘扬起的路面上狂奔有种 Madmax 即视感👀

每年夏天 进山骑行

最近「黑神话：悟空」太抢镜头 其实还有两款国产主机动作游戏在路上 分别是 “明末：渊虚之羽” & “影之刃零” 英文名 Wuchang fallen feathers & Phantom blade zero 悟空的成功，将会激励更多国产 3A 大制作游戏的开发与走向海外⏩

It’s over … 👋 这不是人装的 😅 这是穿了衣服的 1x's 人形机器人 NEO

前两周吐槽了一下这几年🇨🇦每况愈下的经济和人均生产力，今天特意把常去的欧洲国家还有日本和中国做了个对比。除去自然资源丰富和人口稀少的北欧，荷兰是肉眼可见的发达和有钱，欧洲农产品出口第一，超过法国，脱欧的英国已经快不如意大利，日本的人均效率果然是30年不变。。。农业效率的提升得益于工业革命的成果，个体效率的提升则得益于信息革命的成果，很明显美国把两次成果都充分享受到了✨ 最后再看中国，劳动力便宜才是发展最大的问题，中国不能提供普遍的高收入岗位，因为中国的生产力水平太拉跨，万维钢在精英日课最新的一篇中分享了一些很有趣的数据：中国的玉米、稻谷、小麦、大豆、棉花人工成本分别是美国的14.78倍、4.11倍、16.33倍、8.5倍、28.23倍。美国 300万农业人口，不但养活了全体美国人，而且让美国成了世界最大农产品的出口国。中国农业人口大约有5亿，其中实际从事农业生产的有大约2.6亿。可是中国从2012年以后，就是世界最大的农产品进口国；不考虑国家粮食安全的话，中国人应该靠进口粮食生活，这样成本会更低！ 另一方面，中国制造和供应链独步全球，出口是中国经济增长的最强劲动力。但是中国制造的量虽然大，却没有拿到其中利润的大头。中国人收入低是因为生产力水平低，生产力水平低是因为科技含量低。中国经济的成就主要是靠廉价劳动力的包工头经济模式取得的，中国企业的创新还处在模仿和价格战的水平上，还没有成为驱动经济增长的引擎。 在这个时候天天说自己遥遥领先，大部份人口未富裕却想象自己已经达到了发达国家水准，这样是真会让自己处于危险之中的⚠️

Microsoft 和 Thrive Capital 计划领投 OpenAI 新一轮 1000 亿美金估值的融资，也有可能投后到 1250 亿 。。而且这轮 Apple 和 Nvidia 都计划跟投！估计前两天透露计划用 🍓 来训练 Orion（GPT-6）就是为了拉满预期搞融资的😅 现在 OpenAI 每年赚 37 亿花掉 50 亿刀，不容钱活不下去呀 。。

我个人最认同物理学家与计算机科学家 Stephen Wolfram 的一个观点：“未来，AI将会从我们人类这里学习它们所能学到的，然后它们基本上将像自然界一样成为自我运行的计算系统，也就是有时候与我们互动而已”✨ AI 会对我们“做些什么”呢？就像大自然会对我们“做些什么”一样；AI 会消灭我们吗？大自然也完全可以消灭我们。以一种类似泛灵论的方式，我们可能会把意图归因于自然，但最终它只是“遵循其规则”并做它该做的事情 。。 即使 AI 可以自我提升成掌控一切的“顶级智能”，但在这个计算不可约的宇宙里，不会存在一个“万事皆通”的计算系统。新兴的生物学领域有一个核心结论：无论你指定了什么“成就”，在计算宇宙的某个地方总会有一个计算系统超越它，即 Wolfram在《一种新的科学》中提出的计算等效原则 t.co/QeHj9rieCu 最后，如果 AI 真从我们这里学到了一切，那么它们也必然会继承我们“求胜的冲动”，也许会导致它们挑战人类。这将是 AI 宪法最有意义的地方：定义一个超越 AI 的契约，让它们无法从人类的天性中习得这个能力，这样我们才能期待与 AI 共存，一起协同进化🤔

OpenAI 将跳过 GPT-5 直接上 GPT-6，内部代号 Orion（猎户座）。The Information 之前就揭秘过一些 Q* 项目的细节，后来被 OpenAI 内部命名为 Strawberry 🍓，也是 GPT-4 的下一代，具备更好的推理和极强的数学能力，模型也能够主动花更多时间来“思考”。 路透社报道过在七月中 OpenAI 向美国国家安全官员展示了这项技术，考虑到安全问题，这款强大的模型不能直接对公众提供服务，以防止被美国限制的国家拿它来合成数据训练更强大的模型，OpenAI 会在 Strawberry 的基础上提供一个更小的蒸馏版对外提供服务，预计今年十月 DevDay 前后公开。这样部署成本也更低，而且除了科研与企业需求，公众也用不上推理能力那么好的模型；而完整的 Strawberry（GPT-5）则会被内部用来生成高质量的合成数据，用于训练 GPT-6（Orion），好货当然先留给自己用，确保竞争对手与自己有隔代差别。。 为什么开源模型还有竞争对手进步那么快？因为他们都在用 GPT-4 合成数据，为了保持领先 OpenAI 只能更加封闭，用下一代模型训练下下代模型，从而拉开差距。因泄密被 OpenAI 开掉的 Leopold Aschenbrenner 在最近的项目 t.co/cQ6AJID9rk 就提到，这种超级智能模型将会是国家战略资源，事关政权与人类的安全，要启用国家资源来控制和引导。 用更好的数据训练更好的模型，要不了几年，能达到人类 Researcher 级别的超级 AI 就像大型企业和政府的高级雇员，他们会不惜一切代价垄断并控制这些资源，确保自己的科技与研发优势。新一轮以能源与算力为基座的科技竞赛才刚刚开始。。

Apple Event 定档 太平洋时间9月9日上午十点 t.co/PSdwo7NrJN 装配了 A18 Chip 的 iPhone 16 Apple Watch 10 还有 AirPods 4 大家还期待什么？超薄版 iPhone or M4 芯片的 Macbook Pro？

新书“智变时代”上线微信读书不到一周，飙升榜 15 名；新书榜 23 名，看了眼这是两个榜单唯一的科技读物！但因为太硬核和之前小标题有误导，微信读书很多人就看最后一章，还嫌弃人生建议写的不够，评低分 。。。最后不得不把小标题改成“AI驱动的新工业革命和人类未来”这种脱离个体面向全人类的风格的😅

前几天，20VC 对 Cohere 创始人 Aidan Gomez 的播客采访很有料！Cohere 算是来自🇨🇦的一家特立独行的面向企业订制的大模型公司，也是我们的 Portfolio 😄 Aidan 是《Attention Is All You Need》的首席作者，看完这段采访，对于现在模型进展的共识问题，应该就很清楚了。 要提升推理能力最重要就是要让模型学会“搜索”，具备“解决问题”的能力；现在模型无论面对什么样的问题，它们都是立即返回答案，如果对方是个人类，你就不会有这样的预期，因为需要时间思考。 模型的下一步非常明确，要让它们思考和解决问题，要让学会它们失败，并了解失败的原因，然后再次尝试，但目前的模型并没有解决问题的概念。其实要做这样的推理并不难，主要还是训练数据的问题，来自互联网的数据很少会有推理过程，通常都是结论，因为你在网上发布内容肯定不会把你的思考过程也分享出来，结论都是大量思考、经验和讨论的成果。 因此你必须自己去创造这样的训练数据，这是最复杂的地方，但目前 OpenAI、Anthropic 还有 Cohere 自己都在做这方面的努力，搜集能够体现人类推理能力的数据。 Aidan 提到优质的合成数据十分重要，拿它们来 Distill 小模型非常有效；也需要更好的算法来提取庞大网络数据中体现知识的部份，这里还包括了来自企业的特定领域的知识。另外，要在模型架构中植入推理器和规划器，让模型能执行长期任务。。 在 Aidan 眼里，OpenAI 现在的目标是成为一家消费产品公司，AGI 已经被排到了次要的位置，这是来自内部离职员工的反馈。但长期来看，卖 Token 会是个 Margin 越来越低的业务，需要有爆款产品和应用，才能创造更高利润，来支持 AGI。这也是那些有大量现金流的科技巨头的优势，你得有钱才配有 AGI 的梦想。。😅

谷歌研究员 Fernando Pereira 说过：“自然语言是人类唯一的符号语言，我们用它进行推理。”辛顿教授认为大语言模型和人类大脑做着同样的事情，这就是所谓的“理解”✨ 它认为语言和思维过程中确实涉及符号，但这些符号通过多层次的嵌入表示(embedding representation) 被丰富化了。然而，这些嵌入仍然与符号相关联，每个符号都有一个大的向量，这些向量相互作用，从而产生下一个词的符号向量。 “理解”就是知道如何将这些符号转换成向量，以及这些向量的元素应该如何相互作用来预测下一个符号的向量 。。但这并不意味着可以完全摆脱符号，而是将符号转化为庞大的向量，同时仍然保留符号的表层结构。这就是如今模型的工作原理，也是更合理的人类思维模型🤔