“算力才是王道，知识都是干扰” - 加拿大计算机科学家与 DeepMind 的首席科学顾问里奇·萨顿（Rich Sutton）在他那篇著名的《苦涩的教训》（The Bitter Lesson - OpenAI 员工必读，强化 Scaling Law 的信仰）中提到，在无穷的算力面前，人类的知识都只不过是一些小聪明而已。。t.co/COAjijBxEE 他从我们七十年的 AI 研究中得出了一个历史规律： 1. 研究者总想构建一些知识并教给 AI； 2. 这些知识在短期内让人感觉是有用的； 3. 但是从长远看，人类构建的知识有个明显的天花板，它们的发展会被限制； 4. 让 AI 自行搜索和学习的暴力破解法，最终确带来了突破性进展； 我们能从萨顿教授《苦涩的教训》中领悟到什么呢？ 第一个就是通用方法的巨大力量，那些随着算力的增长可以持续扩展的方法，就是搜索和学习，类比到神经网络就是推理和训练，它们能随着算力的增长而近乎无尽的扩张。 第二个就是我们无法用简单的方法来概括现实和心智的复杂，我们无法用符号的逻辑来穷尽这种复杂；相反，我们应该只内建能够找到并捕获这些复杂性的元方法。这些方法的关键是它们能找到好的近似，但寻找这种好的近似应由我们的系统进行，而不是我们自己🤔