帖文详情
avatar
@dotey@x.good.news
Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈(后续二/完结) Erik: 这是一个很好的问题。我的意思是,虽然确实有更多的资本投入,但这也引发了一些问题和评论。为什么所有这些资本都投向 AI,而不是其他地方呢? 我认为,你知道,如果你观察历史的发展轨迹,有时看起来很平滑,但如果仔细观察,就会发现很多跳跃式的发展。有一些重大的发明和小的创新。 Andrew Karpathy 曾表示,他曾研究物理学,要在物理学上取得重大进展,成为顶尖的物理学家,你必须非常聪明,学习很多东西。也许如果足够幸运,你可以做出一些微小的贡献,有些人确实做到了。但他表示,现在在人工智能和机器学习领域,我们似乎正处于一个有大量“低垂果实”的时代,已经有了一些重大的突破。相比于像摘树上所有果实那样耗尽资源,现状更像是组合数学。 在讨论第二次机器时代时,人们提到了"积木"这个概念。当你把两块积木或两块乐高积木组合在一起时,你可以创造出越来越多的新东西。现在我们似乎正处于这样一个充满机会的时代,人们也开始意识到这一点。一个发现往往会带来另一个发现,进而产生新的机会。由于这个原因,越来越多的投资和人力被吸引进来。 在经济学中,有时候更多的资源投入会导致边际收益递减,比如在农业或采矿业中。然而在别的地方,资源的投入则可能带来增长的回报。更多工程师来到硅谷,会让现有的工程师变得更加有价值,而不是更不值钱。我们似乎正处在一个这样的时代。额外的投资和培训资金也使这些技术变得越来越强大。我不确定这种情况会持续多久,但现在看来,有一些技术已经走进了这个极其丰饶的时期,并且带来了积极的反馈和支持。 我们似乎正处于这样的时代。因此,现阶段进入这个领域并接受培训的人,往往能够在相对较短的时间内做出相当重大的贡献。我鼓励你们所有人,我认为你们现在正在走在正确的道路上。 学生7: 并不是每个人都有机会参与到关于 AI 的讨论和辩论中来。因此,我想了解你对非技术背景利益相关者 AI 素养的看法,不论他们是需要做出一定见解判断的政策制定者,还是普通大众,比如使用科技产品的用户。你觉得在解释技术基础和讨论那些看起来很抽象但不一定马上看出答案的影响时,应该怎么平衡呢? Erik: 这是个难题。我必须说,最近在国会和其他地方的人们对这个话题的关注度有了显著提高。过去他们对此并不感兴趣,现在每个人都在试图更好地理解它。我认为有很多领域人们可以做出贡献。他们可以在技术层面上做出贡献,但如果让我选择,我认为当前更大的瓶颈在于商业和经济层面。即便你在技术上做出了重大贡献,要将这些转化为能够影响政策的结果,还有一段距离。 因此,如果你对政治学感兴趣,或者是一个政治家,理解民主、错误信息、权力集中等方面的影响,这些问题目前都还没有得到很好的理解。我不认为计算机科学家一定是理解这些问题的最佳人选,但要了解足够的技术基础,明确技术可能实现的方面,接下来需要思考这些动态,就像亨利·基辛格与埃里克·施密特在书中所做的那样。 如果你是经济学者,需要去思考劳动力市场、集中度、不平等、就业、生产力以及驱动生产力的各种影响。这些都是当前非常值得深入探讨的课题。你可以去研究很多不同的领域,在那里你可以充分理解这项技术可能的能力,然后进一步思考其可能产生的影响。我认为这就是我们可以获得最大收益的地方。 让我给你举一个更具体的例子,这是我上周原本打算谈及的一个话题。电力也是一种通用技术。通用技术有一个特点,它们本身就是一种重要的创新,但通用技术真正的力量之一,正如我所说的 GPT,是它们提供了互补性,它们能够激发出互补的创新。比如,电力带来了灯泡、计算机和电动机,而电动机又推动了压缩机、冰箱和空调的发明。你可以从这一项创新中引发一系列连锁的创新。而大部分的价值来自这些补充性的创新。 人们常常没有意识到的是,一些最重要的互补创新其实是组织创新和人力资本的互补。以电力为例,当电力首次引入工厂时,密歇根大学的教授 Paul Davis 在斯坦福研究了这些工厂的变化,令人惊讶的是,工厂电气化后,他们的生产力并没有比之前由蒸汽机驱动的工厂有显著提高。他觉得这很奇怪,因为电力看起来像是非常重要的技术。这只是一种风潮吗? 显然并不是。使用电力之前的工厂是由蒸汽机驱动的。他们通常会在工厂中心位置放置一个大蒸汽机,然后通过曲轴和皮带驱动所有设备,并尽可能地让设备靠近蒸汽机,因为如果曲轴过长,可能会因为扭力而断裂。当他们引入电力时,他发现在一个又一个的工厂里,他们会拆除蒸汽机,然后找到最大的电动机,放在蒸汽机原来的位置,然后启动它。但这并没有真正改变整体的生产效率。很明显这并不是一个巨大的改进。 于是他们开始在新的地点从零开始建设全新的工厂。那些新工厂长得怎么样?跟旧的工厂一模一样。他们会采用同样的模型,一些工程师会画出蓝图,在应该放蒸汽机的地方打上一个大大的 X,说:"不,不,这里应该放一个电动机," 然后他们就开始建设全新的工厂。然而,这并没有带来显著的生产率提高。 大约 30 年后,我们才看到一种根本不同的工厂模式。这种工厂没有中央电源,也就是说,没有在中间放一架大型电动机,而是采用分散式电力供应,因为电机,如你们所了解的,可以做得很大,也可以做得中等,也可以做得非常非常小,你可以用各种方式将它们连接起来。于是,他们开始让每一件设备都有自己独立的电机,而不是依赖一个大电动机。他们把它称为单元驱动,而不是组驱动。 我在哈佛商学院的贝克图书馆读过 1914 年的一些书,当时关于单元驱动和组驱动的讨论非常激烈。当他们开始使用单元驱动时,他们就建立了一系列新的工厂。工厂通常只有一层,设备的排列不再基于动力需求,而是基于其他因素如物料的流动,于是流水线系统开始形成。这带来了生产力的大幅度提升。比如生产力提高一倍,有时甚至三倍。 所以,教训不是说电力是一种短暂的风潮,或者是失败的、被过度炒作的。电力是一种非常有价值的基础技术。但只有在他们进行了流程创新和组织创新,重新思考生产方式后,才真正实现了巨大的回报。 这样的故事很多。我只讲了一个。我们时间有限,我还可以告诉你其他的例子。但在我一些书和文章中,如果你看看蒸汽机和其他技术,会发现类似的代际滞后期,经过几代人的努力,人们在数十年后才意识到这项技术可以让你做的事情完全不同于你过去常做的事情。我认为 AI 在某些方面也有点类似,将会出现很多的组织创新,会有新的商业模式以及我们之前从未想到过的经济组织方式。目前,人们大多是在进行技术改进。我可以列举一系列与技术互补的技能变革。 虽然我不知道所有的变革是什么,需要创造性地去思考这些问题,但这就是当前的差距所在。以早期的电脑为例,组织资本和人力资本的投资实际上比硬件和软件高出 10 倍,如果你看看硬件和软件的投资规模。这是一个非常大的问题。 话虽如此,我愿意稍微调整一下我的看法,因为像 ChatGPT 和其他一些工具,它们被迅速地采用,并且在短时间内改变了很多事情,部分原因是你不需要像过去那样深入学习 Python。你只需要用自然语言就能完成很多事情,通过将这些工具应用到现有的组织中,可以获得很大的价值。因此,某些方面的变化确实发生得更快了。在你可能读到的一些论文中,我们看到生产率在短时间内提高了15%、20%、甚至30%。但我怀疑,一旦我们找到这些互补的创新,生产率的提升会更大。 这就是我对你问题的长篇回复。这不仅仅是技术技能的问题,还包括重新思考所有其他相关问题的方式。因此,对于那些在商学院或经济学领域的人来说,有很多机会可以重新思考你们的领域,因为你们现在手中有了强大的技术。 学生8: 你似乎比 Eric 对转型速度更为谨慎,我理解的对吗? Erik: 嗯,我会在两件事情之间做区分。我会听取他和其他人对技术的观点。我们将从其他几位专家那里听到他们的看法,有些人像他一样乐观,甚至对技术更乐观。当然,也有一些人对此并不那么乐观。但仅有技术是不足以创造生产力的,你可能拥有一项极其出色的技术,但由于种种原因,A,可能是因为人们找不出有效的使用方式。另一种可能是受到了监管的限制。 我有一些计算机科学的同事,他们开发了更适合读取医学图像的放射科系统。但因为文化原因,它们没有被采用,人们不愿接受它们。还有安全方面的考虑。 当我分析哪些任务 AI 可以提供最大帮助,以及哪些职业受影响最大时,我惊讶地发现飞行员的排名竟然靠前。但我认为很多人并不会愿意乘坐无人驾驶的飞机,他们更喜欢有人类飞行员在飞机上。因此,有许多不同的因素可能会显著减缓这个过程,我认为这是我们需要意识到的。如果我们能解决这些瓶颈问题,可能对生产力的帮助会超过单纯改进技术。 学生9: Eric 对大学和数据中心的观点很有意思。这引发了一个更宏大的问题...... Erik: 我本来想问他,为什么不直接捐钱? 学生9: 这就像是在探讨大学在生态系统中应扮演什么角色?显然,这里有更大的背景,我确信所有的计算机科学教授都意识到了这一点。 Erik: 我来回答这个吧,我认为如果有更多的资金支持会更好。联邦政府有一个叫“国家AI资源”的项目,虽然它提供了一些帮助,但资金规模只有几百万美元,顶多几千万美元,而不是几十亿美元,更别说是几千亿美元了。尽管 Eric 在课前告诉我,他们正在推动一个可能更大的项目。他正在推动一个更大的项目。我不确定这能否成功。这个项目是为了训练这些非常大的模型。 我曾与杰夫·辛顿进行过一次非常有趣的对话。大家都知道,杰夫·辛顿是深度学习的教父之一。我问他在工作中,他认为哪种硬件最有用。他坐在他的笔记本电脑旁边,轻轻地拍了拍他的 MacBook。这让我想到,大学或许在另一类研究中有竞争优势,这类研究不是训练价值数十亿的模型,而是创新新的算法,比如那些可能超越 Transformer 的算法,还有很多其他方式可以让人们做出贡献。所以或许这里存在劳动分工。我完全支持并赞成我的同事申请更多的 GPU 预算。但学术界的贡献未必总是在这里。有些贡献来自于新的想法、不同的视角和新的方法。这可能是我们的优势所在。 我上周与 Sendhil Mullainathan 一起吃晚餐。他刚从芝加哥搬到了麻省理工学院。他是一名研究员。我们在谈论大学的相对优势是什么。他认为,其中之一就是耐心。在大学里,有些人专注于非常长期的项目,像是有人在研究核聚变。研究核聚变的人已经工作了很长时间,不是因为他们会在今年或十年后从建造核聚变电站中赚到很多钱,甚至也许二十年后都不会。我不知道核聚变需要多长时间。但这是一件他们愿意长期投入的事情,即使时间线更长。对公司来说,承受这样长时间线的项目要困难得多。因此,大学在这方面或许有一定的相对优势或者说分工。 学生10: 我是凯文。我对 AI 的涌现能力感到好奇。好的。Eric 似乎更倾向于讨论架构差异和设计更好的模型,而不是上次课我们讨论的规模定律。我想知道你怎么看...... Erik: 嗯,他提到了全部三个。你们还记得规模定律吗?它有三个部分。我记得我提到了 Dario 和他的团队的规模定律,要有更多的算力,更多的数据,以及算法的改进,例如增加参数。所有这三个部分......我认为我听到 Eric 说所有这三个部分都很重要。但是不要忽视最后一个部分,新的架构,所有这三个部分,我认为,都很重要。 学生10: 我们离拥有通用人工智能类型的系统,像这些脱离实际曲线的模型,有多近呢?这个问题可以吗? Erik: Eric 并不认为我们离拥有通用人工智能类型的系统很近,虽然我不认为这是一个明确的定义。实际上,这也是我本来想问他的问题之一,但时间不够了。如果能听他详细描述一下就好了。 但当我与他交谈时,发现这个概念并不是那么明确的。在某种程度上,通用人工智能已经出现了。Peter Norvig 写了一篇名为《AGI 已经出现》的文章。我不知道这篇文章是否在阅读材料里。如果没有,我会把它加入。这是一篇与 Blaise Agüera y Arcas 合作的有趣的小文章。许多二十年前人们认为通用人工智能应该具备的能力,现在的大语言模型已经实现了。虽然可能没有做得那么完美,但它确实在以一种更通用的方式解决问题。另一方面,显然目前有很多事情它们做得不如人类。 令人意外的是,物理任务是人类目前具备比较优势的领域。你们可能知道 Moravec 的悖论,Hans Moravec 指出,通常三岁或四岁的孩子能做的事情,比如扣纽扣或上楼梯,对机器来说却很难。然而,很多博士都觉得困难的事情,比如解决凸优化问题,机器却往往能做得很好。所以,这并不是一个非黑即白的情况......人类觉得简单的事情电脑却觉得困难,反过来,电脑觉得简单的事情,人类却可能觉得困难。这两者并不是在一个相同的尺度上。
查看详情
0
0
0
@dotey@x.good.news
0/481
加载中