🗒️Google 前 CEO 埃里克·施密特近期在斯坦福 CS323 课堂上的访谈
type
status
date
slug
summary
tags
category
icon
password
今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric，那时他作为Novell的首席执行官来访斯坦福商学院。从那时起，他做了很多事情，他在Google（大概是从2001年开始）和Schmidt Futures（从2017年开始）做了很多事情，还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分，所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题，但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始，Eric，如果你不介意的话。
AI 的未来发展
主持人：那就是，你预见AI在短期内，我认为你定义的是未来一两年，会有怎样的发展？
Eric：事情变化得如此之快，我感觉我每六个月都需要做一次新的演讲，讲述即将发生的事情。
主持人：在座的有没有人，一群计算机科学家在这里，有没有人可以解释一下什么是百万token的上下文窗口，为其他同学解释一下？
学生：在这里。基本上，它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到，这是当前通识教育关注的一个重要方向。
Eric：不，他们的目标是10个一百万。
学生：对，一千万？没错。
Eric：接着，Anthropic现在是20万，他们的目标是100万，以此类推。你可以设想OpenAI也有类似的目标。
主持人：谁能给出AI智能体的技术定义？
Jared：AI智能体基本上是执行某种活动的实体。这可能涉及在网上，代表你处理一些事情，可能是许多不同的事项，类似这些。所以，一个智能体就是执行某种任务的实体。另一个定义是，它是一个大语言模型，具有状态和记忆功能。
主持人：再来一次，计算机科学家，你们中有谁能解释什么是"将文本转化为行动"？
学生：就是把文本转变成行动。而不是把文本转化成更多的文本。
Eric：另一个定义是，将语言转化为Python代码。这是我一直不想看到的编程语言。然而，目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo，刚刚出现，看起来他们终于解决了AI编程的问题。但我们还要看，这是否能在Python的主导地位下生存下来。
技术和市场的动态
主持人：再来一个技术问题。为什么NVIDIA的价值和地位如此之高，而其他公司却在挣扎呢？
Eric：我认为，这主要是因为，大量的代码需要在CUDA优化下运行，而这是只有NVIDIA的GPU才支持的，所以，其他公司可以制造他们想要的任何东西，但是如果他们没有10年的软件开发经验，就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言，对吗？这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言，然而，它却成为了市场主导。还有一点值得注意。有一套开源库，它们针对CUDA进行了高度优化，而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的，对于竞争对手来说，很难复制这个。
主持人：那么，这些观点对我们来说有何影响或意义呢？
Eric：在接下来的一年里，我们将看到非常大的上下文窗口、智能体和"文本转行动"等新技术的兴起，当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响，我个人是这样认为的。以下是我的原因。在一个上下文窗口中，你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于，当你输入信息，比如你问一个问题，"读了20本书，你输入这些书的文本作为查询，然后你说，'告诉我它们说了什么。'"它会忘记中间的部分，这与人类大脑的工作方式相似。对吗？这就是我们现在的状况。
主持人：关于智能体呢？
Eric：关于智能体，现在有人正在开发基于大语言模型的智能体，他们的做法是阅读一些像化学一样的学科，发现其内在原理，然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是"文本转行动"。那么，我来举个例子，政府正在尝试禁止TikTok，我们拭目以待看结果如何。如果TikTok被禁，我建议你们每个人都这样做，告诉你的大语言模型，接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来，那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步，就这样。明白了吗？你知道这有多强大吗？如果你能从任意自然语言转换为任意数字命令，这在这个情况下就相当于Python，试想一下，如果地球上的每个人都有属于自己的程序员，他们会真正按照你的要求去做事，而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗？在场的程序员都明白我在说什么。所以，想象一下，有一位既不自大，又会真正按照你的要求去做事的程序员，你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。
主持人：这一切都将在未来一两年内实现？
Eric：马上就要到来。这三件事，我深信只有结合这三件事，下一波浪潮才会到来。那么，你问的是接下来会发生什么。我的观点每六个月会有所改变，这就像一个周期性的摆动。比如说，现在，那些前沿模型（只有三个，我待会会详细介绍）与其他所有人之间的差距，我感觉正在变大。六个月前，我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在，我对此已不再那么确定了。我现在正在和大公司们交谈，他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说，Stargate的投入就达到了1000亿，对吧？这确实非常困难。
AI的投资与国家安全
Eric：Sam Altman是我的密友。他认为这可能需要投入高达3000亿，甚至更多。我向他指出，我已经计算出了这需要的能源量。然后，在完全公开的精神下，我上周五去了白宫，告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人，参与了人工智能的发明，还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久，对吧？但他们不会遵守我们的国家安全规则，而加拿大和美国是共同遵守安全规则的三方联盟（或三国集团）的一部分。因此，对于这些价值3000亿美元的数据中心来说，电力开始变得稀缺。顺便说一下，如果你沿着这个逻辑走下去，我为什么要讨论CUDA和NVIDIA呢？如果有3000亿美元都要流向NVIDIA，你应该知道在股市里应该怎么做。这不是股票推荐，我并不是许可证发放者。（观众笑）部分原因是，我们需要更多的芯片，但英特尔正在从美国政府和AMD那里得到大笔资金，他们正准备在韩国建造半导体工厂。
主持人：有谁的计算设备里有英特尔的电脑或者芯片呢，请举手。
Eric：看来，垄断不再是什么大问题了。
主持人：这正是我想说的。
Eric：他们曾经垄断过。
主持人：没错。
Eric：而现在Nvidia有垄断。
主持人：那些对进入的障碍呢？例如CUDA，还有其他的，就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备，会在TPUs和NVIDIA芯片之间做选择。
Eric：那是因为他别无选择。如果我有无限的资金，我会今天选择NVIDIA的B200架构，因为它运行更快。我并不在这里提倡什么，我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构，即RockM。目前它还不能完全运行，他们正在努力改进。
谷歌、OpenAI与企业文化
主持人：你在谷歌工作了很长时间，他们是Transformer架构的发明者。
Eric：是彼得，都是彼得的错。
主持人：那里有像彼得和杰夫·迪恩这样的出色人才。但现在，他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上，Anthropic's Claude是榜首。我问过Sundar这方面的问题，他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。
Eric：我现在已经不再是谷歌的员工了。确实如此。我要坦白的说，谷歌认为工作与生活的平衡，早点下班、以及在家工作比赢得比赛更重要。（笑）创业公司之所以能够成功，是因为员工拼命工作。很抱歉如此直言不讳，但事实是，如果你们离开大学去创办公司，你不会允许员工在家办公，而且每周只来公司一天，如果想要与其他创业公司竞争的话。
主持人：Google创业初期，Microsoft就是这样。
Eric：对的。
主持人：但现在似乎——
Eric：在我们这个行业里有很多公司，以真正创造性的方式赢得市场并在某一领域取得主导地位，但却未能完成下一次转型。这种现象很常见，并且有很多文献记录。我认为，创始人是特殊的，他们需要掌控一切，与他们共事可能会很艰难，他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为，但你看看他是如何推动员工的。我曾和他共进晚餐，当时他在蒙大拿州，而那天晚上10点他要飞往另一个地方，凌晨12点与 http://X.AI 开会。对吧？你想想看吧。
主持人：我曾去过台湾，有着完全不同的文化，他们（台积电）让我印象深刻的一点是，他们有一条规定：这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗？几乎不可能。他们的工作态度和我们有所不同。
Eric：而问题在于，我之所以对工作要求这么严格，是因为这些系统具有网络效应，时间是非常关键的。在大部分业务中，时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在，他们之间的竞争也会持续，这一切都在慢慢发展。我和电信公司打交道时，一般的电信交易要花费18个月才能完成。实际上，没有任何事情需要花费18个月去完成。要迅速行动。
主持人：我们现在处于最大的发展期，最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时，我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI，包括Sam和他的团队，这简直太疯狂了。在微软或其他任何地方，都没有人会这么做。然而现在，他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案，而微软看起来已经成功了。
AI与地缘政治
主持人：在国家安全或地缘政治利益方面，你认为AI将如何在与中国的竞争中发挥作用？
Eric：我曾经是一个AI委员会的主席，我们对此进行了非常详细的研究。你可以去看看。它有大约752页。我只是总结一下，我们现在处于领先位置。我们需要保持这种领先地位，并且需要大量的资金来做到这一点。我们的主要对象是参议院和众议院。由此促成了《芯片法案》以及其他相关立法。如果你假设前沿模型不断发展，少数开源模型也在进步，很可能只有少数国家能够参与这场竞争。我是指国家，而不是公司。那么这些国家是谁呢？有大量资金、丰富人才、强大教育系统以及获胜意愿的国家。美国就是其中的一个。中国也是。还有其他国家吗？我不知道，也许有。在你们这一代人的有生之年，围绕知识霸权的美中对抗将会是主要的斗争。因此，美国政府基本上禁止了NVIDIA芯片出口到中国，尽管他们并不愿明说这是他们的初衷，但实际上确实如此。我们在芯片制造技术上大约领先10年。在次紫外光刻（sub-DUV），即小于5纳米的芯片方面，我们大约领先10年。
主持人：10年，这么久？
Eric：大概10年。
主持人：哦。
Eric：所以，以现在的情况为例，我们比中国领先了几年。我猜我们可能还会领先中国几年。中国对此非常不满。他们对此感到非常沮丧。这是个大问题。这是特朗普政府的决定，并且拜登政府也同样执行了这个决定。
主持人：你觉得现在的政府和国会听取你的建议了吗？你认为他们会进行如此大规模的投资吗？显然，《芯片法案》已经出台，但除此之外，是否还会建立一个庞大的AI系统？
Eric：你知道，我领导的是一个非正式、特设的、不受法律约束的小组。这和违法是不同的。确切地说，只是为了明确。这包括所有的同行。在过去的一年里，这些同行提出了一些理论基础，最终成为了拜登政府《AI法案》的核心内容，这是历史上最长的总统行政命令。
主持人：你是在谈论特殊竞争研究项目吗？
Eric：不，这是来自行政办公室的实际法案。他们现在正忙于实施细节。到目前为止，他们做得很好。例如，过去一年中我们讨论的一个问题是，如何在一个已经学习到危险内容的系统中检测这些危险，但是你不知道该问它什么？换句话说，这是一个核心难题。系统可能学到了一些有害的东西，但它无法告诉你学到了什么，而你也不知道该如何询问它。而且威胁种类繁多，比如，它学会了一种你不知道如何询问的新的化学混合方式。因此，人们正在努力解决这个问题。但最终我们在给他们的备忘录中写道，有一个阈值，我们任意设定为10的26次方的浮点运算，这在技术上是一个计算量的衡量标准。超过这个阈值，你必须向政府报告你正在进行这种操作。这就是规则的一部分。欧盟为了有所区别，把阈值定为10的25次方。
主持人：是的。
Eric：但这差距其实很小。我认为所有这些区别都会消失，因为现在的技术——专业术语是联邦学习技术，基本上你可以将不同部分联合起来进行训练。所以我们可能无法让人们完全免受这些新威胁的影响。据传言，这也是OpenAI必须这样训练的部分原因，因为电力消耗太大无法集中在一个地方进行训练。
战争与AI的应用
主持人：好了，让我们谈谈正在进行的真正战争。我知道你非常关注乌克兰战争，尤其是，关于“白鹳”项目，我不确定你能谈多少，关于用500美元的无人机摧毁500万美元的坦克。这个改变了战争方式吗？
Eric：我曾在国防部工作了七年，试图改变我们管理军队的方式。虽然我并不特别喜欢军队，但是军队的运行开支非常大，我想看看我能否对此提供一些帮助。而现在看来，我觉得我基本上失败了。他们给了我一枚勋章，所以可能失败者也能得到勋章吧，或者随便怎么说。但我对自己的批评是，什么都没有真正改变，美国的体系不会带来真正的创新。看着俄罗斯人用坦克摧毁有老人和孩子的公寓楼，我感到非常愤怒。所以我决定和你的朋友、斯坦福大学的前任教授塞巴斯蒂安·特鲁恩，以及一批斯坦福人一起创办一家公司。其实，我们的目标主要有两个。首先是用复杂而强大的方式将AI应用于这些机器人战争中，其次是降低机器人的成本。你可能会好奇，一个像我这样的自由派为何会有这样的想法？答案是，现有的军队理论以坦克、炮兵和迫击炮为主，而我们可以消除它们。我们可以让入侵一个国家的代价，至少在陆地上，几乎是不可能的。这应该可以避免大规模的陆地战争。
主持人：这确实是一个很有趣的问题，这种方式是否能让防守方获得更多优势？我们能否做出这样的区分呢？
Eric：在过去的一年里，我一直在做这个，我学到了很多关于战争的知识，而这些知识我原本不想知道。 其中一个关键点是，进攻方总是占据优势，因为他们总能压倒防御系统。所以，作为国家防御策略，拥有一套强大的进攻机制是很有必要的，以备不时之需。而我和其他人正在构建的系统将能够实现这一点。由于系统的运作方式，我现在是一名持证军火商。所以我现在既是计算机科学家，商人，也是军火商。（笑）
主持人：我很抱歉地说——这算是一种职业进步吗？
Eric：我不太确定，但我并不建议你把这作为你的职业发展路径。我建议你还是继续做AI。由于法律的规定，我们是以私人方式进行这些工作，并且政府对此予以支持，因此我们直接进入乌克兰，随后战争开始了。不详细展开，但局势非常严峻。我认为，如果在五月或六月，俄罗斯如预期那样进行军事集结，乌克兰将会失去大片的领土，并开始逐渐失去整个国家。所以情况非常严重。
主持人：如果有人认识Marjorie Taylor Greene，我建议你从通讯录中删除她。因为她就是那个，一个人阻止了数十亿美元援助这些援助本可以拯救一个重要的民主国家。
知识的本质与AI
主持人：我想谈谈一个稍微带有哲学性质的问题。去年你和亨利·基辛格以及丹·赫特洛克写了一篇关于知识本质及其演变的文章。前几天我也和别人讨论了这个话题。对于历史上的大部分时间，人类对宇宙的理解更多是神秘的，然后出现了科学革命和启蒙运动。而在你的文章中，你们提出了一个观点，现在的模型变得如此复杂和难以理解，以至于我们不再真正知道其中发生了什么。我要引用理查德·费曼的一句话。他说：“我不能理解我无法创造的东西”我最近看到这句话。但现在人们能够创造出一些东西，却并不真正理解其中的原理。知识的本质是否正在发生变化？我们是否要开始接受这些模型的结果，而不再需要它们解释给我们听？
Eric：我想，可以将其比作青少年。如果你有个十来岁的孩子，你知道他们是人类，但你却无法完全理解他们的想法。（笑）然而，我们的社会已经适应了青少年的存在，对吧？他们总会长大成人。我是认真的。因此，我们可能会有无法完全理解的知识系统，但我们了解它们的边界，对吗？我们理解它们的能力范围。这可能是我们能够获得的最好结果。
主持人：你认为我们能理解这些边界吗？
Eric：我们会变得越来越好。我每周都会和我的团队会面，我们的共识是，最终，你会使用所谓的对抗性AI，实际上会有一些公司，你可以雇用他们，付钱让他们去破坏你的AI系统。
主持人：就像网络安全中的红队一样。
Eric：那么，将会是AI红队，而不是现在的人类红队，你将会看到整个公司和行业的AI系统，它们的任务是挖掘现有AI系统的漏洞，特别是那些我们无法理解的知识点。我认为这个观点是有道理的。对于斯坦福来说，这也是一个很好的项目，因为如果有一个研究生能够弄清楚如何攻击这些大型模型并理解它们的运作，那将为下一代技术积累的宝贵经验。我觉得这两者会齐头并进。
学生问题一：如何让AI真正按照我们的意愿行动？
学生：之前你提到过这点，和你刚才的评论有关，AI需要真正按照我们的意愿行事。你刚刚提到了对抗性AI，我想如果你能再详细说明一下就更好了。除了计算能力肯定会增加，我们可以有更强大的模型，但是如何让它们真正按照我们的意愿行动，这个问题你觉得解决了吗？在我看来，这个问题似乎还没有完全解答。
Eric：好吧，你必须认为，当前的问题会随着技术的进步而减少，对吗？我并不是说这些问题会完全消失。然后你还需要假设，我们会有对AI有效性的测试方法。因此，我们必须有一种方式，去确认事情是否成功。举刚才我提到的TikTok竞争对手的例子，我并不是建议你非法盗用其他人的音乐。如果你是硅谷的企业家，希望你们都能成为的话，如果这个产品火了，那么你就需要雇一大堆律师来收拾烂摊子，是吧？但如果没有人使用你的产品，那你盗用了所有内容也无关紧要。当然，不要引用我的话，是吧？（观众笑了）
主持人：对，你正在被摄影机记录。
Eric：是的，没错。（观众笑了）但你明白我的意思。换句话说，硅谷会进行这样的尝试，并收拾残局，这通常就是事情的运作方式。所以在我看来，你会看到越来越多的性能系统，甚至有更好的测试，最终会有对抗性测试，这将保证它们的行为在一个可控的范围内。我们通常把这称为链式思维推理。人们相信，在未来几年里，你将能够实现长达1000步的思维链条推理。做这个，再做那个。就好比是在制作菜谱。你可以照着菜谱做，并测试它是否产生了正确的结果。这就是系统运作的方式。
学生问题二：AI进步的驱动力是什么？
学生：总的来说，你对AI进步的潜力似乎持有非常积极的态度。我很好奇，你认为什么会推动这个进步呢？是更强大的计算力量？还是更多的数据？或是基础性或实质性的变化？
Eric：是的。现在投入的资金数额简直令人难以置信。我选择投资于几乎所有领域，因为我无法确定谁会是最后的赢家。跟随我投资的资金规模非常庞大，我觉得这部分原因是早期投资的回报已经出现，那些大资金的投资者，他们对他们自己在做什么并不清楚，他们只知道他们的投资中必须包含AI成分。现在所有的投资看似都与AI有关，所以他们无法区分哪些是真正的AI投资。我把AI定义为能够学习的系统，真正能够自我学习的系统。所以我认为这是其中的一个驱动力。另一个驱动力是，有许多非常复杂的新算法，这些算法可以说是超越了Transformer。我的朋友，也是长期的合作伙伴，创造了一种新的非Transformer架构。我在巴黎资助的一个团队声称他们也做出了相同的成果。这里有巨大的发明潜力，斯坦福大学也有很多创新。最后一点是，市场普遍认为智能的发明将带来无尽的回报。比如说，你投资了一家公司500亿美元，你必须从智能中获得大量的收益才能回本。因此，我们可能会经历一场大的投资泡沫，最终市场会自行调整。这在过去一直如此，而这一次也极有可能是如此。
学生问题三：AI开源与闭源的争论
Eric：你之前提到，你认为领先者正在逐渐拉开与其他人的差距，现在。这个问题可以这样理解，有一家叫做Mistral的法国公司，他们的表现非常出色，我也是他们的投资者。他们已经推出了第二个版本，但由于成本过高，第三个版本可能无法推出。他们需要收入，不能免费提供模型。所以，我们行业中关于开源与闭源的争论非常激烈。而我的整个职业生涯都是基于人们愿意共享开源的软件。我的一切都与开源有关。谷歌的许多基础设施都是开源的。我在技术上所做的一切也是如此。然而，可能是因为资本成本如此巨大，这从根本上改变了软件开发的方式。你和我之前谈到的，我认为软件程序员的生产率至少会提高一倍。有三四家软件公司正在努力实现这一目标。我投资了所有这些公司。本着这种精神。他们都在努力提高软件程序员的效率。
我最近接触的一个最有趣的公司叫Augment。我总是把它想象成单个程序员，但他们告诉我，“我们的目标并不是他。我们的目标是那些上100人的开发团队，代码行数达到数百万行，谁也不知道里面发生了什么。”这确实是一个非常适合AI解决的问题。他们能赚钱吗？我希望他们能。有很多问题需要解答。
学生问题四：上下文窗口、智能体和“文本转行动”的组合重要性
学生：你好。你一开始提到，上下文窗口的扩展、智能体和将文本转化为行动的组合将产生无法想象的影响。首先，为什么这种组合如此重要呢？其次，我知道你没有水晶球，不能预测未来。但为什么你认为这些影响将超出我们的想象？
Eric：这有助于解决新“时效性”问题。目前的模型需要训练大约一年半的时间。包括六个月的准备，六个月的训练，六个月的微调。所以它们总是过时的。通过扩展上下文窗口，你可以提供最新的信息。例如，你可以在上下文中询问关于哈马斯与以色列战争的问题。这是非常强大的。它让模型能够像谷歌一样保持时效性。
关于智能体，我给你一个例子。我成立了一个基金会，该基金会资助了一个非营利组织。首先，如果在场有化学家，我并不真正了解化学。有一个叫做ChemCrow的工具，它是一个基于大语言模型的系统，学习了化学知识。他们使用这个系统生成关于蛋白质的化学假设，然后在实验室测试一晚上，之后它会学习。这大大加速了化学、材料科学等领域的研究进程。这就是智能体模型的一个例子。
然后对于“文本到行动”，可以理解为你拥有大量廉价程序员，对吧？我们可能还不清楚会发生什么——这是你的专长领域——当每个人都有自己的程序员时会发生什么。我并不是在谈论开灯和关灯的事情。想象一下——再举一个例子——比如，你不喜欢Google。于是你说，给我打造一个可以与Google竞争的搜索引擎。没错，你一个人就能打造一个能与Google抗衡的搜索引擎，搜索网页，有一个用户界面，照原样山寨一份，以一种有趣的方式在其中融入生成式AI，用30秒钟完成，看看效果如何。很多人因此相信，包括Google在内的许多大公司，可能会受到这种方式的威胁。我们拭目以待。
关于AI和虚假信息的讨论
主持人：有很多通过Slido提交的问题，有些得到了投票。这里有一个，我们去年讨论过这个问题。我们如何阻止AI影响公众舆论，制造假消息，特别是在即将到来的选举期间？有什么短期和长期的解决方案呢？
Eric：在这次即将到来的选举中，以及在全球范围内，大部分的假消息都会出现在社交媒体上。而社交媒体公司没有足够的组织能力来管理这些问题。以TikTok为例，有很多指控称TikTok偏袒某些类型的误导信息，而忽略其他类型的误导信息。许多人声称中国强迫他们这么做，但我没有看到任何证据。我觉得这是个混乱的局面。我们这个国家必须学会批判性思考。这对美国来说可能是个不可能的挑战。但是，别人告诉你的，并不一定就是真的。
主持人：事情可能会走向另一个极端，导致真实的信息也不再被人们相信吗？有些人称这为认识论危机，比如马斯克就说过，“我从未做过那件事。证明它。”
Eric：以唐纳德·特朗普为例。我认为我们社会存在信任问题。民主制度有时也会失败。我认为对民主制度最大的威胁是虚假的信息，因为我们会变得非常擅长制造这些虚假信息。当我管理YouTube的时候，我们在YouTube上面临的最大问题是有人上传虚假的视频，然后有人因此受害甚至丧生。我们有一个禁止涉及死亡信息的政策，令人震惊。我们致力于解决这个问题，但这是一项艰巨的任务。而且，这还是在生成式AI出现之前的事情。
主持人：嗯，所以——
Eric：我没有好的答案。
主持人：有一个技术解决方案，这并不是答案，但可能有助于缓解这个问题，我不明白为什么这种方法没有被更广泛使用，那就是公钥认证。当乔·拜登发表演讲时，为什么不像SSL那样进行数字签名呢？或者，比如那些名人或公众人物，他们不能有一个公钥吗？
Eric：对，这就是公钥的一种形式，然后有一种确定的方式了解系统如何——
主持人：嘿，当我向亚马逊发送我的信用卡信息时，我知道这是亚马逊。
Eric：我和乔纳森·海德一起撰写并发表了一篇论文，他一直在研究生成焦虑问题。这篇论文并未产生任何影响。他是个非常出色的传播者，我可能不如他。所以我得出的结论是，系统没有按照你所说的那样组织起来。
主持人：你有一篇论文赞同我们的做法。
Eric：也即是对你的建议的赞同。
主持人：好的。
Eric：我的结论是，总的来说，CEO们都在努力最大化收入。为了最大化收入，他们最大化用户参与度。为了最大化用户参与度，他们最大化煽动性内容。算法选择煽动性内容，因为这会带来更多的收入，对吧？由此，算法更倾向于推荐些极端的内容。这并不是单方面的问题。我并不是在这里做出任何偏袒的声明。这是一个问题。这个问题必须得到解决。
在一个民主制度中，我对TikTok的解决方案是，我们之前私下讨论过，在我年轻时，有一个叫做"平等播放时间"的规则。因为TikTok实际上并不仅仅是社交媒体，它更像是电视，对吧？有程序在幕后控制你。根据统计，TikTok在美国的用户每天观看90分钟，每个用户平均观看200个TikTok视频。这是很大的数量，对吧？因此，政府必须采取某种形式的平衡措施。
学生问答
关于大语言模型对经济的影响以及学术界的选择
学生：大语言模型的经济影响，比如劳动力市场的影响，比你最初预期的要慢。Chegg（在线教育技术公司）和一些服务人员受到了影响。你认为学术界应该获得AI方面的补贴，还是应该选择与业界的大公司合作？
Eric：我非常努力地推动为大学建立数据中心。如果我是这里的计算机科学系教师，我会非常失望，因为无法与研究生一起构建能够进行博士研究的算法。我被迫和这些公司合作。我认为这些公司在这方面并没有表现出足够的慷慨。我与许多你们认识的教师交谈，他们花费大量时间等待Google Cloud的配额。这是非常糟糕的情况。这个领域正在快速发展。我们希望美国能胜出，我们希望美国的大学——出于多种原因，我认为正确的做法是把资源提供给他们。我在这方面做了很多努力。
至于劳动力市场的影响，我将这个问题交给这里的真正专家。作为Eric教导的业余经济学家，我坚信那些接受过大学教育、从事高技能工作的人将会适应，因为人们将会与这些系统一起工作。我认为这些系统与以往的技术浪潮没有区别。那些危险的工作和不需要太多人为判断的工作将被取代。
关于计算机科学教育的未来
学生：我对“文本到行动”及其对计算机科学教育的影响非常感兴趣。你认为计算机科学教育应该如何变革以适应新时代？
Eric：我认为计算机科学专业的本科生群体将始终有一位编程搭档。因此，当你学习你的第一个for循环时，你会有一个工具作为你的伙伴。这就是未来的教学方式，教授会讲解概念，但你会通过这种方式参与其中。这是我的猜测。
关于非Transformer架构与数学创新 学生：你提到了一些让你兴奋的非Transformer架构。我想其中一个被提到的是状态模型，但现在还有一种是更长上下文的模型。我更好奇的是你在这方面看到的情况。
Eric：我对数学的理解还不够深入，但我非常高兴我们为数学家们提供了工作机会，因为这里的数学太复杂了。但基本上，他们是在采用不同的方法来进行梯度下降和矩阵乘法，使其更快更好。Transformer架构是一种能够同时进行乘法运算的系统化方式，这是我理解的方式。它和其他的很像，但数学部分不同。我们将继续关注这些新的数学进展。
关于中美关系与国家安全
学生：你在关于国家安全的论文中提到，中美两国在现代架构的帮助下处于关键地位。接下来的10个国家，以及稍后的一组国家，都是美国的盟友，或者与美国盟友关系密切。我很好奇你对这些国家，尤其是那些中间地带但并非正式盟友的国家有什么看法。它们有多大可能愿意加入我们的安全阵营？是什么因素可能会阻碍它们加入？
Eric：最值得关注的国家是印度，因为顶尖的AI人才从印度来到美国，我们应该让印度保留一部分顶尖人才。他们没有我们这里如此丰富的培训设施和项目。在我看来，印度是这一领域的重要摇摆国家。中国已经没有机会了，不会再回来。日本和韩国显然站在我们这一边。台湾在硬件方面很出色，但他们的软件开发较弱。在全球范围内，其他大国的选择并不多。欧洲因为欧盟的政策和管理机制陷入困境，这并不是什么新鲜事。我与他们斗争了10年，但他们仍然有许多限制，导致我们在欧洲开展研究非常困难。法国还有一些机会，但我不太看好德国。其余的国家都不够有影响力。
关于编程与AI
学生：我是编译器工程师。考虑到你设想这些模型将具备的能力，我们还需要花时间学习编程吗？
Eric：是的，这是一个老生常谈的问题，为什么你已经会说英语还要学习英语呢？是为了让你的英语更好。你确实需要理解这些系统的工作原理，我对此非常坚定。
关于分布式计算与大语言模型的训练
学生：你是否探索过分布式环境？虽然构建大型集群很困难，但MacBooks的性能很强大。你认为类似“Folding@home”的想法适合训练吗？
Eric：是的，我们对此进行了深入研究。算法的工作方式是你有一个非常大的矩阵，基本上是一个乘法函数。系统的速度完全受限于内存到CPU或GPU的传输速度。Nvidia的下一代芯片已经将所有这些功能整合到了一块芯片中，如今的芯片已经足够大到需要将它们都粘合在一起。短时间内，分布式计算在训练大语言模型方面的进展可能有限。
关于数据隐私与版权
学生：在ChatGPT发布后，OpenAI因使用他们的作品进行训练而被《纽约时报》起诉。你觉得这种情况会如何发展？这对数据隐私有何影响？
Eric：我曾经从事过大量的音乐版权工作。我了解到在60年代，有一系列诉讼最终达成了一项协议：每次播放你的歌曲，你都能获得一定的版权费。我猜AI领域可能会有类似的情况。可能会有很多诉讼，最后可能会达成一种协议，要求你必须支付你的一部分收入，以便使用类似ASCAP BMI的版权管理机构。
关于AI领域的垄断与反垄断法规
学生：现在看起来几个主要玩家在AI领域占据主导地位，他们会继续维持这个地位。这些公司似乎与那些受到反垄断法规关注的大公司有所交叉。你对这两种趋势有何看法？像是监管部门会否对这些公司进行分拆？这将会对现状产生怎样的影响？
Eric：在我的职业生涯中，我曾帮助微软避免被拆分，结果它确实没有被拆分。我也曾努力阻止谷歌被分拆，目前来看，谷歌还未被分拆。因此，从我的观察来看，这些公司被分拆的趋势并不明显。只要这些公司避免成为像约翰·D·洛克菲勒那样的企业巨头，政府可能不会采取行动。这些公司占据主导地位的原因是他们有足够的资本来建设数据中心。
关于技术差距对全球的影响
学生：这一切将会把那些不参与前沿模型开发和无法获取计算资源的国家带向何方？富国越来越富，穷国尽力而为。
Eric：事实上，这就是富国的游戏，对吧？巨大的资本，众多技术过硬的人才，强有力的政府支持。有些国家，比如印度，将会成为这一领域的重要参与者。其他国家可能需要找到合作伙伴或与其他国家联合。
对年轻人的建议
主持人：最后一个问题，Eric。你花了很多时间帮助年轻人，他们正在创造大量财富，你对在座的各位有什么建议吗？他们正在为这门课写商业计划书或撰写政策提案、研究提案，未来职业发展方面你有什么建议？
Eric：我在商学院教过一门关于这个主题的课程。快速制作原型的能力真的非常重要，成为创业者的一个难点在于一切都发生得非常快。现在，如果你不能在一天之内利用这些工具构建你的原型，那你就需要考虑一下了，因为你的竞争对手正在这么做。所以我的建议是，尽快使用这些工具把你的想法制作成原型。这是关键，因为在其他公司、其他大学，或你从未去过的地方，一定有人正在做和你一样的事情。