黄仁勋万字答问实录：AI的下一个浪潮是什么？

澎湃新闻 2024-03-23 08:32发布于上海澎湃新闻官方账号
+关注 AI（人工智能）芯片龙头英伟达CEO黄仁勋在英伟达GPU技术大会（GTC）上打开了话匣子。 当地时间3月19日，在座无虚席的英伟达GTC大会主题演讲结束后的第二天，黄仁勋参加全球媒体采访，回答了来自二十几家媒体的采访问题。 这些问题丰富多样，从英伟达的公司发展前景，到AI、云计算、机器人乃至量子计算机的未来，再到国际形势和全球供应链情况，各种问题都被投向了最近因其名声与热度而获得“科技界泰勒·斯威夫特”称号的黄仁勋。 在采访中，黄仁勋深入浅出地介绍了公司旗下几项核心技术的原理，并再三强调，英伟达并不只卖芯片，而是瞄准了潜力巨大的数据中心市场，希望能做到“无处不在”；由于供应链的庞大和产品的复杂程度，英伟达的芯片由来自全球各地的零部件组成，也在努力增强供应链的韧性；另外，AI的重大贡献之一在于弥合技术鸿沟，能够让任何人都像和人交谈一样指挥软件。 黄仁勋面对记者讲话和接受媒体采访的全文如下，由澎湃新闻记者翻译和整理： 黄仁勋：欢迎来到GTC。来自世界各地的媒体，很高兴见到你们所有人。 我（在开幕演讲上）谈到了五个主题。首先，我们的行业正在同时经历两场转型。第一场转型是关于计算机的制造方式，以及计算机从通用计算转向加速计算的构建方式。第二个转型是它能做什么。也就是说，第一场是加速计算，第二场是它能做的事情，我们称之为生成式AI。由于生成式AI，出现了一种新型的工具，这种新工具就是AI生成器。有些人称之为数据中心，但如你所知，数据中心被很多人使用。它能够存储大量文件，并运行许多应用程序。你可以用它做很多不同的事情。但在生成式AI的情况下，它只做一件事。 它（生成式AI）为一个人，或公司，处理一件事，并生产AI，即生产令牌（token）。作为一种革命性的AI，当你与ChatGPT互动时，它正在生成代币，生成浮点数（floating point numbers），而这些浮点数能变成文字、图像或声音。蛋白质、化学物质、计算机动画和机器人，它们对机器来说与说话没有区别。如果计算机可以说话，为什么不能使机器动起来呢？因此，这些能力，这些代币生成器是一个全新的类别，一个新的行业。这就是为什么我们说正在发生一场工业革命，因为它是新的。这个新行业创造了这些（服务器）房间、这些建筑，我称它们为AI工厂，因为这是最合理的。 在上一次工业革命中，流入工厂的原材料是水。出来的是一种看不见的东西，称为电。现在，我们有了这种流入工厂的原材料，也就是数据，而从中产生的是数据令牌（data tokens）。这种令牌同样是看不见的，它可以被分发到全世界，非常有价值。在过去，数据中心被算入你公司的成本，被视为运营费用，进入资本支出，你认为它是一项成本。然而，工厂是能够赚钱的。因此，这个新世界拥有新的生成式AI、新的工厂，也就是AI工厂，是一个新的工业革命。大家能理解吗？好的，这就是正在发生的第一件事。 这场转型是英伟达引领的加速计算，然后是第二个，生成式AI。在这个新世界里，软件极其复杂。ChatGTP的实现绝非易事，它是有史以来最伟大的科学突破之一，这款软件非常庞大，并且还在不断扩大，原因是如今你想让它学习的东西太多了。它从文字和图片中学习，它还将从视频中学习。它将学习强化学习，学习合成数据生成。它将通过相互对话进行强化学习，就像AlphaGo那样，通过相互辩论来学习。它将以许多不同的方式进行学习。因此，这些模型将随着时间变得越来越复杂。 我们为这个未来创造了全新一代的计算工具，这个未来模型拥有万亿参数。我们称之为Blackwell。Blackwell在几个方面是革命性的。首先，它的设计非常高效能和节能。我在演讲中展示了一个例子，训练相同规格的1.8万亿参数GPT将在90天内完成，不需要15兆瓦，而是仅需4兆瓦——你节省了11兆瓦。因此，我们极大地降低了工作的能耗。能效是工作量除以输入，而工作量是对模型的训练模型。在90天内，输入量为4兆瓦，节省了大量能源，当然也节省了大量金钱。这是第一个突破。 图片 英伟达最新Blackwell GPU。来源：英伟达官网 第二个突破是在于生成，人们首次开始考虑AI不仅仅用于推理。例如，这是一张猫的图片，显示了对猫的预测推理。而在推理之外，虽然依然属于推理范畴，但有一个深刻的不同，那就是生成的出现。它在推理，但同时也在生成，不仅是识别，而是生成，不仅是理解，而且是生成AI。Blackwell被设计为一台生成型计算机，这是数据中心首次以这种方式理解我们的GPU。 现在，如果你是一个游戏玩家，你一直认为英伟达的GPU是一种生成型计算机。不是吗？因为你看到的所有图像都是由英伟达的GPU生成的，但在未来，从图像、视频、文本到蛋白质、化学物质、运动控制——它们都将被生成，并且都将由GPU生成。这实际上挺有趣的，几乎是《回到未来》。我们的GPU从生成处理器和计算机图形生成，变成了AI学习处理器、AI推理处理器，现在又回到了开始的AI生成处理器。在未来，我们几乎所有的计算体验都将主要是生成的。今天不是这样，这就是为什么这个机会如此巨大的原因。 当你在做计算时问问自己，当你在手机上操作时，那个文件，那些信息都是预先录制的。有人提前写下它，有人提前拍下照片，有人提前录制视频，一切都是预先录制的。在未来，它将由那种预录内容增强，但为你生成独特的方式，这就是为什么每个人的计算体验都将非常不同的原因。我们不再使用搜索。搜索将通过生成进行增强。我们称之为RAG，即检索增强生成。因此，在未来，我们几乎所有的体验都将是生成的，而这种生成引擎需要一种特殊类型的处理器，那就是Blackwell。我们用全新的transformer引擎创造了Blackwell，一个第二代transformer，以及一个非常大的NVlink，这样我们就可以非常快速地生成大量信息，并同时并行多个GPU。所以这就是Blackwell。 第三件事是，在这个新世界中，我们能够编写的软件是不同的，它非常复杂，但大公司、企业如何像使用Windows那样使用这些软件呢？它以二进制形式存在。你下载它，安装它。在SAP的案例中，你的IT部门为你安装它。一些应用程序在云上，但如果你想创建自己的应用程序，而你需要内置这种称为AI的不可思议技术。你该怎么做呢？因此，必须有人找出一种方法，将这种非常复杂的软件与所有的高性能计算技术、所有的GPU技术、所有的Tensor RTLM和分布式计算一起，打包进一个容器中，使人们易于使用，同时也易于下载和使用，意味着你可以直接与它交互。 真正酷的是，在未来，软件就是AI，你与软件的交互方式就是直接对话。因此，AI软件即将到来。它将非常易于使用。API非常易于使用，非常自然，你可以将许多这样的AI连接在一起。我们称它们为NIMs，我们称它们为NIM微服务，我们将帮助公司将它们连接在一起。你可以直接使用，可以定制它，我们可以教你如何定制它，你可以将它连接起来。我们可以教你如何将它与许多其他应用程序连接起来。因此，我们讨论了NIM，讨论了这项服务。我们将帮助客户定制他们自己的NIM的方式，我们称之为AI工坊（AI foundry）。 我们拥有AI技术，我们拥有执行它所需的工具，当然还有公司的基础设施，这三样东西——技术、专业知识和基础设施，基本上就是一个工坊的特点。因此，我们可以帮助每个公司构建他们的定制AI。现在，谁会想要定制AI呢？那些拥有平台的公司。因此，SAP、ServiceNow、ANSYS、Cadence、和NetApp等都想要定制AI。因此，我们可以与他们合作，帮助他们构建他们的定制AI，我们可以像工坊一样为他们制造这些AI，他们可以自己将其推向市场。这就给出了一个例子，说明我们将如何利用这项AI技术，并将其带给世界。 我谈到的最后一件事是AI的下一个浪潮，需要AI理解物理世界。当然，你们已经看到了包括OpenAI的Sora在内的一些具有革命性的AI。当Sora在生成视频时，它实际上是有意义的。汽车在路上，它会转弯，人在街上行走有反光。显然，AI懂得物理学，对吧？它懂得物理定律。因此，想象一下如果我们将其推向极限，那么AI实际上可以在物理世界中行动，这就是机器人学。 Sora生成的样片(00:59) 因此，下一代技术需要新的计算机来在机器人中运行。我们称之为Omniverse新工具，让机器人可以在数字孪生中学习。当然，我们还需要发明一些新的AI模型，新的基础模型。因此，整个堆栈，也就是我们进入市场的方式，正如你们所知，我们是一个技术平台，而不是一个工具公司。我们有开发者，Omniverse是我们的数字孪生，通过API或SDK，我们与开发者相连。 这次我们宣布了很多伟大的开发者。3D Excite将连接到Omniverse API，增强逼真的渲染和基于物理的渲染。西门子、Cadence、Blackwell、Hexagon等都已连接到Omniverse APIs，他们可以使用这些Omniverse APIs创建数字孪生，并成为我们的超级合作伙伴。我对Omniverse在连接这些工具方面的成功感到非常高兴。这些工具本质上被Omniverse增强，我对此感到非常高兴。 所以这就是我们讨论的五件事。Blackwell既是一个芯片的名称，也是一个计算系统的名称。这是HGX平台，从Ampere A100到H100、H200、B100以及B200版本，这个版本真的很棒，与Hopper完全适配。因此，你可以拿掉一个Hopper，换上一个Blackwell。这种生产过渡将让客户增长变得更加容易，因为基础设施已经存在。我们还有一个新的架构，采用液冷技术，允许我们创建非常大的NVLink区域，在一个NVLink域中创建8个GPU。我们希望有更大的GPU。也就是说，一个GPU， 8个Hopper裸晶（die）。在Blackwell的情况下，就是16个裸晶，每个硅片裸晶带来显著突破。所以，无论如何，那就是Blackwell。 但是，如果我们想要创建更大的，我们可以一直实现下去。我们可以将多个版本的Blackwell和Grace CPU堆叠在一起，它们通过NVlink开关连接在一起，NVLink开关就在这里，这是世界上性能最高的开关，我们堆叠了9个这样的开关，能连接36个芯片，76个GPU。好的，我可以接受提问了。 记者：想问一下，你们计划将多少新的网络技术卖给中国，以及，我们有任何专为中国市场设计的SKU（商品库存）吗？这些SKU可能集成了一些其他技术，除了计算裸晶，由于计算密度你无法将其送去售卖，但你们还在开发哪些集成了其他先进技术的新SKU，除了我们昨天看到的那些？ 黄仁勋： 我刚刚才宣布了这个SKU。不，我们今天所说的就已经是全部了。当然，我们卖给中国的任何产品都必须遵守出口管制规定，那是首要任务。所以我们会考虑这个，我们正专注于这个。对于中国，我们有L20和H20芯片，我们正在尽我们所能地为中国市场优化它们，并服务于那里的客户。 记者： 你在主题演讲中提到，英伟达是一个与许多企业合作的AI工坊，我认为这非常重要。你能分享更多关于你们的整体策略和长期目标吗？ 黄仁勋： AI工坊的目标是构建软件AI，不是将软件作为一个工具，但请记住英伟达始终是一家软件公司。我们很久以前创建的最重要的软件之一叫做Optics，后来它变成了RTX。另一个非常重要的是叫做cuDNN，cuDNN是AI库。我们有所有这些不同的库。未来的库是一个微服务，因为未来的库不仅会用数学描述，还会用AI描述。所以这些库，我们过去叫它们cuBLAS，还有一大堆“cu”，但在未来，它们都是NIMs。这些NIMs是超级复杂的软件，你所需要做的就是来我们的AI网站，你可以直接在那里使用它，或者下载它到另一个云平台，或在自己的计算机上运行。如果它足够小，你可以在你的PC上运行，运行你的工作站，运行你的数据中心。我们将使这些NIMs的性能非常高效。所以，这是使用英伟达库的一种新方式，当你作为一个企业运行这些库时，我们有一个你需要许可的操作系统，这个操作系统的费用是每GPU每年4500美元。你可以在其上运行尽可能多的模型，只要你喜欢。 记者：今天早上你提到一颗Blackwell芯片的价格在三万到四万美元之间，你没有具体说明是哪一个，所以你能提供具体的定价吗？你在演讲中提到的2500亿美元TAM（潜在市场规模）的市场具体是什么，英伟达在其中占多大比例？ 黄仁勋：我很感谢你的问题。好的，首先，我试图给出我们产品定价的感觉。我并不打算给出一个具体报价。原因是，我们显然不是单纯卖芯片的，并且Blackwell作为一个或多个系统的定价是非常不同的。而且，你不能只使用Blackwell，Blackwell系统包括了NVlink，就在这里。因此，这次的定价差别是完全不同的，我们将为它们每一个提供定价。每个的定价将如往常一样基于TCO（总运营成本）而定。 英伟达不仅仅制造芯片，英伟达构建数据中心，你们可以看到我在最后一个幻灯片中展示的，显然不只是一个芯片，我们构建了整个东西和所有软件，我们启动它，让它工作，调优它，使其高效，完成构建整个数据中心所需的所有工作。我们实际上建造了属于我们自己的这一切，对吧？我们正在建造我们自己的几个（数据中心），来使其尽可能高效。然后这是疯狂的部分，我们将它们分解成像这样的小部分。所以我们拿一整个数据中心，让你决定你想买哪些部分。因此，我们让你来决定想如何购买。也许你的网络不同，你的存储不同，你的控制平面不同。至少你的管理模块会有所不同。所以，我们与你合作，我们会分解一切，弄清楚如何将其整合到你的系统中，然后我们有整个团队的人来帮助你做到这一点。这并不是人们过去购买芯片的方式。这实际上是在设计数据中心，并将我们的数据中心整合到其他人的数据中心中。我们的商业模式反映了这一点。 那么，英伟达的机会是什么？英伟达的机会不是GPU的机会，因为那只是一个芯片的机会。有很多人制造了GPU，GPU市场与我们正在追求的机会非常不同。我们正在追求的是数据中心市场，全球数据中心的市值约为每年2000亿到2500亿美元，而那2500亿美元正在迅速转向加速计算和生成式AI。因此，那就是我们的机会，显然，由于AI已被证明相当成功，这个机会将会持续增长。所以，我认为我们的机会是那2500亿美元中的一个百分比。 我还想澄清一下，我引用的数字，那2500亿美元大约是去年的数字，我认为它每年会增长25%或20%左右。所以这就是为什么我会说，英伟达的机会可能在一万亿到两万亿美元之间，具体取决于时间框架，但对该区间的估算是合理的。 记者：萨姆·奥特曼（OpenAI的CEO）一直在与整个芯片行业的人交谈，讨论扩大AI芯片领域的范围和规模。他是否与你谈论过这个话题？不管他是否谈过，你如何看待他的意图，以及这对你和你的公司有何影响？ 图片 Sam Altman 视觉中国 资料图 黄仁勋：除了知道他认为生成式AI将是一个非常大的市场机会之外，我不了解他的意图。我也同意他的观点。让我们回到基本原则。今天计算机生成像素的方式是通过检索，然后解压它，并将其显示在你的屏幕上。整个过程，人们以为需要很少的能量，但实际上正好相反。原因在于每一次提示，每次你触摸手机，它都必须迅速前往某个地方的数据中心，收集所有的数据片段，让CPU去获取所有的片段，并以一种从推荐系统的角度讲得通的方式组合它们，然后发送回你这里。如果你每次问我一个问题，我都得去我的办公室寻找答案，那将消耗比我直接回答更多的能量。所以，我与你的工作方式大体上是生成式AI，我是生成式的而不是基于检索的。 因此，在未来，越来越多的计算将是生成式的而不是基于检索的，但这种生成必须是智能的，必须与上下文相关，等等。我们相信，我知道他也相信这一点，几乎每个人电脑上的每个像素，每次你与计算机互动时，都将由生成式芯片生成。而今天的生成式芯片来自英伟达。我们希望随着Blackwell和未来世代的发展，我们能够在这一领域继续做出很多贡献。但如果有一天，每个人的电脑、每个人的计算体验都是生成式的，我也不会感到惊讶。所以这是一个巨大的机会，我会同意这一点。 记者：请问你对未来的愿景是什么呢？我们有一个工坊，一个基础模型，在我们的生活中会如何发展？ 黄仁勋：是的，问题是我们如何拥有自己的个人LLM（大语言模型）？起初，我们认为可能需要进行微调，在持续使用中我们不断进行微调，但如你所知，微调相当耗时。然后，我们发现了提示调整和提示工程，然后我们发现了上下文、记忆、大上下文窗口，然后我们发现了工作记忆等等。我认为答案是，未来将是所有这些的结合。你可以通过调整权重的一个层次来进行微调，使用LAURA训练方法。你不必微调所有东西，你只需冻结它，除了一个或几个层次。然后，你可以进行低成本的微调，你可以进行提示工程，你可以处理上下文，你可以存储记忆，所有这些加起来就成了你自己特别的LLM，而这个LLM可以在某个云服务中，也可以是你自己的计算机。 记者：我想知道您对像Groq这样的AI芯片初创公司有什么评论，他们在您的主题演讲后发了一条推文说，“我们仍然更快”。 图片 来源：X平台 黄仁勋：听起来很气人。我对此并不是很了解，无法做出聪明的评论。我确实认为令牌生成是一个非常困难的问题，如果你想为每个模型生成令牌，每个模型都需要它自己的特殊分区方式，因为transformer并不是所有模型的统称。它基于transformer技术，每个人的transformer在意图层这一点上是相关的，但它们都是相当不同的。其中一些不是前馈网络，使用这种叫做混合专家系统（mixture of experts）的东西，从一个专家到两个专家，还有一些是四个专家，它们如何分配工作以及如何路由信息，从一个专家送到另一个专家，都是不同的。 因此，每一个模型都需要非常特殊的优化。如果计算机太脆弱，就是说它被设计来做一些非常具体的事情，并且需要非常具体的输入，它就是一个可配置的计算机，而不是一个可编程的计算机。这没什么问题，有适合它的地方。但它不允许你从软件创新的速度中受益。CPU的奇迹之所以不能被低估的原因。CPU之所以一直是CPU，并且这么多年来一直克服了PC主板上的这些需要配置的东西，有一个非常简单的原因，因为CPU是可编程的。软件工程师的天才可以通过CPU实现。如果你把它固定在芯片中，那么你就切断了软件工程师的才华。 英伟达找到的方法是同时受益于两者：一种非常专门的计算形式，平行计算（parallel computing），基于大规模线程流基础的计算模型，对延迟的容忍，还有一些关于英伟达处理器的独特属性，使其变得非常高效，而在另一方面，它也是可编程的。如果你们注意到的话，一直以来只有一个架构一直存在，经过所有其他的那些网络、resnets（深度残差网络）、NNs（神经网络）、强化模型，最终是transformer。有许多类型的transformer，现在出现了transformer与状态空间之间的融合，以及人们处理上下文和记忆的方式，这些架构都在发生疯狂的变化。 所以，我们能让一个模型工作好是很重要的。这是一个重要的观察。有人做到这一点真的很棒，但我认为， AI最终不是一个芯片问题，它是一个软件问题，芯片的存在是为了促进软件的发展。我们的工作是促进下一个ChatGPT的发明，假如说是Llama 70B，我会非常、非常惊讶。 记者：从关于软件的回答接着说。你昨天宣布的一大部分是关于软件和NIMs的。增长的机会在哪里？从你昨天所做的宣布中，英伟达最大的增长机会在哪里？我有种感觉是这些微服务将会是你们的下一个大事件。关于软件的第二部分问题，你在几次采访中说过，因为未来可以通过说话来实现，所以没人需要再编码了。你在建议人们不应该学习那些技能吗？ 黄仁勋：关于提问的第二部分，首先，我认为人们应该学习各种技能。拉小提琴看起来真的很难，还有杂耍，以及数学、代数、微积分、微分方程。我认为人们应该尽可能地学习许多技能，不是说编程对你成为一个成功的人不再是必要的。曾经有一段时间，世界上有许多伟大的人都在倡导每个人都必须学会编程，不然你会变得没用。我认为这是错误的。不是个人的工作去学习C++，不需要C++就能派上用场是计算机的工作。 这就是我想说的。而我觉得被忽略的一点是，我相信AI已经为弥合技术鸿沟作出了最大的贡献。你不必成为C++程序员才能成功。现在你只需要成为一个能够提出提示的工程师，而谁不能成为一个能够给出提示的工程师呢？当我妻子和我交谈时，她就像是在给我给出提示一样，而且效果非常好。我认为我们都需要学会如何给AI提示，但这与人们学习如何指导队友并没有什么不同。取决于你想要做的工作，你所寻求的结果的质量，是在寻求更多的想象力还是你想要更加具体的结果，你都会以不同的方式来提示一个人。 在未来，你会以同样的方式与AI交互。你会根据你想要获得的答案让它做出不同的反应。也许，你想要在一开始得到令人惊讶的答案，然后逐渐让它变得更加具体？多术语提示？因此，与计算机一起工作的方式，每个人都知道怎么做，我相信这是AI所做的第一件伟大的事情，它消除了技术鸿沟。看看YouTube上所有人创建AI的视频，他们根本不用写任何程序。所以我想这就是我的观点，但是如果有人想要学习如何编程，请务必这样做，因为我们正在招聘程序员。 对于第一个问题，我们最近的机会，是即将建设的两种类型的数据中心。其中一个是将通用计算现代化为加速计算的数据中心。第二个是这些AI生成的数据中心，提示生成数据中心。这是我们最近的一个非常非常大的机会。在我们做这个的同时，我们希望帮助客户制造AI。有AI的发明。比如说，LAMA2真是太棒了。Mistral也很棒。还有很多其他的，对吧？GR非常出色。有很多很多的AI正在被创建，但这些AI对公司来说很难使用。有算法，它们以原始形式存在，很难运行。因此，我们要去创建一些合作伙伴，然后拿取其中最受欢迎的开源模型，并将它们转化为生产质量、可用的模型。 但是这些可用的模型，这些预训练模型本身并不完全有用。你仍然需要对它们进行调整、微调、限制条件，使它们能够访问专有信息等等。因此，对于公司来说，要能够使用AI，我们仍然需要围绕它提供一整套服务，我们称之为NeMo。一旦我们完成了这些，这个软件你可以在任何地方运行。所以实际上，我们不仅仅要发明AI，而且要制造AI，如果你愿意的话。通过制造这些AI和AI软件，每个人都可以使用它。在企业中，我们的软件业务每年的运营额约为十亿美元。我认为制造AI可能会成为一个相当大的业务。 记者：你提到了技术鸿沟，我怀疑现在它实际上正在扩大，因为很多非程序员，可能是医生、律师、经理、服务提供者之类的人，并不完全了解这些机器正在推出什么，这将对他们自己的业务在非常近的未来中什么样的颠覆。我想知道，你能给那些相当确定自己知道如何工作、并且将在未来几年甚至更长时间内持续下去的人什么样的建议，或许更具体地对我的以色列观众说几句话。 黄仁勋：首先，我在以色列有3300名员工。我在加沙和西岸有近百名员工。我们在加沙有承包商，我们的心和你们所有人在一起。首要任务，当然，是保持安全，我们作为一家公司会提供一切可能的支持，我们都尽力而为。因此，任何代表公司的人，请这样做。 对于你问的第一件事，我观察到，在GTC上，有医疗保健公司、药物发现公司、金融服务公司、制造公司、工业公司、消费公司、广告公司、汽车公司、运输公司和物流公司等等。我相当确定，他们之所以来这里都是因为AI。因此，你应该观察到的第一件事是，对于大多数不在计算机行业的行业来说，计算技术是第二位的，他们的行业领域是首位的。但因为AI使计算机如此易于使用，我们实际上已经为他们关闭了技术鸿沟。因此，如果你是一名医疗服务提供者，你使用AI和计算技术影响自己行业的机会比以往任何时候都大。 一个例子是，AI初创公司的数量急剧增长，它们在哪里增长？在医疗保健等领域，而不仅仅是计算机行业。因此，这非常明确地表明，所有行业本身都认识到AI的不可思议能力，并且他们有能力利用它。所以我认为这绝对正在发生。 图片 视觉中国 资料图 记者：你谈到了大量使用生成式AI和模拟来大规模训练机器人，但有很多事情我们无法模拟，尤其是当我们开始要求机器人在非结构化环境中执行更多任务时。你认为在模拟中训练机器人的限制是什么，当我们开始碰到这些限制时，我们该怎么办？ 黄仁勋：有几种不同的方式来思考这个问题。第一种方式，将你的问题放在一个大型语言模型的背景下来考虑；记住，大型语言模型是在一个完全不受约束的世界中运作。这是一个无结构的世界，这是其中一个问题。但想一想，它从大量文本中学习。因此，大语言模型，这些基础模型泛化的能力正是其魔法秘诀。泛化，然后取得上下文，通过几次迭代。或许在你的提示中，你告诉它你在厨房，你正准备做一个煎蛋卷，你指定了问题，你指定了上下文。这些是你只能使用的工具，你没有黄油。你坐在这里，所有东西都在冰箱里。你描述的上下文就像你在与大语言模型交互时所做的一样，这个机器人应该能够足够地泛化，如果应用一些你已经见过的ChatGPT的秘诀。 这就是我所说的，机器人领域的ChatGPT时刻可能近在咫尺。还有很多伟大的科学问题需要解决，但你可以看到它的外延，并且这个机器人可以生成令牌。对软件来说，这有意义吗？它不知道区别。它只是一个令牌。所以你必须对这个进行标记化。它的编号是多少？计算机科学家会弄明白的。一旦他们将所有这些手势标记化，他们就会像你标记化单词一样将其泛化、上下文化。最后一部分是使其具体化。具体化的部分是强化学习，在ChatGPT中是人类反馈，你会给它很多例子，问题与回答。在哲学、化学、数学中的适当回答，以及非常精心制作的、人类合适的问题与回答。其中一些被描述在页面中，有成千上万，更多的例子已经呈现给了成为ChatGPT的大型语言模型。他们所做的工作真的很辛苦。 来个人类的示例。让我向你展示如何制作咖啡，这是一个非常清晰表达的例子，然后机器人会说，哦，我明白了。让我泛化一下。你的意思是如果我把这个稍微移动到这里，那仍然是同一个活动，制作咖啡。所以我使用的是完全相同的类比。你能看到这两条相似的路径吗？因此，事实上你在ChatGPT中所看到的，现在经过我这样的解释，你几乎可以看到它。我们看不到它，唯一的原因是，不知何故，我们无法在大脑中将文字和机器人的动作分离开。那是唯一的原因，唯一的障碍。如果我告诉你对于计算机来说，它们都只是数字；它不知道差异。然后你就会说，哇，那很有趣。这是可行的。 记者：关于幻觉问题，我想知道你是如何看待它，特别是在像医疗保健这样的任务关键型事务中，你必须做到百分百的正确。那是可以解决的吗？你是怎么看的？ 黄仁勋：是的，我非常感谢这个问题。幻觉是非常可解决的，不是靠它自己，但它很容易被解决的。如果你说每一个答案，你首先必须查找答案。所以，这被称为检索增强生成。现在，检索生成仍然有一些弱点，但不管怎样，基本概念是有意义的。所以，不能编造一个答案，如果你进行网络查询，它应该先搜索，然后从搜索中，AI读取答案。不要编造它。只需从网络上读取答案，然后从你读到的内容中，优先考虑你认为最能回答我的问题、最准确、最真实的那些。也许它对某个网站了解一些，也许它只是在描述中知道有些不对，就要拒绝这个回答，并找到最有意义的答案，然后将其描述给你。 实际上，如果答案对你真的很重要，这个AI不能回答你不真实的东西。它首先进行研究，确定哪一个答案是最好的，然后总结给你。它要进行研究。所以现在，假设你没有聊天机器人，这实际上是一个为你做总结的研究助理。根据信息的关键性，我可能会坚持要求你在回答我之前总是先进行研究。这并不是什么大问题。例如，如果我只是想知道，我知道这些答案是常识，只是我不确定具体是什么。例如，热茶的温度是多少？我不太确定。如果不确定的话，你可以先查一下。 记者：我想知道，在构建像Blackwell这样的平台时，你们是如何估算计算需求的，或者说，只是以尽可能快的速度增加计算能力到无限。如果是后者，你们是如何从功耗和可持续性的角度考虑这个问题的。 黄仁勋：答案非常简单。我们必须弄清楚我们的物理极限在哪里，并尽可能地推进到这些物理极限，同时超越它们。那么，我们如何超越物理极限呢？超越物理极限的方式是使事物更加能源效率高。所以我们做的第一件事是使事物更加能源效率高。实际上，我昨天展示的例子是，训练GPT-4大约需要90天。使用Hopper，将需要8000个GPU花90天来训练GPT-4，使用Blackwell只需要2000个Blackwell，4兆瓦，比训练GPT-4少11兆瓦，时间相同。因此，我们制造了Blackwell，有更高的能源效率，我们就可以推动极限。能源效率和成本效率是首要任务。我还展示了，其可以为大语言模型生成令牌的速度提高30倍。换句话说，我们使其速度提高了30倍，这意味着我们在这样做时节省了很多能源，产生相同令牌需要的能源减少了30倍。能源效率和成本效率实际上是我们所做一切的核心，这实际上是首要的。 图片 视觉中国 资料图 记者：你提到了很多行业都有可能经历ChatGPT式的时刻，显然，你正在努力使许多行业能够实现这一点。你能挑出一个你认为首先会发生大突破、真正让你兴奋的行业吗？ 黄仁勋：有很多例子，其中一些因为技术原因让我兴奋。有些是因为首次接触的原因让我兴奋，还有一些是因为影响的原因。好的，让我给你一些例子。 我对Sora非常兴奋。我认为OpenAI与Sora所做的工作是非凡的。从自动驾驶汽车公司Wayve，去年曾看到了相同的能力。你看到我们将近两年前做过的一些示例，关于如何从文字生成视频，为了生成合理的视频，模型必须对物理有一种感性理解，当你放下一个杯子时，它位于桌子上面，而不是桌子中间。因此，行走的人在地面上，他们的脚不在地下。所以，这具有对物理的感性理解。它不遵循物理定律，但对物理有感性理解。它理解世界的模型。 其次，我认为我们与Earth 2 CorrDiff所做的工作具有巨大影响。为了在三公里的规模上预测天气，需要一台比目前用于天气预测的超级计算机大25000倍的超级计算机。因此，三公里的规模允许我们预测极端天气对当地社区的影响。我们所做的另一个好处是，我们使它的能源效率提高了3000倍，通过这样做，并且速度提高了一千倍，我们可以预测极端天气的一大堆不同的飞行路径，因为天气是混沌的。所以，你想尽可能多地对它进行抽样。我们可以进行10000次抽样，而不是一次。因此，我们得到正确答案或最有可能的答案的能力大大提高了。因此，极端天气预测，局部、区域预测，我认为这是非常有影响力的工作。 我还认为，在生成可能的、可药用的分子，具有特定靶蛋白质方面的工作非常理想，基本上是发现小分子药物。我们可以将其放入像AlphaGo那样的强化学习循环中，坐在那里生成各种分子，并将其附着到蛋白质上，并使用AI模型来做到这一点，这样我们就不必在超级计算机中做这些。我们可以探索巨大的空间。那是非常有影响力的东西。一些早期指标非常令人兴奋的领域，例如我们刚才关于机器人的讨论。通过在通用机器人学中的潜在影响，使它们不那么脆弱，可以变得更有用。因此，正在发生的这些事情非常令人兴奋。 记者：希望你能深入探讨一下你对药物发现和蛋白质的愿景，比如结构预测，以及最终涉及分子设计的内容。另外，这些努力对你的其他项目有什么影响，比如量子计算？你是否需要在量子方面做更多的工作来帮助支持其他项目，比如药物发现方面的工作？ 黄仁勋：我来从后往前回答。你知道，我们可能是世界上最大的量子计算公司，而我们并不制造量子计算机。我们之所以这样做，是因为我们相信量子计算。我们认为没有必要再建造另一个量子计算机。而量子计算不仅是量子计算机。当它发生时，量子计算机很可能会是一种加速器，就像视频加速器一样。它用于非常特定的某些事情。量子计算不会用于所有计算。它是一个非常特定的领域，并且将与经典计算机连接。因此，我们创建了CUDA-Q，这是CUDA的编程模型，但用于量子，经典量子CUDA架构。其次，我们创建了CUDA Quantum，另一个“CU”，允许我们模拟量子计算机。 今天，我们可以模拟一个量子计算机，其速度比34、36量子比特的量子计算机还要快。我们可以用它来模拟量子电路，以便算法专家可以开始研究量子计算机。我们可以使用它进行后量子密码学，为量子到来时世界做准备，到那时所有的数据已经被编码并适当地进行了密码编码。因此，我们可以为所有这些作出贡献。我们与世界上绝大多数量子计算机公司、研究人员、量子计算机制造商等合作。因此，我们相信，在它对数字生物学方面的科学突破作出贡献之前，还需要相当长的时间。 图片 视觉中国 资料图 实际上，整个对NIM的认识都是从我们对数字生物学和BioNEMO所做的工作中获得的，BioNEMO几乎就是我们的第一个NIM。原因是这些模型非常惊人，但它们太难使用了。你怎么能使用它们呢？因此，我们开始考虑以一种非常特殊的方式打包它们，以便所有研究人员都可以使用。BioNeMo正在被广泛使用。我为此感到非常骄傲。你发送一个化学蛋白质对，它会告诉你结合能量是否足够低。你发送一个化学物，你说，给我一堆像这个一样的例子，探索那个药物化的空间，它就会创造出一大堆。我的意思是，那真的很酷。 记者：对于美国和中国之间的紧张关系，你认为这将如何影响英伟达的生产和销售？就是说，如果在你制造它们的地方、或在你可以销售它们的地方出现问题，那是你无法控制的障碍。那么，你认为这将如何影响英伟达的前进路径？ 黄仁勋：是的，我们必须立即做两件事。其中之一是确保我们理解政策，并确保我们遵守它们。然后第二，尽我们所能，加强供应链的韧性。正如你所知，我们不仅仅是制造一个芯片。我将这个Blackwell作为例子，其中有超过35000个部件，8个部件来自TSMC（台积电），其他35000个部件则不是。当我们将这个东西配置成像那样的DGX时，这个配置有60万个部件。这些部件来自世界各地，其中许多是在中国制造的。这就是事实。这对汽车行业来说是事实，对国防工业也是如此。因此，世界的供应链相当复杂。我确实非常相信，各国的目标并不是对抗性的。他们有一些公平性问题需要解决，但我认为末日场景不太可能发生，我们也不指望它发生。但当然，我希望那不会发生。我们能做的事情与韧性相关，然后是合规性，让其他人做好他们的工作。 记者：你能谈谈英伟达与台积电的关系吗？在过去几年中，随着芯片和封装复杂性不断增加，这种关系是如何发展的，特别是考虑到Blackwell及其双芯设计，他们如何帮助你实现了这一设计？ 黄仁勋：我们与台积电的合作关系可能是我们所有合作伙伴关系中最密切的一个，这是可以理解的。我们所做的事情非常非常困难，而他们做得非常非常好。我们从他们那边得到compute D，CPUD，GPU芯片，COAs基板，以及来自Micron、SK Hynix和三星的内存，这些都在中国台湾组装。所以，供应链并不简单，需要大公司的协调，他们代表我们完成这项工作。这些大公司一起工作，他们意识到未来会需要更多COOs类型的互动。因此，我们解决了所有问题。公司间的协作实际上非常非常好。组装完成后，第三家公司需要来测试，然后第四家公司将其集成到一个大系统中。 为了构建像这样的超级计算机，你需要一个超级计算机来测试它，为了让其进入数据中心。想象制造车间就是一个巨大的数据中心，因此，整个供应链上下游的复杂性非常高，我们不是单独构建这个芯片。这是一个奇迹。当人们问我，你们制造什么？你们制造GPU，我感觉他们想象的是我们像制造SOCs那样制造这些芯片。但每当有人说GPU，我看到的是这个，是这样的机架，是电缆和交换机，这是我心目中的GPU和一大堆软件。所以台积电是其中非常关键的一部分。 记者：英伟达正转向云业务，而其他云提供商正在制造芯片。你对这一趋势有何看法？首先，大型科技公司制造芯片的事实，会对你们的长期定价策略产生影响吗？你的云策略是什么？特别是考虑到中国市场，你们有计划在中国推出DGX Cloud吗？如果没有，你们会提供什么解决方案？ 图片 英伟达2023年3月发布的AI超级计算服务DGX Cloud。来源：英伟达官网 黄仁勋：首先，我们构建了HGX。我们将其出售给戴尔，然后戴尔将其放入计算机中然后出售。我们之所以这样做，然后我们创建在戴尔计算机上运行的软件，并且我们创造市场需求来拉动戴尔计算机的销售，因为戴尔不如我们了解英伟达的技术。因此，我们必须帮助戴尔创造需求。我们必须帮助戴尔创建这些系统并为其开发软件。我们必须对云服务做同样的事情。我们与云服务提供商合作，将NVIDIA云集成到他们的云中。我们不是一家云计算公司。我们的云称为DGX Cloud，但实际上我们在他们的云中。 我们的目标与我刚才提到的与戴尔相同。我们的目标是将客户带到他们的云中，就像将客户带到戴尔的这台机器上。所以，不是HGX到戴尔，而是称为DGX Cloud到CSPs到Azure。这是同一个理念。因此，我们开发软件、培养开发者，并为使用我们架构的CSPs创造需求。这与任何人的芯片无关，而是与NVIDIA作为一个计算平台公司的角色有关。一个计算平台公司必须培养自己的开发者。这就是GTC存在的原因，一个开发者大会。如果我们是X86公司，为什么需要一个开发者大会？世界上每个人都在使用X86。开发者大会有什么用？因为我们的架构仍在被采用，其使用是复杂的。我们必须为它举办开发者大会。因此，DRAM不需要开发者大会，以太网不需要开发者大会，但像我们这样的计算平台需要开发者大会，因为我们需要开发者。英伟达无处不在。我们在每个云中，每个数据中心等等。 记者：你曾说，通用人工智能（AGI）将在五年内到来，而Blackwell如此强大，你是否仍然坚持这个时间表，或者您认为它会加快？如果加快了，你是否有任何顾虑？我之所以这样问，是因为您显然是现代的达芬奇，但也可以成为现代的奥本海默。 黄仁勋：奥本海默制造了一颗炸弹，我们没有那样做。首先，定义AGI。我现在说这个，相信每个人都在努力去定义它。我希望你能具体定义一个AGI，以便我们每个人都知道我们何时到达了。比如，定义什么是圣克拉拉？它的地理空间位置非常具体，你们都知道如何到达那里。定义新年，我们所有人都知道新年何时到来，甚至基于我们的时区，我们知道已经到达了。但AGI有点不同，如果我们将AGI定义为非常具体的东西，意味着一大系列的测试，数学测试、阅读测试、阅读理解测试、逻辑测试、医学考试、法律考试、经济学测试等等，你说的任何测试——一堆测试。如果我拿一堆测试，并且我说AGI的定义是当这套测试软件程序做得很好时，意思是比80%中的大多数人都要好，或者几乎比所有人都要好。你认为计算机五年内能做到吗？答案可能是肯定的。 因此，每次我回答这个问题，我都会具体说明AGI，但到了媒体报道中，没人具体说明。所以这就取决于你的目标是什么。我的目标是与你沟通，你的目标是弄清楚你想要讲什么故事。因此，我相信，正如我所定义的AGI，可能在五年内实现。对于通用人工智能这三个词，我不知道我们是否达成一致。这就是为什么我们有那么多不同的词来描述彼此的智能。 记者：我喜欢你说电脑游戏是OG（原创）生成器的观点。基于这一点，你去年有一个非常有先见之明的引用，即未来，每一个像素都将被生成，而不是渲染。你认为我们距离这个每个像素都在实时帧率下生成的世界还有多远，以及在这个新范式中，你对游戏和非游戏体验有什么愿景？ 黄仁勋：我认为在技术领域，变革曲线不会超过十年。一旦它变得可行，变得更好，当然，ChatGPT不仅可行，在大多数情况下它更好。我认为这距离现在不到10年。10年后，你就处于那个S曲线的另一端。从现在起5年，你可能正处在中间，一切都在实时变化。每个人都会说，看，这就发生了。所以你只需要决定。我们是不是已经进入那10年的前两年了，可能已经进入前两年了。因此，我会说在接下来的5到10年的某处之间，比如说八年，这几乎是肯定的。 记者：日经指数在你们最近的财报发布后创下了历史新高，因此可以肯定地说，日本市场上有很多目光都在关注英伟达。你还在12月与岸田首相会面，讨论了在日本扩展AI能力。你能否与我们分享，在扩展日本的AI能力方面有何进展？或者分享你对日本市场、对NVIDIA产品和业务的一般展望。 黄仁勋：我认为日本高度认识到提高生产力非常重要。我们都知道，当一家公司变得更有生产力时，收益会提高。当收益提高时，我们会雇佣更多的人。当由许多公司组成的经济变得更有生产力时，经济会增长，雇佣更多的人，生活质量会更高。日本，像许多国家和公司一样，需要提高生产力。AI是我们所知提高国家生产力的最佳方式。我认为日本理解这一点。日本也理解，日本的数据、语言和文化非常特定，没有理由允许其他第三方收集那些数据来创建AI，然后重新输入到日本，再让日本市场为其付费，这是没有意义的。你应该自己建立它。因此，出于主权AI、国家生产力、企业生产力等原因，我认为AI将在日本非常重要。我发现日本的活力令人振奋，有着惊人的能量，我所有的业务伙伴都对这个机会感到非常兴奋，我也为你们感到兴奋。 记者：英伟达是否计划进一步扩大在以色列的业务规模，开设更多的中心，并收购更多的公司？英伟达在以色列的未来将会是怎样的？ 黄仁勋：以色列是英伟达按人均计算，员工最多的国家之一。以色列是英伟达最大的总部所在地，已经有3300人，也是我们一些最有才华工程师的家园。我们最重要的投资之一，NVSwitch来自以色列。我跟你们谈到的这个东西，是Blackwell的心脏和灵魂，也来自以色列。因此，我们将继续在以色列进行大量投资。那个地区对我来说非常重要。我们在西岸也在招聘。我们支持我们所有在西岸的巴勒斯坦员工，并照顾他们及其家人。不会有员工失去我们的支持，我们不会离开西岸，那个地区对我们非常重要。员工需要知道公司支持他们。为了让他们做出伟大的工作，你需要知道自己的基础是牢固的。英伟达是一家坚强的公司。我们的基础是坚强的，我们对那里的员工的支持是明确无误的。因此，他们可以知道这一点。他们应该知道。 记者：印度政府最近承诺通过公私合作伙伴关系购买10000个GPU。英伟达是这个计划的一部分吗？同时，印度的AI计算能力目前不到世界的2%。你怎么看待近期内这个情况的发展？ 黄仁勋：首先，如果印度正在为AI购买GPU，我想就这个问题分享我的想法。我认为英伟达制造的AI GPU非常优秀，当你回去的时候，如果你能传播这个信息，那说明我们在这方面做得非常好。其次，我们对此非常感兴趣，如果有人想购买一些GPU，我们会很高兴，会开放业务。所以，希望大家传播这个消息，英伟达开放了业务。 我认为AI是一个巨大的机会。实际上，当我去印度时，我通常有机会见到印度总理莫迪，那真是非常非凡的经历。他对我说：“Jensen，印度不应该出口面粉来进口面包。”非常有道理。为什么要出口原材料来进口增值产品？为什么要出口印度的数据，这样你就可以进口AI，对它进行精炼并增加其价值？ 第二，印度拥有世界上最多的IT专业人员。毫无疑问，他们正在为AI重新培训。当我与印度的领导者们会面时，他们非常清楚这是重新培训自己的最大机会之一。他们将不再仅仅是公司后台的IT，而是成为公司前台的IT，在那里创造价值。AI被用于工程、市场、销售、财务、商业运营和市场策略。所有这些都是前台，而不是后台。印度正寻求进入IT的前台，那里有最大的市场机会，我认为你们绝对会做到，我为你们感到很兴奋。 图片 2021年10月20日，新竹，一名员工走进台积电位于新竹的总部。视觉中国 资料图 记者：想问一下关于台积电，我们知道，台积电总能确保供应，但许多公司仍想要更多。你认为三星或者SK海力士怎么样？除了HBM（高带宽内存）外？ 黄仁勋：这就好像是问我一个关于台积电的问题，然后说，除了他们的代工业务外，你觉得台积电怎么样？（就像问）你喜欢与NVIDIA合作吗，除了GPU以外？你知道HBM内存非常复杂，增值非常高。我们在HBM上花了很多钱。我们正在对三星的HBM进行认证。还没有，但是还没有。但我们会的。 记者：你们有让三星制造芯片吗？你对这种关系怎么看？ 黄仁勋：三星是非常好的合作伙伴。韩国，如你所知，生产了世界上最大数量的先进内存。HBM非常复杂。不要把HBM想象成DDR 5。完全不是那回事。它就是一个技术奇迹，这就是为什么它的速度如此之快。HBM内存就像逻辑一样运行，不仅仅是DRAM，并且变得越来越复杂。那些制造商是如此谦逊，以至于你误解了。HBM是一个技术奇迹。现在，令人惊奇的是，由于生成式AI，在所有数据中心，过去的DDR内存都将成为未来的HBM内存。三星和SK海力士的升级周期是难以置信的。只要英伟达开始增长，他们就会与我们一同增长，我们将在世界数据中心替换的内存量是巨大的。 为什么这么好？因为HBM内存的能源效率要好得多。这就是我们如何使世界更可持续，以便我们可以使用更先进的内存，它更快但功耗非常低。这非常复杂。是的。我非常重视我们与SK海力士和三星的合作伙伴关系。他们非常出色。 我们与台积电的关系没有过于密切。不，我们应该更亲密，但我们应该与所有合作伙伴都保持亲密。我们与三星的关系非常深入。我们未来将要构建的每辆车都基于三星，我们对自动驾驶汽车行业的承诺非常高。因此，我们对合作伙伴的信任必须是非常长期的。三星是一家非凡的公司，也许你住在三星所在的同一个城市，你忘记了他们有多么了不起。但从我所在的位置来看，三星是一家非凡的公司，SK海力士也是非凡的。这就是他们能成为自己领域的世界领导者的原因。