PyTorch官方纪录片 - 驱动AI革命的力量
摘要
本片回顾了PyTorch从诞生到成为AI领域核心框架的完整历程。从早期碎片化的研究工具生态，到Facebook AI Research内部孵化，再到击败TensorFlow成为研究者首选，PyTorch凭借对研究者的友好设计、活跃的社区支持以及与硬件和云平台的深度集成，最终驱动了ChatGPT和Stable Diffusion等里程碑式产品的诞生。PyTorch基金会的成立标志着其向开放治理模式的转型。
核心概念及解读
Lua Torch：PyTorch的前身，基于Lua语言的深度学习框架，拥有优秀的后端计算能力但受限于Lua生态的匮乏，最终被PyTorch取代
FAIR：Facebook AI Research的缩写，Meta旗下的基础人工智能研究实验室，是PyTorch诞生和发展的核心推动力量
Caffe2：Facebook内部面向生产环境的深度学习框架，专注于移动端部署，后与PyTorch合并形成统一的研究与生产平台
ONNX：开放神经网络交换格式，旨在实现不同深度学习框架之间的模型互操作性，是PyTorch与Caffe2合并过程中的重要中间方案
PyTorch基金会：由Nvidia、AMD、Microsoft、Amazon和Meta等共同创立的开源治理组织，确保PyTorch的长期可持续发展和社区驱动的演进方向
框架
引言 (0:02 - 0:38):
- 强调PyTorch在当前AI爆发式发展中的重要性。
- 提出如果没有PyTorch，就不会有ChatGPT和Stable Diffusion等技术。
- 引入PyTorch的起源故事。
早期AI研究环境 (0:39 - 2:56):
- 描述早期AI研究的状况：黑盒、多学科交叉、研究工具多样且分散。
- 提到当时的各种框架：Torch (Lua), Theano, Caffe。
- 强调研究框架的多样性和挑战。
Facebook AI Research (FAIR) 的成立与需求 (2:56 - 4:31):
- 介绍FAIR的成立及其在计算机视觉和移动设备AI方面的目标。
- 提到Cafe2的出现及其在移动设备上的应用。
- 强调研究与生产之间的差距。
Lua Torch的局限与TensorFlow的出现 (4:31 - 5:59):
- 描述Lua Torch的不足，尤其是在开发者体验和生态方面。
- 提到DeepMind, Twitter等公司使用Lua Torch。
- 强调Google TensorFlow的发布及其影响力。
PyTorch的诞生 (5:59 - 10:05):
- 讲述Adam Paska加入团队并开发PyTorch的故事。
- 强调将Torch的后端与前端分离。
- 决定使用Python作为前端。
- 2017年1月发布PyTorch。
PyTorch的早期成功与社区 (10:05 - 14:20):
- 强调专注于AI研究者。
- 快速响应社区反馈，赢得用户信任。
- 社区成员（如Ptbardy）的贡献。
PyTorch与Cafe2的合并 (14:20 - 18:30):
- 描述Facebook内部研究团队与生产团队的挑战。
- 提出合并PyTorch和Cafe2以实现研究与生产的统一。
- 介绍ONNX（开放神经网络交换）项目。
- 最终决定专注于PyTorch，并发布PyTorch 1.0。
PyTorch 1.0后的发展 (18:30 - 20:30):
- 各种基于PyTorch的库的出现（NLP, 计算机视觉, 强化学习）。
- 自动驾驶公司（Tesla, Cruise, Uber）采用PyTorch。
- 强调PyTorch在自动驾驶领域的应用。
硬件厂商与云服务商的支持 (20:30 - 27:34):
- AMD对PyTorch的支持与贡献。
- Google TPU对PyTorch的支持。
- 云服务商（AWS, Microsoft Azure）对PyTorch的推动作用。
- 强调云服务对初创企业的帮助。
生成式AI的崛起与PyTorch (27:34 - 29:20):
- Open AI 全面采用 PyTorch。
- GPT-3 (ChatGPT) 和 Stable Diffusion 的出现。
- 强调 PyTorch 在这些创新背后的驱动作用。
PyTorch基金会的成立 (29:20 - 31:23):
- 强调社区治理的重要性。
- 介绍PyTorch基金会的创始成员（Nvidia, AMD, Microsoft, Amazon, Meta）。
- 强调PyTorch基金会的长期可持续性。
PyTorch的未来 (31:23 - 35:36):
- 强调PyTorch的实用主义和适应性。
- 预测AI的持续增长以及PyTorch在其中的作用。
- 强调PyTorch作为软件堆栈中的标准部分。
- 预测下一个重大突破将基于PyTorch。
要点：
- PyTorch是当前AI领域最重要的框架之一，对AI的发展起到了关键作用。
- PyTorch的成功源于其对研究者的友好性、强大的社区支持以及与硬件和云平台的紧密集成。
- PyTorch的诞生与发展是一个不断迭代、适应需求的过程。
- PyTorch基金会的成立标志着其向更加开放、社区驱动的模式转变。
- PyTorch将继续在AI领域发挥重要作用，并适应未来的发展趋势。
- 开放源代码的长期价值在于持续的迭代与创新.
- AI 发展迅速, PyTorch 是一个通用工具，可以表达强大的数学思想，对人工智能行业很重要。
视频脚本
好的，下面是根据您提供的框架和要点，结合脚本上下文，重新整理并完整翻译的纪录片脚本（简体中文）：
引言 (0:02 - 0:38):
（背景音乐）
旁白: 这些问题很有趣。显然，我们正处于整个人工智能领域爆炸式发展的时期。如果PyTorch没有出现，今天的人工智能发展水平将会大大落后。如果没有PyTorch，今天就不会有ChatGPT，也不会有Stable Diffusion。如果我们回到过去，在做这个决定的时候，我们并不知道这一切，我们也不能百分之百确定。
早期AI研究环境 (0:39 - 2:56):
（背景音乐）
旁白: 人工智能在某种程度上就像一个黑盒子，人们必须知道如何编写程序、编译程序，然后运行它。所以对于许多跨学科领域的研究人员来说，这并不容易。当时有很多种不同的方法，所以有很多实验性的研究。
受访者A: 当时有很多创新，但都是零散的。你知道，大公司都在进行独立的模型开发，很多都是孤立在各个组织或研究机构内部的。
受访者B: 当时大概有15到20种工具都在试图推动研究，人工智能研究有很多方向。
旁白: 软件生态系统是碎片化的，非常碎片化。当然，有基于Lua的Torch，还有蒙特利尔大学的Theano，以及加州大学伯克利分校的Caffe。它们跨越了从一个有趣的工具到真正有用的工具的门槛。人们开始思考，是否有非常好的工具来运行这些方法，以及是否有更多新的算法出现。
受访者C: 大约在2015年，出现了许多不同的框架。我们当时面临的挑战是如何支持所有这些框架。我们从客户那里清楚地了解到，机器学习是一个非常重要的领域，即使在当时也是如此。挑战在于如何以一种集中的方式提供支持。
旁白: 这很令人兴奋，因为它既混乱又预算充足。那时的情况是，我们还没有达成共识，到处都是资金，到处都是资源。我想用一个词来形容，那就是…
（背景音乐）
旁白: 混乱。
Facebook AI Research (FAIR) 的成立与需求 (2:56 - 4:31):
旁白: Facebook成立了一个基础人工智能研究实验室，名为Facebook AI Research。后来Facebook更名为Meta，它就变成了Fundamental AI Research。这是一个独特的机会，可以创建一个既有雄心勃勃的长期科学目标，又能对世界产生重大影响的组织。FAIR试图在计算机视觉领域取得进展。如果你想让计算机像你一样理解一切事物，如果你说这是桌子，这是椅子，这是狗，这是某人的感觉，你希望计算机能够掌握所有这些语义。
受访者D: Facebook当时也正在经历向移动优先的转型，对吧？它最初是一个桌面应用程序，很多早期的人工智能功能都需要在移动设备上实现。如何将这些人工智能功能适配到移动设备上是一个大问题。这就是Cafe2的起源，它的出发点是专注于让这些人工智能功能在手机上原生运行。它实际上被部署在Facebook的整个产品线中，包括新闻推送、广告、搜索等，以及计算机视觉和自然语言处理。它也被部署到了手机上，我们有一个可爱的名字叫Cafe2go，这使得它可以被部署到大约10亿部手机上。
（背景音乐）
旁白: 尽管它并不是研究或探索新想法的最佳框架，但它确实成为了一个每个人都开始使用的项目，甚至开始大规模使用。
受访者E: 我们拥有世界一流的研究人员，他们在不断突破极限，所以他们需要最好的工具，但这里存在巨大的差距，但我们首先需要…在2015年…
Lua Torch的局限与TensorFlow的出现 (4:31 - 5:59):
受访者E (继续): …我当时领导着Lua Torch团队。那时，我正在帮助FAIR内部和外部的人，包括DeepMind、Twitter、Facebook以及其他一些学术和工业实验室，他们都在使用Lua Torch。但是，如果你看看开发者体验或者真正可用的工具，我的意思是，没有一个是非常好的。我认为可能最好的体验是Torch，但没有人真正喜欢使用Lua。它周围没有一个生态系统或社区。
受访者F: 人工智能研究人员的需求已经超出了Lua和Torch的承受范围，所以需要有人去构建一个新工具。2015年12月，TensorFlow问世了。它来自谷歌，预算高，营销力度大，一直到CEO，他们就这样…你知道，用新闻占领了世界。
（背景音乐）
旁白: TensorFlow与其他所有工具的不同之处在于，所有其他工具都是由爱好者、由研究人员作为他们工作的方式而发起的，而TensorFlow则是由谷歌的工程师从头开始构建的。人们意识到TensorFlow具有一定的可信度和一定的完善度，所有其他工具要么需要迎头赶上，要么就会被淘汰。
PyTorch的诞生 (5:59 - 10:05):
旁白: Facebook认为他们需要人工智能来取得更快的进展，以便Facebook自身更好地扩展。Facebook看到了人工智能应用的巨大需求，无论是在云端的搜索、广告、新闻推送，还是在向用户推荐多媒体内容方面的兴趣，比如对猫的兴趣等等。因此，对高性能、产品就绪框架的需求实际上是最大的需求之一。我想那是我加入Facebook的时候，最早的任务之一就是构建一个经过实战检验的框架，能够处理每天数千亿次的预测，以及各种不同的部署环境。
受访者E: 2016年5月，Lua Torch社区的一位成员Adam Paska，他当时是华沙大学的一年级本科生，他给我发消息说：“嘿，我知道现在实习期有点晚了，但我找不到实习机会，你们有空缺吗？”我说：“有啊，你为什么不来构建下一代的Torch呢？”
Adam Paska: 我对机器学习感到很兴奋，我只是觉得这是一个非常酷的领域，我想了解更多。我四处寻找，看到Torch 7，人们都很兴奋。其中一个大型工业实验室正在使用它，在本例中是FAIR。你知道，我用它来学习机器学习，但我想随着时间的推移，我自然而然地意识到，实际上我对构建库本身更感兴趣，而不是真正使用它。
受访者E: 从2015年12月到2016年4月，我们将Lua Torch的后端（即所有在GPU和CPU上运行科学计算代码的软件）与前端（即你如何表达你的想法）分离开来。我们甚至还没有考虑过我们想怎么做，但我们至少觉得，好吧，你知道，让我们清理一下后端。我们基本上开始采用那些数学函数的实现，这些函数都是用较低级的语言，比如C和C++编写的，然后将它们与将它们暴露给Lua的绑定分离开来，这基本上是Torch 7的一半。当分离完成后，当我们有了那些可以链接到任何其他语言的库时，问题就变成了除了Lua之外，我们应该选择哪种语言。你知道，这是一个很自然的问题，所有其他的库都已经是用Python编写的，人们对它很满意，也很喜欢它。所以，你知道，我们觉得这是一个相当自然的下一步，尝试将我们现在拥有的东西（它不仅仅在Lua中工作）绑定到Python中。所以我开始阅读cpython文档，你知道，他们实际上有很好的文档，说明如何暴露新类型，如何暴露C函数等等。所以，你知道，我只是慢慢地从头开始构建原型。
（背景音乐）
旁白: 2017年1月，我们发布了它。我想说的一件事是，我们知道我们是一个小团队，我们试图非常专注于我们了解的市场。我们说，我们只关注人工智能研究人员，那是我们最了解的人，那是我们服务得最好的人。我们将从那里开始，看看会发生什么。
PyTorch的早期成功与社区 (10:05 - 14:20):
旁白: 让这一切变得值得的是，有几个人给了我们反馈，说我们让他们能够完成伟大的工作。
（背景音乐）
受访者G (Jeremy Howard): 我和我的妻子创办了fast.ai，我们的目标是教那些没有博士学位的人如何利用神经网络和深度学习。所以我们想，好吧，我们能不能创建一个深度学习入门课程？然后我真的…撞墙了。我当时正在尝试实现循环神经网络，这是当时自然语言处理的基础。你知道，我有一个算法要实现，但我就是不够聪明，做不到。我无法完成它，我无法让它工作。这真是难以置信的时机，因为…就在那一周，我有一周的时间来准备课程，我两天后就卡住了，然后出现了一个新库的公告，叫做PyTorch。
旁白: PyTorch的关键在于它真正利用、参与并突出了Python编程语言。你写一行正常的Python代码，它会立即运行，并给你结果。这一切都说得通了。所以，毫不夸张地说，我学习了PyTorch，实现了一个新的研究想法，并在剩下的5天里写了关于它的课程。这对我来说真的是一次变革。
受访者H: 我们当时正在做的是…我们有这些猴子，当猴子去世后，斯坦福大学的一个实验室会切除视网膜，放入电极，然后我们会给它展示图像。视网膜中的神经元会对信号做出反应，所以你最终会得到一堆尖峰，基本上就是这样，对吧？所以当神经元看到光或没有看到光时，你会得到0和1。所以我们实际上是在做解码。我们有信号，只是一堆来自神经元的0和1，然后我们能不能根据这些信号弄清楚它是什么图像？所以我们使用了一种叫做GAN（生成式自动编码器）的东西，我认为现在它是OG生成式模型，对吧？因为你给它一堆输入，然后它给你一张图像。现在的图像非常模糊，不像今天这样。所以我们当时正在使用深度学习来做这件事。所以当我尝试这些不同的想法时，TensorFlow出现了，我切换了一切，然后用TensorFlow重写了一切，因为我想在多个GPU上运行。TensorFlow说：“我们希望你这样写代码，你知道，而Python实际上不是这样的。所以我们会…改造Python，直到它符合我们认为你应该如何编写神经网络的方式。”否则，Soumith和Adam用PyTorch做的是，他们说：“好吧，这是Python，我们如何真正使用这种语言并将它与深度学习的需求联系起来？”这真的…
旁白: 令人愉快。
受访者H (继续): PyTorch出现了，然后我想，哦，这对研究人员来说更有意义。更容易查看代码并将其映射到数学上，我可以在七行代码中看到我们在其他50行代码中做了什么。所以这就像白天和黑夜一样。所以我们花了几 天时间，然后我们就上了PyTorch的列车。
旁白: 在我们发布后的最初几个月里，我们真正放大了社区。这就是我们主要做的事情。所以如果用户发现有问题，我们会在几小时内提交一个PR来修复它。仅仅是如此快的周转时间，就赢得了用户的信任。
受访者E: 有一个叫Ptbardy的人，他是德国的研究员，他开始进入论坛，和我们一起回答问题。我想他现在已经回答了一个荒谬的数字，他在论坛上回答了1万到2万个问题。
旁白: 人们会说：“哦，你在做研究，那么你肯定遇到过这个人。”这就是他的头像。2017年，我想我们每天工作16个小时以上，我们说我们很高兴，我们能够做到这一点。
PyTorch与Cafe2的合并 (14:20 - 18:30):
旁白: 2017年底，一位新的人工智能副总裁来到了Facebook。这个人是Jerome Pesenti。他看到了这个问题，他看到了Facebook内部的一个明显问题。他说：“看，我的研究团队做得很好，我的生产团队做得很好，但研究和生产之间没有太多的转移。这是为什么呢？”当时的情况是，我们有一个很好的系统在产品端运行，那就是Cafe2，我们还有一个很好的系统在研究端运行，那就是早期版本的PyTorch。现在的挑战是，我们没有办法尽可能容易地在这两个世界之间移动。所以我们想：“好吧，我们如何真正解决这个问题？”我们做的第一件事是构建一种中间语言，让我们能够更容易地将模型从一个系统迁移到另一个系统。我们有一个内部项目叫做Toffee IR，Toffee基本上就是Torch和Cafe，对吧？这个项目运行了一段时间，在某个时候，我们觉得它非常有用，所以我们要将它开源，并与业界一起推动它。所以微软、AWS、英伟达和许多其他合作伙伴基本上…聚集在一起，然后将项目重命名为ONNX（开放神经网络交换），然后我们将其开源为一个通用标准。
旁白: 到2018年中期，业内已经很明显，只有两个框架会占据大部分市场，并且正在发生快速整合。这导致我们想：“好吧，如果只有两个框架，为什么还要ONNX呢？”所以我们在Facebook所做的就是决定合并PyTorch和Cafe2，以便更好地进行研究和生产。所以我们开始了PyTorch 1.0的工作，基本上是尝试将前端、中间抽象和后端结合在一起，这样我们就可以用一个统一的技术栈来端到端地运行它。我们称之为拉链方法。这里的想法是，让我们采用PyTorch非常易用的前端和Cafe2的高性能后端，并将它们拉链式地结合在一起。它应该能完美地工作。但我们尝试了几个月，然后我们意识到，哦，API完全不一致。它们的设计初衷就不是为了相互操作。然后我们采取了不同的方法，我们百分之百地专注于PyTorch。我们只是说，我们保留PyTorch的核心代码库，然后让它在生产环境中具有高性能。我们不知道这是否会奏效，但我们要尝试。
受访者D: PyTorch和Cafe2的合并是关于文化的融合，相互理解，相互尊重。想象一下，如果有一个喜欢灵活性的研究团队和一个喜欢性能的产品团队走到一起，很难弄清楚我们实际上想要实现什么。
旁白: 那真是一个混乱的时刻。我不得不说，我们花了整整两年的时间与产品团队合作，将PyTorch发展成为完全生产就绪的框架。最终的产品我们称之为PyTorch 1.0。
（背景音乐）
PyTorch 1.0后的发展 (18:30 - 20:30):
受访者E: 我想，你知道，当PyTorch 1.0发布后，我们开始看到各种库在PyTorch之上爆发，有用于自然语言处理、计算机视觉、强化学习的库。整个世界都开始在这个稳定的基础上构建。之后我们开始看到的一件事真的…对我们PyTorch团队来说，这很酷，但也几乎令人望而生畏，那就是一堆自动驾驶汽车公司，包括特斯拉、Cruise和Uber，开始使用PyTorch进行自动驾驶。
受访者I: 我实际上在Uber工作，我们当时正在开发自动驾驶汽车。这大概是在2017年左右。在那里，我负责构建Uber的机器学习平台。我们有多个研究团队在构建自动驾驶汽车模型。我第一次听说PyTorch是其中一个研究人员想尝试这个新框架，看看它能有多快。有趣的是，我们看到那个团队的迭代速度明显快于其他团队。所以我们实际上可以更快地移动，仅仅是凭借迭代速度。那是我第一次听说PyTorch，然后我开始涉足。
受访者E: 对我来说，这是我最喜欢的用例之一，因为它的影响很容易理解。我认为没有什么比你坐在自动驾驶汽车的后座上，它载着你四处行驶更真实的了，你会想：“哇，这就是…我开发的工具，我帮助建立的社区实际上正在为这辆车提供动力。”这让我有了一种归属感。这既非常酷，又非常令人望而生畏，让我们对我们编写的代码感到非常负责，并确保其中没有错误。但社区的兴趣…热情…高涨。我们唯一试图确保的是，我们从足够多样化的人群中获取信号，这样就不会只有一个群体的人来定义PyTorch应该是什么。
硬件厂商与云服务商的支持 (20:30 - 27:34):
受访者J: 至少在当时，AMD本身并不是机器学习的重要用户。我们所做的是响应客户告诉我们的需求，他们需要这些来完成他们的工作。大约在PyTorch推出的时候，它开始出现在对话中，最初并不是作为首选框架，但很多客户说这是他们正在研究的有趣的东西。很快，它就从“这是有趣的东西”变成了“这是我们正在使用的东西，我们喜欢”，在很多情况下，“这是我们现在首选的机器学习框架”。所以很明显，我们从不同规模、不同行业的许多不同客户那里听到了这一点，这表明这将是一件重要的事情。
旁白: 软件工具需要与它运行的硬件紧密配合，并在该硬件上进一步优化自身。AMD可以看到这将是一个重要的项目，我们开始着手采用PyTorch，并对其进行调整，使其能够利用特别是我们的GPU产品的硬件加速能力。我们最初是通过获取PyTorch项目的一个分支，进行我们自己的更改并向我们自己证明它们是可行的，来做到这一点的。在那之后的下一步是将这些更改贡献回PyTorch主项目，以便更广泛的社区可以使用它们。在几年的时间里，我们与PyTorch社区合作，将自己确立为一个强大、可靠的解决方案，不会给PyTorch抹黑，而是会增加PyTorch的价值主张。
受访者K: 即使是谷歌，在他们的TPU上（这有点像他们的圣杯或他们的硬件皇冠上的明珠），他们也说：“好吧，我们实际上应该开始考虑支持PyTorch，因为我们看到了如此多的需求。”谷歌正在构建TPU，他们从2014、2015年就开始拥有TPU。谷歌看到了客户希望运行PyTorch工作负载。谷歌、Salesforce和Meta之间有一个巨大的项目，关于如何为PyTorch启用TPU，但也证明了你可以将PyTorch从研究带到生产，不仅可以在GPU上运行（这在以前是重点），还可以在其他硬件上运行，比如TPU。那是一个非常重要的时刻。所以我想这真正帮助的是…开始真正为社区提供选择，并真正为他们提供一种在不同类型的平台上运行的方式。所以我想目标是真正将PyTorch带到每一个可能的地方，无论是在边缘设备、移动设备还是在云端。真的希望让它对开发者来说真正易于访问，无论他们是在训练小型模型还是大型模型，或者他们正试图在他们的应用程序中部署，他们都需要硬件支持，这就是我们的硬件社区真正参与进来并使之成为可能的地方。
（背景音乐）
受访者G: 如果你想运行一个大型的人工智能实验，你必须在100个GPU或1000个GPU上运行它。所以你想在有人知道如何处理这么多电力和热量的地方运行它。所以云提供商显然…在加速整体计算方面发挥了重要作用。
旁白: 随着PyTorch的发展和势头的增强，许多微软内部团队都有开发者和模型正在使用或已经开始使用PyTorch。所以这种情况正在增长。当时它所没有的是一个基础设施，这让我们看到了通过Azure启用PyTorch并将PyTorch打造成Azure上的一等公民的潜力，这样越来越多的创新就可以发生，不仅在微软内部，还可以在使用Azure的客户、开发者和企业中发生。
受访者L: AWS与Meta和PyTorch的合作发生在我在AWS的第一年，也就是2018、2019年。AWS的AIML战略的一个关键部分是帮助尽可能多的人访问它以进行他们的工作。当时，PyTorch的性能或生产就绪程度不如其他一些ML框架。但值得注意的是，我们看到研究人员开始采用PyTorch，我们认为这是未来客户采用的早期领先指标。
旁白: 微软在很多服务和应用程序中都使用了PyTorch，无论是Bing、认知服务还是Office，它背后的ML模型都是用PyTorch构建的。微软确保PyTorch的体验和发展不断增长，这是理所当然的。
受访者E: 我们的云合作伙伴在扩展PyTorch方面发挥了重要作用，这是肯定的。他们充当了…你知道，一个分销渠道，他们充当了项目的贡献者，他们一直是硬件和平台的推动者，他们一直是推广者和市场推广者，实际上是围绕生态系统的一切。你知道，他们帮助…提升和加速。我想说，初创企业必须将注意力集中在他们的核心价值上，而大多数利用人工智能的初创企业的核心价值并不在于购买服务器、安装服务器、配置服务器、维护服务器。这百分之百是一种分心。所以云提供商，我认为，在使这些初创企业能够专注于他们想要为客户解决的实际问题方面发挥了关键作用。
（背景音乐）
生成式AI的崛起与PyTorch (27:34 - 29:20):
旁白: 在那个时候，我们有大合作伙伴全面投入，可能我们最著名的合作伙伴之一就是Open AI。你知道，他们是PyTorch的重要用户，也是PyTorch的重要贡献者。
受访者M: 世界知道的叫做生成式人工智能的里程碑式的时刻，一个是GPT-3，最终变成了ChatGPT，另一个是Stable Diffusion。无论你现在听到什么，对吧？无论是OpenAI的模型，还是GPT，所有你听到的那些花哨的人工智能创新，PyTorch都在背后驱动着它。能够以这种速度发生这种情况的唯一方式是某种程度的开放性，对吧？这既包括开源软件方面，你需要开源的工具，你可以构建一些东西，然后其他没有直接与你合作的人可以继续使用它。为此，你需要像PyTorch这样的工具。坦率地说，我认为如果没有我们在所有工具中所做的一些事情，我们就不会有这样的爆炸式增长。例如，Stable Diffusion团队使用的PyTorch Lightning，这是一个社区项目，它是在PyTorch之上构建的，不是由我们的团队构建的，而是由社区构建的。所以当你开始创造这种创新时，它会创造其他的项目，然后它会创造工具和东西，让人们能够以Stability AI或Open AI的方式进行创新。你回头看看，你会想：“哇，真不敢相信这发生了，我不敢相信这发生在我们构建的东西上。”
PyTorch基金会的成立 (29:20 - 31:23):
旁白: 虽然伟大的创新正在发生，但我们确实希望确保我们仍然致力于确保PyTorch不仅仅是一个由少数人驱动的机制或框架。所以目标更像是构建这个平台，还有很多其他的公司建立在PyTorch之上，并有动力让PyTorch变得更好。我们希望能够实现并民主化，或者说让它变得更大。
受访者N: 我的背景是多利益相关者社区治理的开源。Meta从一开始就非常专注于建立这个社区，并使它成为一个开放和欢迎的地方，让每个人都可以前来贡献。我们看到，如果我们将PyTorch转移到一个真正由社区治理的项目中，它将会发展得更大，并保持自身的稳健性，而不会陷入单一实体的病态。
旁白: 为了长期可持续性，任何创建开源项目的人最终都必须放弃这种控制权。我们在2022年真正建立了它，我们的创始成员是英伟达、AMD、微软、亚马逊，当然还有Meta。董事会成员…他们之所以被选中，我认为真的是因为…我会说他们之前所做的贡献。我认为PyTorch基金会的创建实际上是Meta在这个方向上的巅峰之作，而且进展非常顺利。这是一个充满活力的群体，也是一个不断壮大的群体，现在PyTorch基金会正在进行许多有趣的工作，以帮助它发展，并成为一个可持续和长期的开源项目。
PyTorch的未来 (31:23 - 35:36):
旁白: PyTorch正在努力确保它跟上人工智能行业的所有需求。PyTorch代表着实用主义，它将努力确保它以人工智能行业需要的速度发展。现在，我们每天在50个数据中心运行超过5万亿次的推理。我相信这个数字…每天都在增加。我们环顾四周，然后说：“是的，那里有我们，那里有我们。”看到这一切真是太有趣了。我仍然认为我们仍然…刚刚开始，还有未来的事情…在设备端计算方面，这将继续发展。但除此之外，还有更新的ML体验，比如LLM，我们如何更快地微调事物，但同时也要…更加持久。我认为我们都看到世界…在未来更加多样化，无论是在设备上，还是环境计算，还是可穿戴设备。所以我认为…PyTorch将成为MTH的中心，将社区聚集在一起。我们将看到的是越来越多的应用程序是使用这些强大的LLM构建的，这些LLM是可用的。天空才是极限，人们可以有一个想法，他们不受技术或硬件的限制，他们可以应用他们的想法来构建解决方案，使他们的生活更丰富、更有效率。
受访者J: 当你对这个问题应用更多的硬件或更多的迭代时，同样的基本技术会继续产生越来越好的结果。随着研究人员和工业客户采用这些特别大的语言模型（正如我们今天所讨论的），并以甚至按照计算行业的标准来看都是前所未有的方式扩展它们，对越来越多的计算能力有着几乎无法满足的需求。
受访者O: 基础开源项目的真正价值在于长期价值。基础开源项目，无论是Linux、NumPy、Jupyter还是PyTorch，更深层次的创新发生在几十年的长期内。在这些更长的时间线上发生的事情是，其他人会在这些开源项目之上构建层。随着个人和组织采用开源项目，他们能够做一些如果没有这些开源项目之上的创新层就永远无法做到的事情。
受访者P: 我个人的感觉是，人工智能将会变得越来越大，远远超过框架，然后PyTorch将成为其中的一个组成部分。人们将花越来越少的时间去担心它，但人们将越来越依赖它，因为它已经成为软件堆栈中的一个标准部分。然后我认为下一个突破肯定会出现在PyTorch上。
受访者E: 我想，你知道，我们有GPT-3，我们有GPT-4，我们有扩散模型。下一个突破将会出现在PyTorch上。
（背景音乐）
受访者Q: 我感到很自豪，PyTorch是整个旅程中不可或缺的一部分，能够感受到所有这些创新和大规模应用。
（背景音乐）
旁白: 人工智能行业在某个时候…就像所有行业一样…将会达到上限。在那之前，它正处于一个快速发展的曲线上。但到目前为止，PyTorch是一个相当通用的工具，你可以用它来表达相当强大的数学思想，这对人工智能行业来说很重要。