+ 我要发布
我发布的 我的标签 发现
浏览器扩展
斑点象@Edge

图灵奖获得者、Meta 首席科学家 Yann LeCun(杨立昆)称 Sora 的生成式技术路线注定失败

主持人:去年(2023 年)Meta 推出了开源大模型 Llama2,杨教授可以从安全和创新的角度谈谈为什么开源是 AI 未来发展的方向吗? 杨立昆:未来,我们与数字世界的所有互动都将借助人工智能系统完成。目前已经存在人工智能代替传统搜索引擎帮助人们工作的情况,我相信未来人工智能会成为连接人类与数字世界的桥梁。若想要人工智能深入参与人类生活,就需要各种各样的人工智能系统,用以满足不同语言、文化、价值体系的需求。显然,这不是某一家公司或某个国家能够单独完成的。从本质上讲,人工智能会发展成基础设施类工具,而互联网的发展历程已经证明,任何基础设施类工具最终都会开源,对于这类工具来说,开源更安全、更可定制,能在其之上创建一个生态系统。我们目前整个通信系统的基础设施例如互联网、手机系统、通信软件全部都是开源的,这不是被有意设计,而是受市场推动的。 在过去的几个月中,Llama2 开源的范围更大了,很多企业都在使用 Llama2 训练和定制他们在垂直领域的 AI 应用,使用他们自己的语言和文化训练 AI 模型。我们需要自由且多样化的 AI 平台,就像我们需要丰富多样的社交媒体一样。 主持人:对于你和 Meta 而言,是否开源肯定牵扯到公司的利益问题,你们围绕 AI 大模型是否开源有过争论吗?在推动大模型开源时是否遇到过阻力? 杨立昆:围绕是否开源以及如何能做得更好,我们内部讨论了几个月。为了测试如何做会更好,我们在 2023 年初发布了第一版 Llama,那个时候还不是真正的开源,用户必须申请才能获得权限,申请邮件中需要写明身份并说明打算用 Llama 做什么。后来我们收到了来自初创公司、大型企业、联合国非政府组织等的各种申请,想将 Llama 作商用,而不是单纯用来科学研究。就像 20 世纪 90 年代互联网大爆发时引发的热潮,点燃了大众使用 AI、研究 AI 的热情。当今世界只有少数公司有能力训练和开发那些高功率的前沿大模型,所以这些模型更应该成为一个平台,开源供大家使用。 Meta 自创办以来,一直有开源的传统。过去 10 年,我们开源了大约 1000 个不同的项目。其中最受欢迎的一个叫 PyTorch(一个开源的 Python 机器学习库,基于 Torch,用于自然语言处理等应用程序),那是一个在 AI 研究和开发中被广泛使用的软件平台。不久前我听 Sam Altman(山姆·阿尔特曼)的发言,ChatGPT 也是用 PyTorch 搭建的。不过后来它发展得越来越大,就独立出去给专门的公司管理了。 主持人:除了开源,是否还会有一些更基础、更简单的方法来保障 AI 发展的安全性? 杨立昆:从过往的经验看,开源软件确实更安全,因为它更受关注。现在全世界都在使用 Linux,全球的网络服务器、云服务甚至包括汽车上的微控器上都在运行 Linux 系统。Linux 掌握着世界,就是因为它是开源的,你可以把它应用在任何你想要的地方,随时监督它,让它变得更安全。同样,AI 也是这样,开源后会有更多眼睛盯着它,也会有更多方法来保证它的安全性。 现阶段反对开源的原因,无非是担心 AI 发展日益强大,将来产生自我意识从而掌控世界,但我认为这种状况短期内不会发生,尽管现在 AI 可以做很多事情,但要超越人类的智力和学习能力还没那么简单,还需要更多科学突破,毕竟人类对世界的理解比我们目前最强大的 AI 系统还要好得多,我们还有很长的路要走。 在实现人类智能级别的人工智能出现之前,我们需要突破的是让人工智能了解世界是如何运作的,现在的人工智能还无法做到这一点,虽然它们可以记录各种事实,但并没有持续记忆。至少 Llama 还不行,AI 可以推理、计划,这些是智能行为的基本特征,但目前的大模型还达不到我们理想中的水平。 原因很简单,你可以了解一下我们用于训练 Llama 的数据量,大到令人惊讶。通常是 10 万亿个 token(语言模型中用来表示最小文本单元),一个 token 相当于一个单词的话就相当于 10 万亿个单词,对人类来说,这意味着要用 15 万年~20 万年的时间来读完一本书。 所以虽然人工智能系统非常聪明,能够消化如此庞大的知识,但当你跟心理学家交流时他们会告诉你一个例子:一个 4 岁的孩子,总计醒着的时间是 16000 小时,当我们对通过视觉进入视觉皮层的信息量做一个估计时,发现大约每秒有 20 兆字节的信息通过光学神经。一个孩子看到的信息数据量是我们最先进的人工智能模型训练数据量的 50 倍,这表明,如果仅依靠文本来训练人工智能系统,将永远无法达到人类的智能水平。文本是一种非常贫瘠的信息载体,只能反映人类知识的一小部分,人类的大部分知识来自我们与现实世界和其他个体之间的互动,这些知识并非来自文本。 因此我们不断遇到机器人学家早已经知道的悖论:莫拉维克悖论——人类所独有的高阶智慧能力只需要非常少的计算能力,例如推理,但是无意识的技能和直觉却需要极大的运算能力。我们认为理所当然的事情,例如抓住掉落的物体,我们并不认为这是一项多么智能的任务,这对于人类来说太简单了,但对当下的人工智能或机器人来说却非常复杂。所以我们的大模型可以通过律师资格考试,但还不能实现自动驾驶汽车,我们甚至没有可以清理餐桌、使用洗碗机、打扫房子和修剪草坪的全能家务机器人。这些都是一个 10 岁的孩子可以一次性学会的任务,但对机器人来说并不简单。我们在人工智能取得真正进展之前还需要一些科学上的突破。 主持人:你认为这个突破将会在哪里出现? 杨立昆:应该是科学研究方面的突破,而非来自现有的架构和数据量的扩展。因为随着训练 Llama 的数据量增加,性能会趋于饱和,我们已经使用了互联网上所有的公共数据,没办法拥有更多,就像训练的大模型参加法学考试一样,只要通过就可以,考得再高也没有太大意义,我们需要其他维度的突破,这就要依靠科学研究,而不是追求数据量的增长。4 岁孩子醒着的 16000 小时学到的东西,用 30 分钟的视频就能呈现完,我们有更多视频资源,却无法教会人工智能做那些人类本能就会做的事情。现阶段没有这种技术能让 AI 像婴儿观察世界一样来学习。我们正在研究这个问题,希望得到突破。 主持人:你与世界上很多商业领袖、政府代表交流过生成式 AI 的安全问题,想知道大家对 AI 的看法是一个怎样的变化过程,对于 AI 的担忧主要来自哪里? 杨立昆:有些人对技术的潜力抱有非常积极的看法,就像我们刚刚听到的山姆·阿尔特曼的观点,当然,如果我们不认为这对人类有益就不会从事这方面的研究工作。 我认为人工智能将从本质上增强人类的整体智慧,未来,AI 不会掌控世界,而是会作为我们的工作助手,帮助人类更好地工作。我们会为它设定目标,因为如果 AI 自己设定目标可能会带来危险,由人类来定这个目标就可以有效避免绝大多数不可控的因素。使用 AI 就像是有一群非常聪明的人在为你工作,在场的许多领导者应该很清楚这个概念,一般我们都需要与比我们聪明的人一起工作。 同时越来越多的人意识到,人工智能也许会带来新的文艺复兴,就像 15 世纪印刷机的出现一样,它真正促进了知识的传播,现在的 AI 发展也会带来类似的效果。 我在过去的 6 个月中观察到,一开始有很多关于 AI 是否继续快速发展的讨论,但在过去 2 个月中这些声音逐渐变小了,现在人们更关心的是我们如何正确发展 AI。这与 20 世纪开发的许多新技术类似,在技术诞生的最初阶段可能并不安全,但最终会被优秀的工程师和市场力量打磨得更安全可靠。就像飞机的涡轮发动机技术,经过几十年的不断改进,已经变得非常安全可靠了,人工智能也会如此。我们将从初级人工智能系统开始研究,让它们能够初步理解世界,学会规划、存储记忆和进行推理,然后会逐步提升人工智能系统的复杂程度,同时会设置安全保护措施,确保人工智能的发展处于可控状态,让它们为我们工作。 主持人:的确现在的飞机技术已经很完善了,但偶尔还是会出现事故,就像最近发生的飞机门炸开事故那样,这让大家都感到非常恐慌。人工智能是否也会出现这种情况,虽然已经很安全了,但总避免不了意外发生。我们可能会预料到发动机出现某些故障,但没人会想到飞机在空中时机舱的门会出现脱落,那么是否可以认为人工智能系统也会出现计划之外的严重事故? 杨立昆:每一项强大的技术都伴随着风险,尽管飞机发生事故的概率远小于汽车,但意外仍会发生,所有技术都是如此。所以部署 AI 的正确方法和错误方式,都需要我们在发展前进的过程中学习。就像我们在持续不断地改进驾驶汽车的安全系统一样,安全带、安全气囊、保险杠以及自动刹车系统等都是一步一步更新完善的,在汽车不断发展的过程中研究出来的安全技术。AI 的安全性也会在发展过程中不断得到完善,让 AI 变得完全可靠肯定是有一个过程的。我们不要将科幻小说中的设定带入现实生活中,引起不必要的恐慌,人类并不是注定要灭亡,这是非常荒谬的想法。 主持人:今年对于世界各地的选举来说,有了人工智能可能会带来很多问题,你觉得我们做好这方面的准备了吗? 杨立昆:这是一个真实的短期风险,其实那些问题也不是 AI 出现后才有的,制作假视频,传播假消息已经存在很长时间了,只不过 AI 技术的加入使得这些假内容的生产速度更快了,让许多人感到害怕。 目前,行业一直努力制定用于验证或标记真实内容的标准,这需要摄像头制造商、图像处理软件、供应商、社交网络等行业上下游达成 C2PA(一种开源的互联网协议。它依靠加密技术对一条内容的来源细节进行编码,这也被技术专家称为“出处”信息)协议。为真实内容加上水印,以此提醒人们哪些是真实的内容,哪些是 AI 生成的内容。相信那些想传播真实信息的人会更有动力去维护真实信息的标记,而那些只想散布虚假信息的人完全不会做维护行动,所以标记真实可信的内容会是一个很好的方法。 主持人:最后一个问题,你想给这些 AI 系统开发者哪些建议,确保他们的 AI 技术在安全的范围内发展? 杨立昆:开源模型是必要的,无论政府认为他们应该怎么做,这是必然出现的,因此我给大家的建议是不要禁止开源 AI 模型。
我的笔记