微信读书

元数据

深度学习革命

• 
• 书名： 深度学习革命
• 作者： 凯德·梅茨
• 简介： 世界范围内主要的人工智能玩家有哪些？ 哪家公司在这场脑力与毅力的角逐中脱颖而出？ 深度学习革命如何颠覆了整个人工智能领域？ 人工智能还会经历第三次寒冬吗？ 长期以来，人工智能一直被视为一种遥远的未来技术，它是一个被委托给科学界边缘的项目，甚至在历史上两次走入绝境，陷入寒冬，直到一些孤注一掷的研究人员用一场新的变革打破了宁静——深度学习革命。 近年来，让人工智能受到全世界瞩目的高调事件，基本上都是基于深度学习的。比如，AlphaGo击败了世界围棋冠军，自然语言处理催生了智能语音助手，自动驾驶、人脸识别在世界范围内得到广泛应用，AI绘画更是以假乱真、火遍全球……可以说，深度学习已经浸入了我们的日常生活，从边缘走到了舞台的中心，正蓄势待发，即将掀起一场惊人的变革。 这是一本讲述人工智能，尤其是深度学习的历史与未来的书。在这本书中，作者讲述了一群将深度学习带给全世界的企业家和科学家的故事，从谷歌、Facebook、百度等大公司的决策者讲到学术界的领军人物——“深度学习三巨头”，再讲到DeepMind、OpenAI等知名实验室的开创者。读者可以通过这些人的故事，跟随现代人工智能的发展脚步，从人工智能研究的萌芽阶段开始，穿过两次人工智能的寒冬，一直了解到当下全新的前沿进展。通过描绘人工智能的发展脉络和各大科技公司在前沿趋势方面的布局，这本书阐释了人工智能如何走到了今天，以及它在未来将如何发展。
• 出版时间 2023-01-01 00:00:00
• ISBN： 9787521747553
• 分类： 个人成长-认知思维
• 出版社： 中信出版集团

高亮划线

文前

• 📌 当你认为自己了解的几乎所有事情都不对的时候，这就是活着的最佳时机。话剧《阿卡狄亚》，第一幕，第四场

  • ⏱ 2023-10-06 20:52:13

• 📌 当我们发现了所有的奥秘，并失去了所有的意义时，我们将会在空荡荡的海边孤身一人。汤姆·斯托帕话剧《阿卡狄亚》，第二幕，第七场

  • ⏱ 2023-10-06 20:52:22

推荐序 一场影响深远的秘密竞拍——深度学习推动全球科技产业变革的“发令枪”

• 📌 纽约时报》知名科技记者凯德·梅茨(Cade Metz)生动翔实地讲述了这段历史：一群少数派学者，在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，并在很多年的时间里在黑暗中持续探索，终于推动了人工智能技术在语音识别、图像识别、自然语言理解、博弈论、生物制药、搜索、推荐和自动驾驶等诸多领域取得改变世界的突破性进展。

  • ⏱ 2023-10-07 01:47:08

• 📌 DeepMind。它当时还是一家成立仅两年的名不见经传的小型初创公司，竟然要出价收购“深度学习之父”杰夫·辛顿的公司，可见当年DeepMind的首席执行官戴密斯·哈萨比斯(Demis Hassabis)有何其远大的雄心和抱负，难怪后来DeepMind推出了震惊世界的AlphaGo（阿尔法围棋）。最近，DeepMind又在《自然》杂志上发表论文，他们用强化学习技术发现了50年来最快的矩阵乘法算法。

  • ⏱ 2023-10-07 01:50:42

• 📌 2012年10月，杰夫·辛顿和他的两名学生——亚历克斯·克里哲夫斯基(Alex Krizhevsky)和伊利亚·萨特斯基弗(Ilya Sutskever)，在ImageNet图像识别比赛上拿了冠军，并且发表论文介绍了冠军算法AlexNet。

  • ⏱ 2023-10-07 01:51:20

• 📌 大概11月的时候，他告诉我，还有几家公司表示要和他合作，而且他注册了一家公司，叫DNNresearch，准备让各家竞争者以秘密竞拍的方式来做团队收购。我心里想，辛顿真是聪明，不仅会做研究，还很有生意头脑。

  • ⏱ 2023-10-07 02:36:47

• 📌 一年一度的机器学习顶级盛会NIPS（Neural Information Processing Systems，神经信息处理系统大会）

  • ⏱ 2023-10-07 01:52:59

• 📌 地平线创业的想法也来自我在IDL工作期间的一个观察：GPU运行深度学习算法的效率是CPU（中央处理器）的几十倍，但是GPU本来是为图形渲染设计的，所以，用GPU做深度学习是无心插柳的结果。那么，我进一步想，如果专门为深度学习设计加速芯片，会不会效率更高？答案是显而易见的。于是，地平线开辟了中国深度学习芯片创业的赛道。

  • ⏱ 2023-10-07 01:53:58

• 📌 经历过那场竞拍的大部分人到今天都在努力奋斗着，没有人懈怠或躺在功劳簿上

  • ⏱ 2023-10-07 02:36:47

• 📌 任何伟大的成就，其可贵之处都在于人的精神。

  • ⏱ 2023-10-07 01:55:40

前言 杰夫·辛顿：无法坐下的人

• 📌 2012年12月，那里举办了一场名为NIPS的计算机科学家年度聚会。NIPS的全称是“神经信息处理系统”，尽管从名称上看是要深入研究计算机的未来，但NIPS其实是一个专注于人工智能的会议 ^3300042833-6-1425-1518
  • ⏱ 2023-10-07 01:57:18

第一部分 一种新型的机器：感知机 PART ONE A NEW KIND OF MACHINE

• 📌 感知机：最早的神经网络之一

  • ⏱ 2023-10-07 02:06:23

• 📌 感知机查看每个物体并试图识别时，它会得到一些正确的结果，也会得到一些错误的结果。但它可以从错误中吸取教训，有条不紊地调整每项数学计算，直到错误少之又少。就像大脑中的一个神经元一样，每次计算本身几乎没有意义，它只是一个更大的算法的输入项。

  • ⏱ 2023-10-07 02:09:01

• 📌 1966年，几十名研究人员前往波多黎各，聚集在圣胡安的希尔顿酒店。他们聚在一起讨论当时被称为“模式识别”的技术的最新进展，这项技术可以识别图像中的图形和其他数据。罗森布拉特将感知机视为大脑的模型，而其他人将它视为模式识别的一种手段

  • ⏱ 2023-10-07 02:13:22

• 📌 感知机无法处理数学家所谓的“异或”问题，这是一个深奥的概念，有着更大的含义。当在纸板上展示两个点时，感知机可以告诉你两个点是否都是黑色的，也可以告诉你它们是否都是白色的，但它无法回答一个简单的问题：“它们是两种不同的颜色吗？

  • ⏱ 2023-10-07 02:36:47

• 📌 在明斯基的带领下，大多数研究人员接受了所谓的“符号人工智能”的概念。弗兰克·罗森布拉特的目标是打造一个能够像大脑一样自主学习的系统。在后来的几年里，科学家称之为“连接主义”，因为像大脑一样，它依赖于大量相互关联的计算。

  • ⏱ 2023-10-07 02:15:54

• 📌 通过分析数据，神经网络可以自主学习，但符号人工智能做不到。符号人工智能是按照人类工程师制定的非常特殊的指令运行的，这些离散的规则定义了在可能遇到的每种情况下，机器应该做的所有事情。他们称之为符号人工智能，是因为这些指令向机器展示了如何对特定的符号集合（如数字和字母）执行特定的操作。

  • ⏱ 2023-10-07 02:16:11

02 辛顿与人工智能的第一次寒冬

• 📌 杰夫·辛顿出生于第二次世界大战刚结束时的英国温布尔登。他是19世纪英国数学家和哲学家乔治·布尔(George Boole)和19世纪书写美国历史的外科医生詹姆斯·辛顿(James Hinton)的玄孙，前者提出的“布尔逻辑”为每一台现代计算机提供了数学基础。他的曾祖父是数学家兼奇幻作家查尔斯·霍华德·辛顿(Charles Howard Hinton)，他提出的“第四维度”的概念，包括他所谓的“宇宙魔方”，贯穿了随后130年的流行科幻小说，并在21世纪的第一个十年的漫威超级英雄电影中达到了流行文化的顶峰。他的叔祖父塞巴斯蒂安·辛顿(Sebastian Hinton)发明了攀爬架。他的堂姐、核物理学家琼安·辛顿(Joan Hinton)是曼哈顿计划中为数不多的女性成员之一。在伦敦和后来的布里斯托，伴随他一起长大的是三个兄弟姐妹、一只猫鼬、十几只中国龟，还有生活在车库后面土坑里的两条毒蛇。他的父亲是英国皇家学会会员、昆虫学家霍华德·埃佛勒斯·辛顿(Howard Everest Hinton)，他对野生动物的兴趣超越了昆虫的范畴。和他的父亲一样，他的中间名也源于另一位亲戚乔治·埃佛勒斯爵士(Sir George Everest)，一位印度的测绘总长，其名字取自世界最高的山峰。大家都期望有一天，杰夫·辛顿会跟随父亲的脚步进入学术界，尽管不太清楚他将来会研究什么。

  • ⏱ 2023-10-07 02:20:07

• 📌 感知机是一个单层网络，这意味着在网络接收的东西（印在纸板上方格内的大写字母的图像）和输出的东西（它在图像中找到的A）之间只有一层神经元

  • ⏱ 2023-10-07 02:25:06

• 📌 罗森布拉特认为，如果研究人员能够建立一个多层的网络，每一层都向下一层提供信息，这个系统就可以学习感知机无法学习的复杂图形。

  • ⏱ 2023-10-07 02:36:47

• 📌 打造一个多层的神经网络，其中的一个大问题是，你很难确定每个神经元对整体计算的相对重要性（权重）。对于感知机这样的单层网络，这至少是可行的：系统可以自动设置其单层神经元的权重。但是对于多层网络，这种方法根本行不通。神经元之间的关系过于广泛和复杂。改变一个神经元的权重，就意味着要改变其他所有依赖于其行为的神经元。人们需要一种更强大的数学方法，将每个权重的设定与其他所有权重结合起来。鲁梅尔哈特认为，答案是一个叫“反向传播”(backpropation)的过程。这本质上是一种基于微分的算法，当神经元能够分析更多数据并更好地理解每个权重是什么的时候，它就会发送一种数学反馈，沿着神经元的层次结构向下传递。

  • ⏱ 2023-10-07 02:26:30

• 📌 和感知机一样，玻尔兹曼机通过分析数据，包括声音和图像数据来学习。但它增加了一个新的变化，就是会创造自己的声音和图像，然后通过对比自己创造的数据与分析的数据，来进行学习。

  • ⏱ 2023-10-07 02:36:48

• 📌 1991年一个星期天的清晨，ALVINN以接近60英里的时速从匹兹堡开到宾夕法尼亚州的伊利市。在明斯基和佩珀特的《感知机》一书出版20多年后，ALVINN做到了他们说神经网络做不到的事情。

  • ⏱ 2023-10-07 02:36:48

03 连接主义的圈子

• 📌 贝尔实验室可能是世界上最著名的研究机构，负责研究晶体管、激光、Unix（尤内克斯）计算机操作系统和C语言（编程语言）。那时，长着一张娃娃脸的来自巴黎的29岁的计算机科学家和电气工程师杨立昆正在开发一种新的图像识别系统，该系统基于杰夫·辛顿和戴维·鲁梅尔哈特几年前提出的想法。

  • ⏱ 2023-10-07 02:34:09

• 📌 神经网络确实需要更多的计算能力，但没有人意识到它到底需要多少。正如杰夫·辛顿后来所说的：“没人想过要问‘假设我们还需要100万倍的计算能力会怎么样’。”

  • ⏱ 2023-10-07 14:52:24

• 📌 他们正在打造一个系统，使用基于统计的技术——每个单词在每种语言中出现的频率——在不同语言之间进行翻译。如果一组单词在两种语言中出现的频率和语境相同，这就可能是正确的翻译。

  • ⏱ 2023-10-07 14:54:21

• 📌 在达勒·摩尔人工智能研究所内部，施米德胡贝和他的一名学生打造了他们所描述的具有短期记忆的神经网络。它可以“记住”最近分析过的数据，并在运行的每一步都利用这种回忆改进它的分析。他们称之为LSTM，即长短期记忆(Long Short-Term Memory)。

  • ⏱ 2023-10-07 14:59:14

• 📌 辛顿向他讲述了一个新项目，即一种按照一次一层的方式训练大规模神经网络的方法，并且输入的数据要比过去可能提供的多得多。辛顿称之为“深度信仰网络”(deep belief networks)。

  • ⏱ 2023-10-07 18:33:28

• 📌 达尔说，“如果这是一个好想法，你就继续努力20年。如果这是一个好想法，你就继续尝试，直到成功。它不会因为你第一次尝试不起作用就不再是一个好想法。”

  • ⏱ 2023-10-07 18:48:46

05 证据：从谷歌大脑到AlexNet

• 📌 他们打造了一个系统，呼应了21世纪初一个非常人性化的网络消遣：在YouTube视频中观察猫。它利用遍布谷歌数据中心的16000多块计算机芯片的能力，分析了数百万条视频，并自学了如何识别一只猫。

  • ⏱ 2023-10-09 10:25:17

• 📌 尽管结果远不如当时领先的图像识别工具准确，但这是神经网络在60年发展进程中往前迈出的一步。第二年夏天，吴恩达、迪恩和科拉多发表了他们的研究成果，在人工智能专家中，这份研究被称为“小猫论文”(Cat Paper)。

  • ⏱ 2023-10-09 10:25:23

• 📌 正当实验室发展到了这个关键的时刻，吴恩达却决定离开。他还有一个在进行中的项目需要他的关注。他在创立一家初创公司Coursera，专门从事MOOC，即大规模开放在线课程，这是一种通过互联网提供大学教育的方式。2012年，创业者、投资人和记者们确信，这是能彻底改变世界的硅谷创意之一。

  • ⏱ 2023-10-09 10:26:13

• 📌 如果给神经网络的数据是被标记过的，系统就会更加准确、可靠和高效。

  • ⏱ 2023-10-09 10:30:01

• 📌 于是，他们创建了一个系统，这个系统可以分析标记过的图像，并学会识别物体，其准确度远远超过任何人以前打造的任何技术，这表明，当人类将其指向正确的方向时，机器的效率会更高。如果有人给神经网络指明猫的确切位置，神经网络就会以更加强大的方式进行学习。

  • ⏱ 2023-10-09 10:30:13

• 📌 马利克说这些数据集太陈旧了，没人关心它们。“这无法说服任何一个与你的意识形态偏好不一致的人。”他说。辛顿于是问怎样才能说服他。

  • ⏱ 2023-10-09 10:31:12

• 📌 起初，马利克说深度学习必须掌握一个名为PASCAL的欧洲数据集。“PASCAL的体量太小了，”辛顿告诉他，“要让系统有效，我们需要大量的训练数据。ImageNet如何？”马利克答应了。

  • ⏱ 2023-10-09 10:31:23

• 📌 ImageNet竞赛是一场年度比赛，由斯坦福大学的一间实验室举办，

  • ⏱ 2023-10-09 10:31:27

• 📌 该实验室已经汇编了一个巨大的数据库，里面有被精心标记的照片，从小狗、鲜花到汽车，不一而足。全球的研究人员每年都在竞争中打造系统，比试哪个系统能够识别出最多的图像。辛顿认为，如果能在ImageNet竞赛中脱颖而出，他就肯定会赢得这场争论。他没有告诉马利克的是，他的实验室已经在为即将到来的比赛打造一个神经网络，多亏了他的两名学生——伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基，这个系统快要完工了。

  • ⏱ 2023-10-09 10:31:43

• 📌 “你训练一个神经网络来解决一个问题，然后，如果你想解决一个不同的问题，你又要用另一个神经网络重新开始，继续训练它来解决一个不同的问题。其实，你应该训练一个神经网络来解决所有的问题。”

  • ⏱ 2023-10-09 10:33:21

• 📌 克里哲夫斯基、萨特斯基弗和辛顿接着发表了一篇论文来描述他们的系统（后来被命名为AlexNet）

  • ⏱ 2023-10-09 10:35:18

• 📌 在赢得ImageNet竞赛的过程中，辛顿和他的学生们使用了杨立昆在20世纪80年代后期创新成果的一个修改版本：卷积神经网络。

  • ⏱ 2023-10-09 10:36:11

06 DeepMind的野心与谷歌的收购

• 📌 哈萨比斯在伦敦发展这家公司的过程中，一直在网上记录着公司内外的生活（大部分是公司内部的）。这是一种宣传手段，由他的一位设计师代笔，这种方式引起了人们对他的公司及其游戏的兴趣

  • ⏱ 2023-10-10 12:51:58

• 📌 人工智能研究人员需要明确的方法来跟踪自己的进展。否则，他们无法知道自己什么时候走上了正确的道路。“我想知道我们要去哪里，”他说，“我们需要一个关于什么是智能的概念，需要一种衡量它的方法。

  • ⏱ 2023-10-11 02:45:40

• 📌 诺塞克最初是与彼得·蒂尔和埃隆·马斯克一起作为贝宝公司的创始团队成员而声名鹊起的，他们就是所谓的“贝宝黑帮”(PayPal Maf ia)。

  • ⏱ 2023-10-11 02:48:37

• 📌 游戏是一个封闭的宇宙，其中的奖励机制是明确定义的，有积分和终点线。而现实世界要复杂得多，奖励机制更难以定义，

  • ⏱ 2023-10-11 02:54:28

• 📌 当谷歌在全世界范围给每位研究人员支付几十万美元（如果不到数百万美元）薪酬时，对于亚历克斯·格雷夫斯这样的人，DeepMind每年支付的薪酬不到10万美元，这是公司所能承受的。这家小公司在成立三年之后，仍然没有产生收入。苏莱曼和他的团队正在试图开发一款移动应用程序，通过人工智能来帮助用户筛选出最新款的时装——时尚编辑和作家偶尔会在人工智能研究人员的陪同下来到拉塞尔广场的办公室，还有一个单独的小组即将在苹果应用商店上线一款新的人工智能电子游戏，但尚未产生收入。当格雷夫斯和其他研究人员向来自谷歌的访问者描述自己的工作时，哈萨比斯知道，有些事情必须改变了。

  • ⏱ 2023-10-11 02:56:34

第二部分 谁拥有智能 PART TWO WHO OWNS INTELLIGENCE?

• 📌 更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术，而不是隔离在一家公司或一所大学里。他的观点是，这种信息的自由交流会加速整个研究的进展。每个人都可以在其他人的工作基础上再接再厉。开放研究是该领域学者们的规范，但通常来说，大型互联网公司会将其最重要的技术视为商业秘密，小心翼翼地保护细节，不让外人知道。扎克伯格解释说，Facebook是一个很大的例外。该公司成长于开源软件时代，在那个时代，软件代码在互联网上自由共享，并且Facebook已经广泛且深入地将这一概念扩展到其技术帝国的方方面面，甚至共享了为Facebook提供服务的大型计算机数据中心里定制硬件的设计。扎克伯格认为，Facebook的价值在于那些使用社交网络的用户，而不在于其软件或硬件

  • ⏱ 2023-10-11 03:08:32

• 📌 。即使有了原材料，也没有人能重新创造一个Facebook，但如果公司共享原材料，其他人就可以帮助改进它们。

  • ⏱ 2023-10-11 03:08:45

08 炒作

• 📌 这些思想更传统的谷歌人没有意识到的是，深度学习是未来，而GPU可以加速这一新兴技术的发展，其速度是普通计算机芯片无法企及的。这种情况经常发生在大型科技公司或小公司内部：大多数人看不到自己正在做的事情之外的东西。阿兰·尤斯塔斯认为，诀窍在于让自己处在一些特定人群周围，这些人能够将新的专业知识应用到旧技术似乎无法解决的问题上。“大多数人是以特定的方式、特定的视角和特定的历史来看待特定问题的，”他说，“他们无法看到那些能改变格局的专业知识的交会点。”

  • ⏱ 2023-10-11 03:15:12

• 📌 在出售1.3亿美元的图形芯片给谷歌的刺激下，英伟达围绕深度学习的思路进行了重组，很快就不再满足于仅仅出售用于人工智能研究的芯片，而是自己也参与了研究，探索图像识别和自动驾驶汽车的边界，希望进一步拓展市场

  • ⏱ 2023-10-11 03:20:21

• 📌 坐在“司机”项目的办公桌前，克里哲夫斯基是这场人工智能热潮的核心人物，但他不认为自己的角色有那么重要，也不认为自己的角色在于人工智能。他的角色在于深度学习，深度学习只是数学、模式识别，或者正如他所说的——“非线性回归”

  • ⏱ 2023-10-11 03:22:57

• 📌 这些技术已经存在了几十年，只是像他这样的人在正确的时间出现了，当时有足够的数据和足够的处理能力来让这一切发挥作用。

  • ⏱ 2023-10-11 03:23:09

• 📌 张量处理器，即TPU，它是设计用来处理支撑神经网络的张量的，而张量就是数学对象。其中的诀窍在于它的计算不像典型的处理器那样精确。神经网络进行的计算量如此之大，但每次计算都不必精确，它处理的是整数而不是浮点数。TPU不是将13.646乘以45.828，而是砍掉了小数点，将13和45相乘。这意味着它每秒钟可以执行数万亿次额外的计算，而这正是迪恩和他的团队需要的，不仅是为了语音服务，也是为了语言翻译。

  • ⏱ 2023-10-11 09:26:37

• 📌 他的系统可以很好地处理普通词汇，但不能处理更大体量的词汇，也不能真正与谷歌10多年来通过互联网提供的翻译服务竞争——现有的服务是建立在完善的老式规则和统计数据之上的

  • ⏱ 2023-10-11 09:27:05

09 反炒作

• 📌 佩奇的行为基于这样一种假设，即谷歌所做的任何事情都会对世界有益

  • ⏱ 2023-10-11 09:30:47

• 📌 在同一条消息中，他敦促自己的追随者们阅读《超级智能：路线图、危险性与应对策略》(Superintelligence: Paths, Dangers, Strategies)，这是牛津大学哲学家尼克·波斯特洛姆(Nick Bostrom)出版的一本大部头。

  • ⏱ 2023-10-11 09:31:20

• 📌 几周后，马斯克在Edge.org上发布了他的那条信息，该网站由一个非营利性组织Edge基金会运营，其不仅探索新的科学思想，还主办了一个名为“亿万富翁晚宴”的年度聚会，参与者包括马斯克、拉里·佩奇、谢尔盖·布林和马克·扎克伯格等名人。

  • ⏱ 2023-10-11 09:35:46

• 📌 设立一间不受大型互联网公司控制的实验室，这个想法对他们产生了吸引力，完全摆脱了驱动这些公司发展的利润动机。他们认为，这是确保人工智能以安全的方式发展的最佳方式

  • ⏱ 2023-10-11 09:51:06

• 📌 一种被低估的将人们聚集在一起的方式，就是在无法加快到达目的地的速度时，你必须出现，你必须发声。

  • ⏱ 2023-10-11 09:51:27

• 📌 斯克和阿尔特曼将OpenAI的目的描绘成对抗大型互联网公司所带来的危险性。在谷歌、Facebook和微软仍然对一些技术保密时，由马斯克、彼得·蒂尔和其他人超过10亿美元的资助承诺所支持的非营利组织OpenAI，将毫无保留地贡献出未来的技术

  • ⏱ 2023-10-11 09:53:52

10 神经网络的爆发：AlphaGo的胜利

• 📌 哈萨比斯跟谢尔盖·布林聊了起来。交谈中，他们意识到两人有一个共同的兴趣：围棋。布林说，当他和佩奇在斯坦福大学创建谷歌时，他下了太多的围棋，以至于佩奇担心他们的公司永远也无法创立。 ^3300042833-16-4869-4958
  • ⏱ 2023-10-11 10:04:35

11 神经网络的扩张：新药研发技术

• 📌 这场竞赛是要探索一项新药研发技术，即定量构效关系，达尔在研究默克公司提供的数据时从未听说过这项技术。正如辛顿所说：“乔治甚至不知道它的名字，就把整个领域都消灭了。”很快，默克公司将这种方法加入漫长而曲折的新药研发过程

  • ⏱ 2023-10-11 17:10:27

• 📌 医疗专家和监管者普遍担心神经网络是一个“黑匣子”。与过去的技术不同，医院没有办法解释系统做出一项诊断的理由

  • ⏱ 2023-10-11 17:12:03

12 梦想之地：微软的深度学习

• 📌 陆奇认为，微软的问题在于它用旧的方式处理新的问题。它在一个不复存在的市场上设计、部署和推广技术。一位哈佛商学院教授写过一系列解构老化企业弱点的文章，陆奇阅读后，开始认识到微软仍然是一家受程序记忆驱动的公司，这些记忆源于20世纪80年代和90年代，是公司的工程师、高管和中层管理人员第一次学习计算机业务时，在他们的大脑中留下的，而当时互联网、智能手机、开源软件和人工智能尚未兴起。

  • ⏱ 2023-10-12 09:41:09

• 📌 如果说陆奇是人工智能领域全球化特征的一个典型例子，那么他的背景就使他成为这个领域中最不可能的参与者之一。在“文革”时期，他在一个贫困的农村由祖父抚养长大。他就读的学校只有一名教师，这名教师要教400名学生。然而，他克服了所有不利的自然条件，在上海复旦大学获得了计算科学学位，并在20世纪80年代末吸引了美国计算机科学家爱德蒙德·克拉克(Edmund Clarke)的注意，他碰巧在中国寻找可以带回卡内基——梅隆大学的人才。在某个星期天，克拉克要在复旦大学发表一场演讲。陆奇通常会骑着自行车穿过这座城市去看望他的父母，但是当天下了一场大雨，他就待在家里。那天下午，有人敲他的门，让他去克拉克的讲座上帮忙占个座位。因为下雨，太多的座位空着。于是陆奇听了讲座，他在演讲结束后的提问让克拉克印象深刻，之后他被邀请去卡内基——梅隆大学申请一个留学机会。“我很幸运，”他回忆道，“如果没有下雨，我就去看望父母了。”

  • ⏱ 2023-10-12 09:39:40

• 📌 他认为自己是少有的懂技术的技术管理者、战略家以及系统架构师，还是一位广泛阅读世界领先实验室研究论文的远见卓识者。他有办法用尖锐的、自成一体的、略显奇怪的技术公理来表达自己的想法：计算是对信息进行有目的的操纵。数据正在成为主要的生产手段。深度学习在新的基础上进行计算。

  • ⏱ 2023-10-12 09:40:56

• 📌 深度学习和深度学习研究人员是当时的“硬通货”。但是微软是有缺陷的，它不是一家互联网公司、智能手机公司或自动驾驶汽车公司，它实际上并没有在人工智能领域打造出需要“下一个大事件”的东西。

  • ⏱ 2023-10-13 19:28:35

• 📌 他认为，微软应该打造一辆自动驾驶汽车。这将为公司提供在很多其他领域取得成功所需的技能、技术和洞察力。陆奇认为，谷歌之所以在如此多的市场占据主导地位，是因为它在互联网空前扩张的时代打造了一款搜索引擎。

  • ⏱ 2023-10-13 19:29:01

• 📌 杰夫·迪恩这样的工程师被迫打造从未有人开发过的技术，在随后的几年里，这些技术推动了从Gmail到YouTube、再到安卓的一切

  • ⏱ 2023-10-13 19:29:14

第三部分 动荡 PART THREE TURMOIL

• 📌 他解释说，他们应该做的是打造一个能够从另一个神经网络中进行学习的神经网络。第一个神经网络将创建一幅图像，并试图欺骗第二个神经网络，让它以为这幅图像是真实照片。第二个会指出第一个错误的地方，第一个会再试一次。他说，如果两个神经网络对决足够长的时间，它们就可以创建一幅看起来像真实事物的图像

  • ⏱ 2023-10-13 19:35:19

• 📌 在基于这一想法所发表的论文中，他称之为“生成对抗网络”，即GAN

  • ⏱ 2023-10-13 19:34:08

• 📌 费曼的教室黑板上曾经写着：“我不能理解的东西，我无法创造。

  • ⏱ 2023-10-13 19:34:31

• 📌 跟辛顿一样，本吉奥和古德费洛相信，费曼的格言不仅适用于人类，也适用于机器：人工智能不能理解的东西，它也无法创造

  • ⏱ 2023-10-13 19:34:45

• 📌 当古德费洛刚刚来到谷歌时，他就开始探索一种叫“对抗性攻击”(adversarial attacks)的独立技术，这种技术表明神经网络可以被愚弄，你可以让它看到或听到实际上不存在的东西

  • ⏱ 2023-10-13 19:46:13

• 📌 仅仅通过改变一张大象照片中的几个像素——这是人眼无法察觉的改变——你就可以欺骗神经网络，让它认为这头大象是一辆汽车。神经网络从非常广泛的例子中学习，以至于微小和意想不到的缺陷可能会悄悄潜入它的训练，但没有人知道。

  • ⏱ 2023-10-13 19:46:23

• 📌 一家金融机构可以将这个想法应用到交易系统中，执行一些诱导性的交易，让竞争对手抛售股票，这样该机构就能够以更低的价格买入。

  • ⏱ 2023-10-14 13:44:00

14 谷歌的傲慢

• 📌 他说，未来汽车的传感器将是激光雷达、微波雷达和照相机，并且将会有专为这些传感器设计的新型路标。

  • ⏱ 2023-10-14 14:10:23

• 📌 说，中国的另一大优势是数据

  • ⏱ 2023-10-14 14:10:26

• 📌 他常常说，每个社会经济时代都有一种主要的生产资料。在农业时代，生产资料是土地。“你有多少人并不重要，你有多聪明也不重要。如果你没有更多的土地，你就不能生产更多的东西。”在工业时代，生产资料是劳动力和设备。在这个新时代，生产资料是数据。

  • ⏱ 2023-10-14 14:10:41

15 神经网络的偏见

• 📌 人工智能只服务于世界人口的一小部分，创造它的人也来自世界人口的极小部分。某些人口会受到它的主动伤害，不仅因为算法对他们不利，还因为算法的工作是自动化的。这些人被主动排除在高薪领域之外，这使他们从劳动力市场中消失。 ^3300042833-21-4110-4216
  • ⏱ 2023-10-14 14:15:11

16 武器化

• 📌 李飞飞对这份合同表示赞同。“这太令人兴奋了，我们快要拿到马文项目了！那将是一场伟大的胜利，”她写道，“你们付出了多么惊人的努力！谢谢大家！”但她也敦促在宣传推广时要极度谨慎 ^3300042833-22-5618-5704
  • ⏱ 2023-10-14 21:54:00

17 Facebook的无能

• 📌 马克·扎克伯格每天都穿同样的服装：一件鸽子灰色的棉质T恤，搭配一条蓝色牛仔裤。他觉得这给了他更多的精力来管理Facebook。他喜欢称之为“一个社区”，而不是一家公司或一个社交网络。“我真的想清理我的生活，让我可以尽可能少地做决定，除了决定如何最好地为这个社区服务，”他曾经这么说过，“实际上，有一堆心理学理论认为，即使围绕你穿什么、早餐吃什么或诸如此类的事情做出一些小决定，也会让你感到疲惫，消耗你的精力。” ^3300042833-23-496-956
  • ⏱ 2023-10-15 11:44:59

第四部分 被低估的人类 PART FOUR HUMANS ARE UNDERRATED

• 📌 他解释说，问题在于神经网络并不像人脑那样学习。即使在掌握神经网络无法掌握的任务时，大脑也不需要深度学习所需要的大量数据

  • ⏱ 2023-10-18 13:18:14

• 📌 儿童，包括新生婴儿，可以从少量的信息中进行学习，有时信息只是一两个好的例子。在家庭中长大的孩子，即使父母对他们的发展和教育不感兴趣，他们自己也可以通过倾听周围的声音来学习口语的细微差别

  • ⏱ 2023-10-18 13:18:19

• 📌 换句话说，他相信，有很多东西是人工智能无法独立学习的，必须由工程师手工编码

  • ⏱ 2023-10-18 13:18:54

• 📌 至于将深度学习用于新药研发，在乔治·达尔和他的多伦多合作者赢得默克公司主办的竞赛之后，这个领域似乎充满了希望

  • ⏱ 2023-10-18 20:59:56

19 自动化：OpenAI的拣货机器人

• 📌 在过去，很多人已经打造出了可以复原魔方的机器人，有些设备可以在不到一秒钟的时间内完成。但这是一个新的技能，这是一只可以跟人手一样移动的机器手，而不是专门为解决魔方问题而制造的专用硬件。在通常情况下，工程师需要对机器人进行精确的行为编程，花费数月时间为每一个微小的动作定义精细的规则。但这需要几十年，甚至几个世纪的时间，才能为机器手的5根手指单独定义解决魔方问题所需的每一个动作。扎伦巴和他的团队已经开发了一个系统，该系统可以自行学习这种动作。他们属于一个新的研究人员的圈子，这个圈子里的研究人员认为，机器人在现实世界中得到应用之前，可以在虚拟现实中学习几乎任何技能。

  • ⏱ 2023-10-22 19:06:26

• 📌 在这个仿真模拟中，机器手通过不断的试错来学习，花了相当于一万年的时间来转魔方，找出哪些微小的动作有效、哪些无效。在那一万年的虚拟时间里，仿真模拟一直在变化。扎伦巴和他的团队反复改变手指的大小和魔方上的颜色，以及色块之间的摩擦力，甚至魔方后面空间的颜色。这意味着，当他们将所有这些虚拟体验转移到现实世界真实的机器手中时，它可以处理我们意想不到的事情。它可以处理人类在物理世界中能很容易适应的不确定性，但普通机器往往不能。

  • ⏱ 2023-10-22 19:07:10

• 📌 这两个项目都是引人注目的噱头，这是OpenAI宣传自己的一种方式，它需要吸引推动研究所需的资金和人才。像OpenAI这样的实验室正在开发的技术很昂贵——设备和人员都很昂贵，这意味着引人注目的演示是他们的命根子。这是马斯克的惯用手段：吸引人们关注他自己以及他所做的事情。

  • ⏱ 2023-10-22 19:10:50

• 📌 Covariant公司的机器人能够以超过99%的准确率对10000多种不同的物品进行分拣。

  • ⏱ 2023-10-22 19:13:53

20 信仰

• 📌 自信的力量非常强大。我认识的最成功的人对自己的信任几乎到了妄想的地步，”他曾写道，“如果不相信自己，你就很难对未来有逆向的想法，而这正是创造大部分价值的地方。”

  • ⏱ 2023-10-23 01:36:45

• 📌 当阿尔特曼认为一个想法可以规模化时，他并不害怕对其发展押下重注。他可能一次又一次地做了错误判断，但是当他正确的时候，他想要的是惊人的正确。对他来说，这种态度可以用意大利哲学家马基雅维利的一句经常被引用的话概括：“要犯野心的错误，而不是懒惰的错误。”

  • ⏱ 2023-10-23 01:37:20

• 📌 着眼于这种新型硬件，阿尔特曼与微软及其新任首席执行官萨提亚·纳德拉达成协议，后者仍在努力向世界展示他们还是人工智能领域的领导者。短短几年，纳德拉就扭转了公司的局面，拥抱开源软件，并在云计算市场上领先于谷歌。但很多人认为云计算市场的未来是人工智能，在一个这样的世界里，很少有人认为微软是该领域的顶级玩家

  • ⏱ 2023-10-23 13:59:02

• 📌 纳德拉和微软同意给OpenAI投资10亿美元，OpenAI同意将这笔钱的大部分返还给微软，因为仅仅为了训练该实验室的系统，这家科技巨头打造了一套全新的硬件基础设施

  • ⏱ 2023-10-23 13:59:09

• 📌 你想象一下，大楼里堆满了计算机芯片，这些芯片运行的软件复制了谷歌等公司首席执行官、首席财务官及所有工程师的技能。他解释说，如果你让谷歌全部在这栋大楼里运行，它将非常有价值。它太有价值了，以至于它会想建造另一座跟它一样的大楼。再一座，又一座。他说，要继续建造更多的大楼，将会面临巨大的压力。

  • ⏱ 2023-10-23 14:00:41

21 未知因素

• 📌 他指出，自己在过去40年中帮助打造的技术存在局限性。他说，计算机视觉领域的研究人员现在依赖于深度学习，而深度学习只解决了部分问题。如果一个神经网络分析了数千张咖啡杯的照片，它就能学会识别咖啡杯。但是，如果这些照片只是从侧面拍摄的咖啡杯，它就无法识别倒置的咖啡杯。它只看到二维物体，而不是三维的。他解释说，这是他希望通过“胶囊网络”解决的众多问题之一。 ^3300042833-27-1031-1206
  • ⏱ 2023-10-23 14:32:31

时间线

• 📌 时间线1960年——康奈尔大学教授弗兰克·罗森布拉特在纽约布法罗的一间实验室中打造了“马克一号”感知机，这是早期的神经网络。1969年——麻省理工学院教授马文·明斯基和西摩·佩珀特出版了《感知机》一书，指出了罗森布拉特技术中的缺陷。1971年——杰夫·辛顿开始在爱丁堡大学攻读人工智能博士学位。1973年——第一次人工智能寒冬到来。1978年——杰夫·辛顿开始在加州大学圣迭戈分校做博士后研究。1982年——卡内基——梅隆大学招聘了杰夫·辛顿。1984年——杰夫·辛顿和杨立昆在法国相遇。1986年——戴维·鲁梅尔哈特、杰夫·辛顿和罗纳德·威廉姆斯发表了他们关于“反向传播”的论文，扩展了神经网络的功能。——杨立昆加入了位于新泽西州霍尔姆德尔的贝尔实验室，在那里他开始打造LeNet，一个可以识别手写数字的神经网络。1987年——杰夫·辛顿离开卡内基——梅隆大学，加入多伦多大学。1989年——卡内基——梅隆大学的研究生迪安·波默洛制造了ALVINN，一辆基于神经网络的自动驾驶汽车。1992年——约书亚·本吉奥在贝尔实验室做博士后研究时遇到了杨立昆。1993年——蒙特利尔大学招聘了约书亚·本吉奥。1998年——杰夫·辛顿在伦敦大学学院成立了盖茨比计算神经科学中心。——20世纪90年代到21世纪的第一个十年：第二次人工智能寒冬。2000年——杰夫·辛顿回到多伦多大学。2003年——杨立昆加入纽约大学。2004年——在加拿大政府的资助下，杰夫·辛顿开始举办“神经计算和适应性感知”研讨会。杨立昆和约书亚·本吉奥加入了他的行列。2007年——杰夫·辛顿创造了术语“深度学习”，一种描述神经网络的方式。2008年——杰夫·辛顿在不列颠哥伦比亚省的惠斯勒偶遇微软研究员邓力。2009年——杰夫·辛顿访问位于西雅图的微软研究院实验室，探索语音识别的深度学习。2010年——辛顿的两名学生阿卜杜勒——拉赫曼·穆罕默德和乔治·达尔访问微软。——戴密斯·哈萨比斯、沙恩·莱格和穆斯塔法·苏莱曼创立DeepMind。——斯坦福大学教授吴恩达向谷歌首席执行官拉里·佩奇推介“马文项目”。2011年——多伦多大学研究员纳夫迪普·贾特利在蒙特利尔的谷歌公司实习，通过深度学习打造新的语音识别系统。——吴恩达、杰夫·迪恩和格雷格·科拉多创立“谷歌大脑”。——谷歌部署基于深度学习的语音识别服务。2012年——吴恩达、杰夫·迪恩和格雷格·科拉多发表了“小猫论文”。——吴恩达离开谷歌。——杰夫·辛顿在“谷歌大脑”做“实习生”。——杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基发表了AlexNet论文。——杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基拍卖了他们的公司DNNresearch。2013年——杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基加入谷歌。——马克·扎克伯格和杨立昆创立Facebook人工智能研究实验室。2014年——谷歌收购DeepMind。——伊恩·古德费洛发表了GAN论文，描述了一种生成照片的方法。——伊利亚·萨特斯基弗发表了论文《从序列到序列》，这是机器翻译的一个进步。2015年——杰夫·辛顿在DeepMind度过夏天。——AlphaGo在伦敦击败范辉。——埃隆·马斯克、萨姆·阿尔特曼、伊利亚·萨特斯基弗和格雷格·布罗克曼创立OpenAI。2016年——DeepMind公布“DeepMind健康”。——AlphaGo在韩国首尔击败李世石。——陆奇离开微软。——谷歌部署基于深度学习的翻译服务。——唐纳德·特朗普在美国大选中击败希拉里·克林顿。2017年——陆奇加入百度。——AlphaGo在中国击败柯洁。——中国发布《新一代人工智能发展规划》。——杰夫·辛顿公布“胶囊网络”。——英伟达推出渐进式GAN，它可以生成照片级的人脸。——“深度造假”出现在互联网上。2018年——埃隆·马斯克离开OpenAI。——谷歌员工抗议马文项目。——谷歌发布了BERT，一种学习语言技能的系统。2019年——顶级研究人员抗议亚马逊的人脸识别技术。——杰夫·辛顿、杨立昆和约书亚·本吉奥获得2018年图灵奖。——微软向OpenAI投资10亿美元。2020年——Covariant在柏林发布分拣机器人。 ^3300042833-29-374-4599
  • ⏱ 2023-11-08 01:27:21

参与者

• 📌 参与者谷歌阿妮莉亚·安杰洛娃，出生于保加利亚的研究人员，与亚历克斯·克里哲夫斯基一起将深度学习带入谷歌自动驾驶汽车项目。谢尔盖·布林，创始人。乔治·达尔，这位英语教授的儿子在加入“谷歌大脑”之前，曾在多伦多大学和微软与辛顿一起探索语音识别。杰夫·迪恩，谷歌早期的员工，成为该公司最著名、最受尊敬的工程师，并于2011年创立“谷歌大脑”，这是谷歌的人工智能实验室。阿兰·尤斯塔斯，谷歌的高管和工程师，在离开谷歌并创造世界跳伞纪录之前，负责谷歌在深度学习上的投入。蒂姆尼特·格布鲁，曾任斯坦福大学研究员，后加入谷歌伦理团队。约翰·詹南德雷亚，谷歌人工智能主管，后加入苹果公司。伊恩·古德费洛，GAN的发明人，GAN是一种可以自行生成虚假图像（而且非常逼真）的技术。他曾在谷歌和OpenAI工作过，后加入苹果公司。瓦润·古尔山，虚拟现实工程师，探索了能够读取眼部扫描影像并检测糖尿病失明迹象的人工智能。杰夫·辛顿，多伦多大学教授，深度学习革命的发起人，2013年加入谷歌。乌尔斯·霍尔泽，在瑞士出生的工程师，负责谷歌全球计算机数据中心网络。亚历克斯·克里哲夫斯基，杰夫·辛顿的学生。在加入“谷歌大脑”和谷歌自动驾驶汽车项目之前，他在多伦多大学帮助再造了计算机视觉。李飞飞，斯坦福大学教授，加入了谷歌，并推动在中国建立谷歌人工智能实验室。梅格·米切尔，离开微软转投谷歌的研究员，组建了一个从事人工智能伦理研究的团队。拉里·佩奇，创始人。彭琼芳，训练有素的医生，负责一个将人工智能应用于医疗健康的团队。桑达尔·皮查伊，首席执行官。萨拉·萨布尔，在伊朗出生的研究员，在多伦多谷歌实验室与杰夫·辛顿一起研究“胶囊网络”。埃里克·施密特，董事长。DeepMind亚历克斯·格雷夫斯，苏格兰研究员，打造了一个可手写的系统。戴密斯·哈萨比斯，英国的国际象棋天才、游戏设计师和神经科学家，创建了伦敦人工智能初创公司DeepMind，该公司后来发展成为世界上最著名的人工智能实验室。科拉伊·卡武库奥格鲁，土耳其研究员，负责实验室的软件代码。沙恩·莱格，新西兰人，和戴密斯·哈萨比斯一起创立了DeepMind，致力于制造做大脑能做的任何事情的机器，尽管他担心这会带来危险。弗拉德·姆尼，俄罗斯研究员，负责打造一台掌握旧雅达利游戏的机器。戴维·西尔弗，研究员，在剑桥遇到了哈萨比斯，并领导了DeepMind团队，制造了AlphaGo，这是一台标志着人工智能进步转折点的机器。穆斯塔法·苏莱曼，戴密斯·哈萨比斯儿时的相识，二人共同创立了DeepMind，并领导了实验室在伦理和医疗健康方面的工作。Facebook卢博米尔·布尔德夫，帮助创建Facebook实验室的计算机视觉研究员。罗布·弗格斯，在纽约大学和Facebook与杨立昆一起工作的研究员。杨立昆，出生于法国的纽约大学教授，在负责Facebook人工智能研究实验室之前，曾帮助杰夫·辛顿扶植深度学习。马克·奥雷利奥·兰扎托，前职业小提琴家，Facebook将他从“谷歌大脑”挖来并为其人工智能实验室播下了种子。迈克·斯科洛普夫，首席技术官。马克·扎克伯格，创始人兼首席执行官。微软克里斯·布罗克特，前语言学教授，后成为微软人工智能研究员。邓力，将杰夫·辛顿的想法带到微软的研究员。彼得·李，研究负责人。萨提亚·纳德拉，首席执行官。OpenAI萨姆·阿尔特曼，硅谷初创公司孵化器Y Combinator的前总裁，后成为OpenAI的首席执行官。格雷格·布罗克曼，金融科技初创公司Stripe的前首席技术官，帮助创立了OpenAI。埃隆·马斯克，电动汽车制造商特斯拉和火箭公司SpaceX的首席执行官，帮助创立了OpenAI。伊利亚·萨特斯基弗，杰夫·辛顿的学生，离开“谷歌大脑”后加入了OpenAI，这间旧金山的人工智能实验室是为了响应DeepMind而创立的。沃伊切赫·扎伦巴，曾任谷歌和Facebook研究员，OpenAI的首批员工之一。百度李彦宏，首席执行官。陆奇，微软前执行副总裁，在离开微软并加入百度之前，曾负责必应搜索引擎。吴恩达，斯坦福大学教授，在接管百度硅谷实验室之前，和杰夫·迪恩一起创建了“谷歌大脑”实验室。余凯，百度深度学习实验室的创建者。英伟达克莱门特·法拉贝特，杨立昆的门徒，加入英伟达并打造自动驾驶汽车使用的深度学习芯片。黄仁勋，首席执行官。Clarifai德博拉·拉吉，Clarifai的实习生，后继续在麻省理工学院研究人工智能系统中的偏见。马特·泽勒，创始人兼首席执行官。学术界约书亚·本吉奥，蒙特利尔大学教授，在20世纪90年代和21世纪初与杰夫·辛顿和杨立昆一起传递深度学习的火炬。乔伊·布拉姆维尼，麻省理工学院研究人脸识别服务偏见的研究员。盖瑞·马库斯，纽约大学的心理学家，创立了一家名为“几何智能”的初创公司，并将其卖给了Uber。迪安·波默洛，卡内基——梅隆大学的研究生，曾在20世纪80年代末90年代初使用神经网络制造自动驾驶汽车。于尔根·施米德胡贝，瑞士达勒·摩尔人工智能研究所的研究员。他的想法帮助推动了深度学习的兴起。特里·谢诺夫斯基，约翰斯·霍普金斯大学的神经科学家，20世纪80年代神经网络复兴运动中的一员。奇点峰会彼得·蒂尔，贝宝创始人、Facebook的早期投资者。他在奇点峰会（一个专门讨论未来主义的会议）上遇到了DeepMind的创始人。埃利泽·尤德考斯基，未来学家，将DeepMind创始人介绍给了蒂尔。过去马文·明斯基，人工智能先驱，质疑弗兰克·罗森布拉特的工作，并成功地使其工作远离了人们的关注。弗兰克·罗森布拉特，康奈尔大学心理学教授，在20世纪60年代发明了感知机，这是一种学习识别图像的系统。戴维·鲁梅尔哈特，加州大学圣迭戈分校的心理学家和数学家，在20世纪80年代与杰夫·辛顿一起帮助复兴了弗兰克·罗森布拉特的思想。艾伦·图灵，计算机时代的奠基人，一度住在剑桥国王学院的楼梯间里，杰夫·辛顿后来也在那里住过。 ^3300042833-30-374-4941
  • ⏱ 2023-11-08 01:28:14

读书笔记

本书评论