◎东京大学尖端科技术中心研究员、将棋程序PONANZA设计者山本一成 ：从人类智慧的大视野，探索人工智能三大核心技术——机器学习、深度学习、强化学习的历史、本质与未来
  
  ◎人工智能历史上三大标志性事件（本书作者设计的将棋程序PONANZA是其中之一）——
  
  1997年，IBM公司开发的超级计算机“深蓝”击败了俄罗斯*棋手、国际象棋世界冠军卡斯巴罗夫，这是人类历史上电脑战胜人类的首例。
  
  2013年，日本Denso公司研发的PONANZA在“机器学习”技术上突发猛进，战胜现役将棋代表佐藤慎一，且之后四年无一败绩。
  
  2016年，谷歌旗下的深度思考（DeepMind）公司开发的围棋电脑程序“阿尔法狗”，击败了世界*围棋棋士李世石，引发了深度学习和强化学习技术的高潮。
  
  ◎普通人也能看懂图说人工智能简史——
  
  内容简介
  
  何谓人工智能？何谓人类智慧？我们人类又是如何作出决策的？包括此刻正在阅读的你，究竟是如何做到理解文意的呢？如果不是被特意追问，我们很少会留意这些问题。其实，只有对于这些问题进行探讨，我们才可以从更本质的角度来理解人工智能这一热门话题。《你一定爱读的人工智能简史》的作者山本一成是世界人工智能领域的代表人物，他开发的“PONANZA”程序，与IBM公司的“深蓝”、谷歌公司的“阿尔法狗”并称人工智能史上的三大标杆。在这本书中，作者将讨论的绝不是晦涩难懂的话题，而是以将棋、围棋为中心，继而探索机器学习、深度学习、强化学习——这三大人工智能核心技术的本质、历史与未来，并尽可能通俗地对其进行解读。此外，作者将继续改进“PONANZA”的设计，并在本书中与大家同步分享设计过程中的直观感受，这将是*的。
  作者简介
  
  山本一成
  
  日本人工智能领域的代表人物，毕业于东京大学，现任爱知学院大学副教授、东京大学尖端科学技术研究中心客座研究员、株式会社HEROZ首席工程师。
  
  他还是人工智能历史上三大标志性事件的主角之一“PONANZA”的开发者，这三大标志是——
  
  1997年，IBM公司开发的超级计算机“深蓝”击败了俄罗斯顶尖棋手、国际象棋世界冠军卡斯巴罗夫，这是人类历史上电脑战胜人类的首例。
  
  2013年，日本Denso公司研发的PONANZA在机器学习技术上突发猛进，战胜现役将棋代表佐藤慎一，且之后四年无一败绩。
  
  2016年，谷歌旗下的深度思考（DeepMind）公司开发的围棋电脑程序“阿尔法狗”，击败了世界顶尖围棋棋士李世石，引发了深度学习和强化学习技术的高潮。
  目　　录
  
  ?前言_ <7>
  
  ?第1 章* 机器学习——人工智能寒冬期宣告结束_ <001>
  
  必须由将棋专家来编程吗？ _ <002>
  
  计算 存储= 电脑？ _ <006>
  
  搜索 评估= 智能？ _ <009>
  
  将棋游戏中的搜索与评估_ <016>
  
  评估体系的建立_ <019>
  
  人工智能的“寒冬”_ <022>
  
  为什么杯子是杯子？ _ <027>
  
  电脑将棋为何比电脑国际象棋晚了20 年？ _ <033>
  
  盘面复杂并不是输给人类的理由_ <035>
  
  对电脑来说，将棋的难点在于…… _ <038>
  
  于电脑而言，将棋与国际象棋的本质区别_ <040>
  
  电脑将棋中的机器学习_ <044>
  
  机器学习的缺点_ <051>
  
  PONANZA 的成长_ <057>
  
  电王战_ <060>
  
  从程序员的环节毕业_ <066>
  
  
  
  ?第2 章* 深度学习——人工智能的热潮已经到来_ <069>
  
  黑魔法的影响力似乎越来越强了_ <070>
  
  失败已成为家常便饭_ <072>
  
  黑魔法之一：懒散的并列性_ <075>
  
  深度学习下的人工智能热潮_ <080>
  
  深度学习的前世今生_ <083>
  
  脱离——深度学习的黑魔法_ <087>
  
  几乎，每天都有新技术发表_ <092>
  
  智能的本质即为图像？ _ <098>
  
  还原主义科学的落幕_ <100>
  
  
  
  ?第3 章* 强化学习——人工智能可以脱离人类模板吗？ _ <103>
  
  人工智能已经完全超越人类？ _ <104>
  
  人类无法直观地理解“指数级的成长”_ <106>
  
  人类将面对与职业棋手相同的经历_ <109>
  
  “守破离”——智能学习三阶段_ <112>
  
  什么是“强化学习”？ _ <116>
  
  PONANZA 流派的诞生_ <120>
  
  “输给电脑了，真是没办法呀”_ <124>
  
  阿尔法狗的隆重登场_ <129>
  
  为何围棋游戏如此特殊？ _ <131>
  
  救世主蒙特卡洛法_ <135>
  
  骰子也有智能吗？ _ <139>
  
  蒙特卡洛围棋的成长_ <142>
  
  阿尔法狗所揭示的道理：围棋是图像 _ <144>
  
  阿尔法狗的三大武器_ <149>
  
  合奏效果_ <156>
  
  科学变为宗教的刹那_ <159>
  
  智慧的本质在哪里？ _ <161>
  
  
  
  ?第4 章* 当奇点出现时…… _ <165>
  
  智能与智慧_ <166>
  
  水平越高的人，越有能力进行正确的目标设定_ <169>
  
  意义和故事：只为人类所有？ _ <176>
  
  越接近人脑，越容易成功_ <179>
  
  PONANZA 2045 _ <183>
  
  人工智能已在模仿人类的伦理观_ <187>
  
  当奇点出现时_ <190>
  
  
  
  ?结束语_ <199>
  
  ?卷末附录* 世纪之战的意义何在？ _ <207>
  
  战胜人类的阿尔法狗是怎样炼成的？_ <208>
  
  在图像识别上，电脑超越了人类_ <213>
  
  “这真是一个力气活儿”_ <218>
  
  阿尔法狗的第六感真是太强了_ <223>
  
  “对不起，没能讲解好这一局”_ <229>
  
  并非天生强大的终盘战斗力_ <234>
  
  所有人都开始承认阿尔法狗的实力_ <238>
  
  与人类不同，电脑的情绪是不会动摇的_ <242 >
  
  “这种下法也太没品了”_ <247>
  
  “之前明明那么强大，现在好像一下子变笨了！”_ <253>
  
  “围棋的本质是快乐”_ <260>
  
  人工智能的无限可能_ <267>
  
  科幻漫画里的世界早就到来了_ <272>
  显示部分信息
  免费在线读
  
  计算 存储=电脑？
  
  这个问题10 年前就引起了我的注意，在本书对该问题进行深入展开前，我们先来了解一些
  
  基本的概念——什么是电脑，什么是编程？在现代社会中，电脑是不可或缺的。小到人手一部的手机，大到飞机上的操控系统，生活中有着数不清的电脑装置。但从本质上讲，这些为丰富的活动提供支持、看似功能繁多的电脑装置实际上能做到的只有以下两点。
  
  其一，“单纯的计算”。
  
  在进行加减乘除及其他同级别的运算时，电脑的计算速度非常可怕，简单来说就是计算器的功能。其运作机制虽然简单，但光凭惊人的速度这一点，也足以满足很多需求了。
  
  其二，“存储”。
  
  大家对于电脑强大的存储功能并不陌生，它庞大的存储量可以帮助我们解决很多问题。例如电子词典，仅仅是将英语单词等相关内容存储进电脑，便可使我们的查询效率比翻阅纸质词
  
  典时更加高效。
  
  除了不断重复“单纯的计算”和“存储”两大功能以外，电脑基本没有更多的功能了。我们之所以认为电脑有能力完成除此以外的更多任务，是因为程序员通过编写程序给电脑下达命令，使它能够更好地利用这两种功能去解决多样的问题。
  
  那么，拥有此种特性的电脑在面对将棋时，该如何设计其程序呢？记录下所有职业棋手的棋局就可以变强吗？
  
  遗憾的是，答案是否定的。与今天相比，10 年前的电脑将棋虽然实力极弱，但要记录下所有职业棋手的对弈过程也并非难事。然而，不论10 年前的电脑收录了多少棋谱，它都一直未能击败人类。
  
  对于将棋这样千变万化的复杂游戏来说，即便将过去的棋局毫无遗漏地记录下来，在新的对弈中也会不可避免地出现新的局面。此时，相较于存储力，能够及时作出合适的反应和判断才是电脑更为需要的能力。
  
  （此后我们也会提到，单凭存储能力就可以解决的问题已经不属于人工智能的课题范围。）
  
  如今PONANZA 的实力已经超越人类，足以击败世界顶尖职业棋手。10 年前那个毫无战斗力PONANZA 为什么能成为今天的赢家？身为程序员的我又下了怎样的功夫，才使得只会简单计算和存储的PONANZA 获得了足以打败人类的智能？下面让我们一起来揭开这个谜底。
  
  评估体系的建立
  
  那么，电脑将棋是如何对棋局进行评估的呢？
  
  在10 年前的电脑程序中，评价体系是由人手动建立的。程序员会给所有棋子手动设定得分，如飞车值1500 分、桂马值500 分、步兵值100 分等。
  
  同样，棋子的分布也被一一设定得分。比如，若金将在本方王将旁则计正50 分，若被孤立则记负100 分。
  
  在此评价体系中，整个棋局会出现大约1000个需要调整的项目。在将棋和国际象棋中，这算是最基本的数量。
  
  此处项目的调整是指，如将飞车的得分从1500分调为1520 分、将被孤立的金将调为负80 分等。具体调整将由程序员根据比赛内容决定。
  
  若棋局中频繁出现飞车被对方轻易吃掉的情况，程序员可以尝试将飞车由1500 分上调为1520 分，飞车便会更受重视。反之，若因为过分重视飞车而导致王将被吃掉，程序员则可将得分由1500 分下调为1480 分，飞车的重要性便会有所降低。
  
  如此，程序员需要时刻留心比赛进展并不断进行微调。
  
  从表面上看，这些项目的调整似有一定的规律可循，但实际很大一部分是取决于程序员自身的直觉的。
  
  其次，这种由人先进行思考判断，再反映到程序里的评价方法极其费时费力。如果仅仅是1000 个项目，或许努力上几年就可以完成。但如果需要调整的项目数量是它的100 倍、1000倍、10000 倍，我们又该如何应对呢？
  
  令人遗憾的是，1000 个项目的调整还远远无法体现将棋的复杂性。人工智能领域的程序员也逐渐意识到，电脑将棋单凭此类评估体系是无法击败顶尖棋士的。
  
  
  
  人工智能的“寒冬”
  
  在电脑技术的黎明期，人们曾以为人工智能的实现是顺理成章的。事实上，这一概念的出现比电脑的诞生更早，人们认为只需将其实现即可。
  
  电脑的计算力和存储力在很久以前就达到了人类无法超越的程度。目前，市面上一般的计算机可以在1 秒内完成1 亿次左右的简单计算。而如果是纯粹的文字录入，则更难体会到其存储力的极限。
  
  于是人们开始设想，只要将人类的智慧输入拥有超强计算力和存储力的电脑，不就可以实现人工智能了吗？至今仍有许多人持有这样的想法。
  
  然而事实上，直到最近，电脑将棋、围棋才达到了足以击败顶尖棋手的水平。预想与现实的
  
  差距为何如此之大？
  
  原因是，将自己的智慧输入电脑远比我们想象的要更加困难。
  
  那么，究竟难在哪儿呢？随着时代的发展，人们开始意识到一个惊人的事实——“人类无法
  
  向外界全盘传达自己的想法”。
  
  回到将棋的例子。我很擅长将棋游戏，但是我无法很好地说明自己为什么能下一手好棋。好棋有时会“从天而降”，并不一定非得通过合理的推算来得出。也就是说，我也不清楚自己在下将棋的时候是如何思考的。
  
  平时不太下将棋的各位读者，下面让我们一起来体会这种冲击吧。
  
  请大家试着说一句“你好”。现在，你是否可以向我说明——你的唇、舌及喉部是通过怎样的动作来发出这两个字音的呢？恐怕大多数人都难以作出解释。
  
  同样， 大家能否向我说明“人是如何行走的”呢？
  
  光说先迈右腿、后迈左腿可是不够的哦！必须精确到腰部的转动角度、膝盖的上抬程度，等等。这也不容易解释吧？也正因此，双足行走机器人的研发工作其实是极其困难的。
  
  所以，从某种意义上讲，我们对“行走”和“说话”一无所知。
  
  可见，即使是生活中常见的小事，我们也很难向电脑进行传达和解释。
  
  同理，我想将自己的将棋知识教给电脑几乎是不可能的。纵使是将棋名士，恐怕也很难将自己的技术完整地输入电脑吧。
  
  这里绝对没有贬低专家的意思。事实上，我认为世界上许多高超的技艺、华丽的手艺应该都是无法用语言解释清楚的吧。
  
  70 多年前，在计算机刚刚被发明的时候，科学家们并没有意识到这个问题。他们乐观地认为，只要将人类的智慧灌输入电脑，人工智能是极易实现的。
  
  从计算机技术黎明期开始的几十年里，科学工作者们不断尝试将人类思维写入电脑。与刚开始编写将棋程序的我一样，他们乐此不疲。
  
  有些尝试最终取得了成功，但更多的尝试以失败告终。
  
  随之而来的，便是被世人称作“人工智能的寒冬”的时代。
  
  怎么做才能促进人工智能的发展？面对停滞不前的研究状况，研究人员和赞助商们感到无能为力。能被称为人工智能专家的人也越来越少。
  
  伴随着人工智能热潮的减退，少数坚持留下来的研究人员也不再将自己的研究称为人工智能。在当时，打出“人工智能”牌子的研究人员不仅很难拿到经费，还经常会遭受业界的白眼。因此，这一时期的人工智能研究人员纷纷将自己的领域改称为“机器学习”或“支持向量机”（SVM）。
  
  这一时期的形势如同“寒冬般”严峻，与再度掀起人工智能热潮的今天相比，可谓是恍如隔世。
  
  在我刚开始从事研究的2007、2008 年，这股寒冬之风尚未过去，身为研究者、开发者的我亦曾对未来感到迷茫。
  
  
  
  黑魔法的影响力似乎越来越强了
  
  在第1 章中，我们介绍了人工智能凭借机器学习技术自程序员 “毕业”的过程。这一技术使得人工智能实现了飞跃性的突破，但同时也给科学工作者及程序员们带来了困扰，即“可解释性与性能之间的权衡”的困扰——为何人工智能系统的性能越高，其可解释性越发不足？这一倾向已经成为人工智能系统开发的前提和重要原则。
  
  这个现象非常奇怪：虽不明缘由，但系统的实力确实在不断增强。处于现代科学第一线的人工智能为何会出现这样令人难以理解的状况？下面就让我们开始说明。
  
  这样问可能有些唐突——大家听说过“黑魔法”吗？就像在童话故事和幻想世界里，魔女在制作神奇的药水时会使用的那种魔法。站在咕嘟咕嘟沸腾着的大锅前，将各种材料投进去，嘴里叽里咕噜念着不明所以的咒语，之后伴随着一阵浓烟，某种功能奇特的神药就这样制作好了……我们经常能在动漫作品里看到这样的画面。
  
  令人惊讶的是，“黑魔法”一词在机器学习领域早已作为俚语流传了下来，成为一些不知如何产生、不知为何有效的神奇技术的代名词。
  
  当然，人工智能所属的信息科学领域本身是由逻辑和数学主宰的。它本该是一个所有事情都能找到其原因和道理的世界，然而在现代信息科学中（尤其是人工智能领域），黑魔法的影响力却似乎越来越强了。
  
  
  
  失败已成为家常便饭
  
  黑魔法的影响力自然也波及了PONANZA。由于是我自己开发的程序，制作时我会考虑得非常仔细，并且若单论电脑将棋领域，我自信对世界顶尖级水准的把握十分到位。
  
  但即使是这样，PONANZA 中也包含了众多的黑魔法。已有相当一部分现象的理由和道理超出了我的理解能力。
  
  “不明白电脑程序的理由和道理”，是指比如无法真正理解为什么在程序中输入这个数值就可以实现呢？为什么这个代码的组合是有效的呢？我们往往只能通过经验和实践来验证，它是有效的。
  
  让我们具体说明。
  
  目前的PONANZA 所实行的改进方针是，想出一些新的改进策略，应用至全局后让它与改动前的PONANZA 自动对战3000 次左右。此时，若新版PONANZA 占有52% 以上的胜率，我们便采用这些策略。
  
  在这里，我们不去单独推敲3000 个对战棋局的具体内容，而是根据统计结果来计算新策略的有效率。或者更准确地说，即便是一一查看，我也无法弄清楚每一场棋的胜因或败因，推敲也就更加无从说起了。这是因为PONANZA 的棋力如今已经远在我之上。
  
  并且，“改进后的程序”与“已经变强了的程序”在下棋之人看来有很大的差别，无法单凭一些
  
  道理将它们画等号。也就是说，我们完全不明白为什么一个好的改进可以使程序变强，它究竟是在什么地方发挥了怎样的作用。
  
  迄今为止，这样的改进方式从经验上看只有不到2％的成功率。也就是说在我们所做的100 次改进里，最终可以使程序变强的只有不到两次。
  
  由于这种种原因，目前PONANZA 的改进作业可谓是一片黑暗，几乎与靠直觉改进没有什么差别。实际上，抱有很大期待但最终失败了的改良已成了家常便饭，很偶尔才能碰到一些成功的改进。因此，那些偶尔才能成功的改进对我来说如同黑魔法一般神秘。
  
  
  
  
  
  黑魔法法之一：懒散的并列性
  
  
  
  为什么成功的改进＝黑魔法？我向大家介绍一个例子——“懒散的并列性”。这个改进不是我发现的，但它在将棋及国际象棋AI 开发领域非常出名，PONANZA 在引入这个黑魔法后实力也得到了显著提升。
  
  为此，我想先向大家介绍一下近些年来CPU的发展状况，内容较为专业，望理解。
  
  我们都听过CPU 这个词。CPU 是Central Processing Unit 的简称，即“中央处理器”。正如其名，它是运行PC 全部处理和计算的“头脑”部分，所以它的好坏与电脑的性能直接相关。
  
  直到不久之前，CPU 都一直在以十分惊人的速度进化着，更新换代的趋势是每隔18 个月就可将CPU 内晶体管（网状的集成电路）的数量增加一倍。各类软件程序仅凭借这一趋势，就可自行让同一代码的运行速度大幅提高。
  
  顺便告诉大家，计算机的处理速度对将棋AI 来说是决定性的。若速度相差2 倍的相同程序进行对战，速度较快的一方会有7 ～ 8 成的胜率。所以直到不久之前，电脑将棋的开发者一直处于吃白饭（坐收渔利）的状态。
  
  不过，英特尔等CPU 售卖巨头早在10 年前便在一定程度上对此种开发模式死心了——支撑其性能提升的集成电路工艺的微细化已经接近了技术天花板。
  
  随后诞生的是“多核”技术。解释来说，就是给一个CPU 配备2 个大脑（内核）。这之后，仅有1 个核的CPU 被称为单核处理器，2 个核的CPU 被称为双核处理器，4 个核的CPU 被称为四核处理器。
  
  多核处理器的厉害之处在于，它可以用2 个以上的大脑共同处理原本只能用1 个大脑处理的问题。我们称之为“并列处理”。
  
  我们能够直观地感受到并列处理所带来的计算机性能的提升，实际上，有相当一部分程序和软件都受到了此项技术的恩惠。
  
  然而，并列处理在将棋程序上的效果却不甚明显。具体原因暂且不论，但通常来说，将棋落子点的搜索工作是以“多个内核协作之后再进行单次处理”的并列形式来完成的，而这一进程的开发并不尽如人意。
  
  我们用餐厅后厨来做比喻，通常的并列化是指多个厨师共同完成一道料理，想来速度应该是会快些。
  
  不过，厨师的人数其实才是能否加速的关键。
  
  由两个厨师共同做单人料理应该没有什么问题。将棋程序在使用双核处理器时的效率也是比较高的。但是当厨师变为8 人、16 人，甚至64 人时会怎么样呢？这么多人共做一道菜，想来效率也会下降吧。况且后厨都不一定容纳得了这么多人。
  
  将棋程序也是如此，当并列处理的内核达到一定数量时，性能的提升就会变得困难。若处理得不好，并列处理反而会使性能恶化。
  
  不过，最近三年出现了一种新的方法，确切地说是将以前的方法优化后得到的——“懒散并列化”。
  
  这个方法并不复杂，简单来说就是“让多个内核分散开处理一个事情”。懒散并列化允许多个厨师同时做一道料理，相互竞争，再将最快做好的料理提供给顾客。
  
  当然，此种方式下各内核的工作过程并不是完全独立的。作业时，各个内核也会将自己偶然发现的有利信息共享给大家。这种轻松的合作关系便被称为“懒散的并列”。
  
  那么，这种“懒散的信息共享法”为什么能够顺利进行呢？原因有很多，但专家们也无法完美说明。若非要解释，大概就是“试了一下就发现成功了”的感觉吧。这听上去毫无逻辑，但或许这的确是事情的真相。
  
  以上便是PONANZA 与黑魔法之间的故事。在这里我想说明的是，我并不讨厌黑魔法，也不害怕PONANZA 逐渐变得黑魔法化。
  
  因为PONANZA 的设计初衷是为了战胜比我厉害千倍百倍的职业棋手。如今，人工智能所追求的应该是超脱了程序员直觉和预想的超高性能。所以PONANZA 必须不断向上，达到我所无法理解的高度。