周志华新作《机器学习理论导引》阅读攻略 _理论

文章插图
最近在读《机器学习理论导引》。这本书是西瓜书的作者周志华老师领衔、南大LAMDA四位教授共同撰写的新书，权威就自不必说。封面画了一只充满了阿里巴巴和四十大盗风格的木箱子，一看就是童话故事官方指定用来装宝贝的那一种，大家就按惯例起了个绰号，叫“宝箱书” 。

文章插图
刚接触机器学习应该都有一个共同的感觉，就是机器学习不太好学习。主要的难题有两个，第一个自然是数学，机器学习需要大量的数学基础知识，一个个张牙舞爪的数学公式很容易让人望而却步。可是，当我们好不容易鼓起勇气，为了学好机器学习，决心和数学死磕到底，我们很快又会遇到第二个难题，知识面太过宽泛，就算愿意硬啃，也让人无从下嘴。
我在以前的文章反复说过，机器学习是算法，不是一种算法，是一群算法的总称。机器学习虽然要求解的问题来来去去就那几个大类，但解题思路是一个赛一个精奇，不同思想下设计出来的算法自然也就犹如八仙过海。精彩是挺精彩的，但是自然涉及的数学基础自然五花八门，从学习的角度来看，总感觉要学的东西东一块西一块的不成体系，缺乏一条循序渐进的主轴，甚至连起点在哪里都不太好找。
《机器学习理论导引》就是要解决这个问题。这本书的定位是“给学习和研究机器学习理论提供一个入门引导” ，这话是我从书里抄的，写得相当官方，如果没看完这本书，光看这句话确实不太容易明白究竟是什么意思。其实很简单，我们学习一门知识，习惯上总是从基础学习，毕竟从小就说要夯实基础再往上学嘛。可是，上面已经说了，机器学习的理论知识客观上确实存在并非同根同源的问题，真的能找到所谓的“机器学习基础理论知识”吗？
答案是可以的。机器学习算法脑洞频闪，但既然都叫机器学习，那自然都能抽象出一些共同的特点来，能够被归入同一套学习框架之中。这套从机器学习中通过高度抽象而来理论框架，就叫学习理论，顾名思义，是专门研究机器学习如何学习的理论体系，是机器学习算法理论的理论，这也是《机器学习理论导引》的主要内容。
如果你对这个词很陌生，不要紧，它是本篇的主角，接下来我们会用很长的篇幅介绍学习理论到底都研究哪些问题。总而言之，和机器学习算法散漫的知识点相比，学习理论显然更为系统，看上去更符合我们平时印象当中的“基础理论体系” 。
那难道其它教材都不知道有学习理论的存在吗？当然不是，实际上很多的机器学习教材都有涉及。不过，市面上机器学习的教材主要还是着眼于算法，对学习理论的介绍通常分散在不同的章节当中，仍然无法避免知识点割裂的问题。另一些教材为了强调逻辑的关联，选择了另一个极端，即只选择学习理论中具体的某一种深入介绍，有一点研究专著的意思，这种选择确实能够避免了割裂问题，但同时也只好牺牲了知识的全面性。