周志华新作《机器学习理论导引》阅读攻略( 二 ) _理论

教材市场的这种现状其实并不奇怪，症结在于机器学习的基础理论一点也不“基础” 。我们说过，学习理论是机器学习理论的理论，是高度抽象的学习理论框架。看到“高度抽象”几个字，你也许会突然明白点什么。初次翻《机器学习理论引导》，特别是以前已经看过一些机器学习相关教材的同学，可能会有种用头雾水的感觉。我们习惯看到机器学习的书里面用不同的章节介绍线性模型、决策树、神经网络之类的知识，但《机器学习理论导引》这本书却不是这么回事，翻开目录，除了第一章预备知识里提了一嘴支持向量机，正片里全是可学性、复杂度、遗憾界之类搞不清从哪冒出来的怪词，搞不清和我们过往熟悉的那一套机器学习知识都有什么关联，自然就不太容易搞清楚应该怎样阅读。
这也正是本文的重点，这本书书名叫《机器学习理论导引》，定位是“导引” ，不过正如上面所说，学习理论高度抽象，连《导引》翻开都是陌生艰涩的名词，容易让人摸不着头脑。我想，如果再有一篇《导引》的导引，介绍一下这本书都写了些什么内容，都有什么作用，又是按什么逻辑串在一起的，读起来也许就友好多了。

文章插图
那么接下来我们就专聊怎么读的问题。《机器学习理论导引》这本书介绍的是机器学习中的学习理论，本书一共八个章节，除了第一章预备知识外，每章介绍一种学习理论的问题，一共介绍了七种重要概念和理论工具。“七”这个数字在周老师看来有着非凡意义，周老师在前言里自曝是武侠迷， “七”让他一下想起了古龙先生的代表作《七种武器》，而第七种武器正好是“什么都能往里装”的神奇箱子。周老师说，他忍不住要致敬《七种武器》，这就有了封面的宝箱， “宝箱书”也因此而得名。
学习理论的研究对象是机器学习是怎样学习的，很多的课题，哪怕此前已经对机器学习有所了解，可能刚接触时仍会感到陌生。要比较流畅地阅读本书，首先需要了解《机器学习理论导引》是根据怎样的组织逻辑、按照怎样的主线介绍学习理论。
首先讲的是可学性，这是学习理论的基础。先说说“可学性”这个词，是不是给人一种每一个字我都认识，但合在一起就不知道是什么意思的感觉？这个词和机器学习中的“学习”密切相关，英文叫，直译过来就是可学（习）性。听起来很复杂，其实意思很简单，机器学习的能力是有上限的，这里不是指某一款模型，而是在座的各位，也就是有些任务是无法通过机器学习来完成的。如果把机器学习要完成的任务看作是一道数学题，那可学性指的就是这道题是否有解，也就是能否通过机器学习来达到目标，反之亦然。
这一章有一个非常重要的学习理论，需要重点学习，叫概率近似正确理论，一般采用它的英文缩写，写作PAC理论。PAC理论是学习理论中最基本的理论，不难想见， “学习能力”是一个高度抽象的概念，我们可以用直白的语言解释它的含义，那要给出形式化的定义并不容易。PAC学习正是给出了一个抽象刻画机器学习能力的框架。这是一项开创性的工作，由图灵奖得主创立，并籍此开创了“计算学习理论”这个新的研究领域。