八花书读书笔记-卷积网络 _卷积

全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
CNN是一种专门用来处理具有类似网格结构的数据的神经网络。
一、卷积计算
二、动机
卷积运算通过三个重要的思想来帮助改进机器学习系统：
三、池化
池化函数使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。最大池化（max ）函数给出相邻矩形区域内的最大值。

文章插图
四、卷积与池化作为一种无限强的先验
先验被认为是强或者弱取决于先验中概率密度的集中程度。弱先验具有较高的熵值，例如方差很大的高斯分布。这样的先验允许数据对于参数的改变具有或多或少的自由性。强先验具有较低的熵值，例如方差很小的高斯分布。这样的先验在决定参数最终取值时起着更加积极的作用。
把卷积神经网络想成具有无限强先验的全连接网络可以帮助我们更好地洞察卷积神经网络是如何工作的。
五、基本卷积函数的变体六、结构化输出
卷积神经网络可以用于输出高维的结构化对象，而不仅仅是预测分类任务的类标签或回归任务的实数值。
七、数据类型
卷积网络使用的数据通常包含多个通道，每个通道是时间上或空间中某一点的不同观测量。
八、高效的卷积算法
卷积等效于使用傅立叶变换将输入与核都转换到频域、执行两个信号的逐点相乘，再使用傅立叶逆变换转换回时域。
设计更快的执行卷积或近似卷积，而不损害模型准确性的方法，是一个活跃的研究领域。甚至仅提高前向传播效率的技术也是有用的，因为在商业环境中，通常部署网络比训练网络还要耗资源。
九、随机或无监督的特征
卷积网络训练中最昂贵的部分是学习特征。
有三种基本策略可以不通过监督训练而得到卷积核。
使用无监督的标准来学习特征，使得它们能够与位于网络结构顶层的分类层相互独立地确定。然后只需提取一次全部训练集的特征，构造用于最后一层的新训练集。假设最后一层类似逻辑回归或者 SVM，那么学习最后一层通常是凸优化问题。
十、卷积网络的神经科学基础
卷积网络也许是生物学启发人工智能的最为成功的案例。虽然卷积网络也经过许多其他领域的指导，但是神经网络的一些关键设计原则来自于神经科学。
【八花书读书笔记-卷积网络】下一章传送门：花书读书笔记（九）-序列建模：循环和递归网络

八 花书读书笔记-卷积网络

八花书读书笔记-卷积网络