花书-卷积神经网络( 三 ) _卷积

卷积核计算：如果输入图像宽度是m，核的宽度是k,输出的宽度会变成m-k+1 。
卷积的运算：
下采样的运算：下采样是起到针对数据大小之间进行压缩的作用。
s称为下采样的步幅。
多层感知机：使用一些局部连接的网络层，多层感知机对应的邻接矩阵是相同的，每一个连接都有它自己的权重，用一个6维的张量W来表示。W的索引分别是：输出通道i，输出的行j和列k，输入通道l,输入行偏置m,列偏置n 。
局部连接层的线性部分表示为：
转置运算返回的输出的大小取决于三个方面：零填充的策略，前向传播运算的步幅以及前向传播的输出映射的大小。
计算所需的所有梯度：卷积，从输出到权重的反向传播和从输出到输入的反向传播。
图，局部连接层，平铺卷积核标准卷积的比较。此图使用两个像素宽的核。(上)局部连接层没有共享参数,(中)平铺卷积有t个不同的核，其中一个核标记为‘a’和‘b’的边，另一个标记为‘c’和‘d’的边.(下)传统卷积只有一个核，被应用到各个地方，各种使用具有标记为‘a’和‘b’的边。
9.6结构化输出
卷积神经网络可以用于输出高维的结构化对象，而不只是预测分类任务的类标签或回归任务的实数值。
模型可以产生张量S,其中Si,j,k是网络的输入像素(j,k)属于类i的概率。这允许模型标记图像中的每个像素。
维度的较少：网络空间维数的最大减少来源于使用大步幅的池化层。
9.7数据类型
9.8高效的卷积运算
卷积等效于使用傅里叶变换将输入与核都转换到频域，执行两个信号的逐点相乘，再使用傅里叶变换转回时域。
9.9随机或无监督的特征
卷积网络训练中最昂贵的部分是学习特征。
当使用梯度下降执行监督训练时，每步梯度计算需要完整地运行整个网络的前向传播和反向传播。
有三种方法可以不通过监督训练得到卷积核。
1是简单地随机初始化它们。
2是手动设计它们，例如设置每个核在一个特定的方向和尺度来检测边缘，可以使用无监督的标准来学习核。例如，将k均值聚类算法应用于小图像块，使用每个学得到的中心作为卷积核。
9.10卷积网络的神经科学基础(从微观到宏观的描述)
卷积网络是生物学启发人工智能的最为成功的案例。
卷积网络层被设计为描述V1的三个性质：
1.V1可以进行空间映射。它实际上具有二维结构来反映视网膜中的图像结构。
2.V1包含许多简单细胞。这些细胞的活动在某种程度上可以概括为在一个小的空间位置感受野内的图像的线性函数。卷积网络的检测器单元被设计为模拟简单细胞的这些性质。
3.复杂细胞对于特征的位置微小偏移具有不变形。这启发了卷积网络的池化单元。
9.11卷积网络与深度学习的历史
卷积网络是第一批能使用反向传播有效训练的深度网络之一。