总结一下STN网络

Net
Net 的目标是学习空间变换参数θ，无论通过全连接层还是卷积层，最后一层必须回归产生空间变换参数θ 。
输入：特征图U，其大小为 (H, W, C)输出：空间变换参数θ（对于仿射变换来说，其大小为（6，））结构：结构任意，比如卷积、全连接均可，但最后一层必须是regression layer来产生参数θ，记作θ= floc(U)
Grid
该层利用输出的空间变换参数θ，将输入的特征图进行变换，这个决定了变换前后图片U、V之间的坐标映射关系。
以仿射变换为例，将输出特征图上某一位置(xit,yit)通过参数θ映射到输入特征图上某一位置(xis,yis)，上标t表示，上标s表示，计算公式如下：

文章插图
输入坐标，获取对应的原图片坐标，然后把原图片坐标上的灰度值给复制过来。
3.
根据步骤2 产生的坐标映射关系，把输入图片U变换成输出图片V 。
在计算中，(xis,yis)往往会落在原始输入特征图的几个像素点中间，因此需要利用双线性插值来加权平均(xis,yis)周围点的灰度值，然后复制给输出图片V
4.特点
、Grid 、三者都是可微的，因此它们可以插入到正常的网络构架中，通过反向传播更新参数，无需额外的监督信息。
STN的主要特点：
模块化：STN可以插入到现有深度学习网络结构的任意位置，且只需要较小的改动。
可微分性：STN是一个可微分的结构，可以反向传播，整个网络可以端到端训练。
不需要额外的监督信息
5.实验结果
【总结一下STN网络】对MINST数据集做了?, , scale and(RTS),§,(E)，获得输出的图片V 。然后计算STN输出的图片V’的误差，进行监督学习