总结一下STN网络

Net

Net 的目标是学习空间变换参数θ，无论通过全连接层还是卷积层， 最后一层必须回归产生空间变换参数θ。

输入：特征图U ，其大小为 (H, W, C)输出：空间变换参数θ（对于仿射变换来说，其大小为（6，））结构：结构任意，比如卷积、全连接均可，但最后一层必须是regression layer来产生参数θ，记作θ= floc(U)

Grid

该层利用 输出的空间变换参数θ，将输入的特征图进行变换，这个决定了变换前后图片U、V之间的坐标映射关系。

以仿射变换为例，将输出特征图上某一位置(xit,yit)通过参数θ映射到输入特征图上某一位置(xis,yis)，上标t表示，上标s表示，计算公式如下：

输入坐标，获取对应的原图片坐标，然后把原图片坐标上的灰度值给复制过来。

3.

根据步骤2 产生的坐标映射关系，把输入图片U变换成输出图片V。

在计算中， (xis,yis)往往会落在原始输入特征图的几个像素点中间，因此需要利用双线性插值来加权平均(xis,yis)周围点的灰度值，然后复制给输出图片V

4.特点

、Grid 、三者都是可微的，因此它们可以插入到正常的网络构架中，通过反向传播更新参数，无需额外的监督信息。

STN的主要特点：

 模块化：STN可以插入到现有深度学习网络结构的任意位置，且只需要较小的改动。

 可微分性：STN是一个可微分的结构，可以反向传播，整个网络可以端到端训练。

 不需要额外的监督信息

5.实验结果

对MINST数据集做了®, , scale and (RTS), §, (E)，获得输出的图片V。然后计算STN输出的图片V’的误差，进行监督学习