一文掌握深度学习卷积结构

2017-09-29 10:52 来源:卷积大全
浏览量: 收藏:0 分享

    首先,定义一下卷积层的参数。

    △kernel 为 3、stride 为 1,利用 padding 的 2D 卷积

  • 卷积核大小:卷积核决定了卷积的视野。在2D卷积中,常见卷积核为 3,即 3x3 像素

  • stride:stride 决定卷积核遍历图像时的步幅大小。默认值通常为 1,我们可以将 stride 设置成 2,对图像进行类似最大池化的下采样

  • Padding:padding 决定处理样本时的边界。(半)填充的卷积使输出空间维度等于输入,而未填充的卷积会裁剪部分边界,如果卷积核大于 1 的话。

  • 输入&输出通道:卷积层通常需要一定数量的输入通道 (I),计算一定数量的输出通道 (O)。所需参数可以通过 IOK 来计算,K 就是卷积核的值。

▍空洞卷积


    △kernel 为 3、扩张率为 2、无边界扩充的 2D 卷积

    扩张卷积向卷积层引入另一个参数扩张率,它决定了卷积核中值之间的空间。3x3 卷积核、扩张率为 2 的卷积视野和 5x5 卷积核的视野相同,并且前者仅使用了 9 个参数。想象一个 5x5 的卷积核,每个都删去第二行和第二列。

    这种卷积用同样的计算成本生成了更大的视野。扩张卷积在实时分隔领域中尤为流行。如果你需要一个宽阔视野,但无力使用多个卷积或更大的卷积核,那么你可以使用这种卷积。

▍转置卷积

    解卷积(deconvolution)这种叫法不太合适,因为这并不是解卷积。解卷积确实存在,但在深度学习领域中并不常见。真正的解卷积是卷积过程的逆转。

    想象一下将一个图像输入到单个卷积层上。再把输出放到黑箱中,然后再次输出的是原始输入图像。这个黑箱就叫作解卷积。这是卷积层执行的数学逆运算。

    转置卷积与解卷积有一些相似,因为它所输出的空间分辨率反卷积层也能够输出。但是,在这些值上真正进行的数学运算是不一样的。转置卷积层使用的是常规的卷积,但仍然能够进行空间分辨率转换。


    △stride 为 2、卷积核为 3 的 2D 卷积和无边界扩充卷积

    一个 5x5 的图像输入到卷积层中,stride 设置为 2,没有 padding,卷积核为 3x3。输出的是 2x2 的图像。

    如果我们想逆转该过程,则我们需要进行数学逆运算,以使我们输入的每个像素都能够生成 9 个值。之后,我们用值为 2 的 stride 遍历输出图像。这就是解卷积。

    转置卷积并不这么做。二者唯一的共同点是输出的都是 5x5 的图像,虽然它执行的仍旧是常规的卷积运算。为了做到这一点,我们需要在输入上执行某种 padding。

    如同你能想象的,这一步不会从顶部逆转该流程,至少在数值方面不会实现逆转。

    它只不过是从前面重建了空间分辨率,且完成一个卷积。这可能不是数学意义上的逆转,但对编码器-解码器架构而言,它仍旧非常有帮助。通过这种方式,我们可以将卷积和图像的 upscaling 结合起来,而不是执行两个独立的流程。 

▍可分离卷积

    在可分离卷积中,我们能把卷积核运算分离到多个步骤中。

    例如,我们可以把一种卷积表达为 y = conv(x, k),其中 y 是输出图像,x 是输入图像,k 是卷积核。下面,假设 k 按 k = k1.dot(k2) 进行计算。这样可使其成为可分离卷积,因为我们不再使用 k 做 2D 卷积,而是通过用 k1 和 k2 做两个 1D 卷积得到同样的结果。


    △X 与 Y 滤波器

  以经常用于图像处理的Sobel核为例。你可以通过乘以向量[1,0,-1]和[1,2,1]的转置向量获得相同的核。在进行相同操作时,这只需要6个参数,而无需9个。

  上述实例展示了空间可分离卷积,据我所知它并不用于深度学习。我只是想让大家在看到这个术语时不会感到困惑。在神经网络中,我们通常使用深度可分离卷积(depthwiseseparableconvolution)。

  这种卷积将执行空间卷积,同时保持通道分离,接着跟从深度卷积。为了便于理解,我们来看一个实例。

  假设我们在16个输入通道和32个输出通道上有一个3x3卷积层。每一个输入通道都由32个3x3内核遍历,产生512(16x32)个特征图。下一步,我们通过叠加每一个输入通道中的特征图,合并形成一个特征图。由于我们这样做了32次,我们得到了32个想要的输出通道。

  对于相同实例上的深度可分离卷积,我们遍历了16个通道(每个带有一个3x3内核),得到了16个特征图。

  现在,在合并之前,我们遍历了这16个特征图(每个带有32个1x1卷积),然后再把它们叠加在一起。相比于上述的4608(16x32x3x3)个参数,这产生了656(16x3x3+16x32x1x1)个参数。

  该实例是深度可分离卷积的特定实现,深度乘数是1,这是目前这类卷积层的最常见设置。

  这么做是因为假设空间和深度信息可被解耦。看Xception模型的表现,该方法似乎是有效的。因其对参数的高效使用,深度可分离卷积也可被用于移动设备。

数邦客微信二维码.jpg

标签:

投稿人:liudan
在线客服