【论文笔记】Selecting change image for efficie

论文

论文题目： image for

发表于：IET 2021

论文地址：

论文代码： - rfww/tion: image for

变化检测（CD），旨在从两次观测中检测变化的目标。以往基于CNN的CD方法通过从两幅图像中提取多尺度深度卷积特征来检测变化。但固定相机的“Query”图像总会发生变化，也意味着可以从单个图像检测粗变化先验。

本文提出一种有效的CD方法，检测已变化图像中的精确变化。

首先，设计一个变化图像选择器，来识别包含变化的图像；其次，提出一种粗变化先验图生成器，用于在表示变化位置之前生成粗粒度变化；然后，引进一个简单的多尺度CD模块来细化粗粒度的变化检测。

多尺度CD模块只使用一张图。检测性能较好，速度较快。

1

变化检测( , CD)旨在发现同一地点同一时间跨度的两个观测值之间的差异。

观测有2个： 参考图像X（ image X） 和 查询图像Y（query image Y）。

et al.将X和Y拼接成6通道图像，使用全卷积网络检测变化。

但大多数真实场景下，变化总发生在单个图像中。从图像对检测变化需要从观察图提取特征，会浪费计算资源。

，基于图像对，两图视角差异较大，效果不够好，还可能由于两次观测时间跨度较大，会存在相机姿态、光照差异等影响。

本文旨在解决从已变化图像中检测变化的问题。为此，

首先，提出一个变化图像选择器（ image ，CIS），识别包含变化的图像；CIS是一种基于SPP（空间金字塔池化）的结合两幅观测图像特征的二值图像分类器。然后，提出一种粗变化先验图生成器（ prior map ，CCPMG），利用两幅图像的绝对差值来生成粗变化先验图Mp（ prior map Mp），以表示变化位置。再利用多尺度CD模块提取的特征对Mp进行细化。

在不结合其他图像特征的情况下，该方法有3个优点：

main work

CD ：传统的CD方法采用手工制作的特征和精心设计的算法来产生像素级的差异。不需要大量训练图像，且易于实现。但受相机姿态变化和光照差异影响。

Deep based CD ：CNN通过同时学习特征提取器和分类器来提高各种计算机视觉任务的性能。可以从图像中提取有效的特征，克服摄像机姿态变化和光照差异，获得很好的效果。

本文提出一种有效的CD方法，通过选择变化图像和生成粗变化先验图来检测变化，可以缓解不变图像的不良影响。

3

为从变化图像检测变化。首先需要识别变化图像和生成一个粗粒度变化先验图。使用简单的网络结构作为变化图像选择器和粗变化先验图生成器。再设计一个多尺度变化检测模块，从变化图像中检测变化。

Basic

基本特征提取，可以使用任何图像分类网络作为特征提取骨干，文中采用VGG16作为基本特征提取网络。它有5个卷积模块，标记为Conv1，…，Conv5。每个卷积模块中最后一个卷积层的输出是我们的基本特征。

分别表示从X和Y中提取的第一个卷积模块的特征。

对于CIS和CCPMG，只使用X和Y中第一个卷积模块的特征

。

得到变化图像后，从中提取5个不同尺度的特征。

。

为提高特征表示能力，对特征进行融合， 将（i+1）层的融合卷积特征与第i层的卷积特征拼接起来。因此，底层的特征可以编码高级的语义信息。计算公式如下：

image

识别变化图是重要组成部分。将

拼接起来，生成三层全连接网络的特征。再采用SPP生成固定长度的特征向量。CIS架构如下图。

若第一个概率大于第二个概率，则选择X作为变化图像；否则选Y作为变化图像。

图中，用0表示X被选中，1表示Y被选中。

prior map

以往CD方法使用图像差值和阈值来生成变化图。但相机姿态和照明差异会导致不好的CD效果。

高层卷积特征可以提取语义信息，但高层计算成本相较更高，影响检测器效率。

CCMPG网络如图4所示，是一个简单的孪生网络。它有三个卷积块，将

的分辨率降低到80*80、40*40、20*20，捕捉变化目标的多尺度信息。然后将对应级别的特征减去卷积得到绝对差值特征

。这些特征先调整尺寸，再拼接生成

。

其计算公式如（2）所示。还有Mp的生成公式如（3）所示，生成一个两通道图。

GT与粗变化先验图Mp示例。

Multi-scale

Mp只描述变化的粗略位置，需要进一步细化。根据

的尺寸调整

的尺寸，并通过卷积层将其与

融合。利用所得到的特征Fi对变化对象进行编码。提出一种具有自底向上特征增强的多尺度变化检测模块。自底向上的融合特征计算公式如（4）所示。利用融合特征生成预测Pi，最终将多个Pi拼接再卷积生成最后的预测结果Pf。

4

：将该方法与5种CD方法比较：, FCN, , SEU- 。

：VL-CMU-CD 和 CDnet。

：F1- (F1), (Pre), (Re), (Sp), false ratio (FPR), false ratio (FNR) and of wrong (PWC)

on VL-CMU-CD

on CDnet

time

单图预测时间与F1值关系。

5 study

使用不同卷积层特征的CIS精确度与耗时比较。

CCPMG使用不同尺度特征的效果比较。

融合特征图的可视化。

是否使用

的有效性比较。

多尺度CD模块中是否使用自底向上的特征增强的效果比较。

6