Inferring Camouflaged Objects by Texture

AAAI 2021

J Zhu, X Zhang, S Zhang, J Liu

论文地址

一、简介

我们提出了一种具有多个提示并设计了用于异构特征融合的FGM模块的纹理标签，FGM模块使用两种类型的具有丰富语义信息的高级特征，以指导一种具有丰富细节的低级特征。

我们介绍了用于双向特征优化的FGD解码器，其中分割特征抑制了纹理特征的背景噪声，并使用精细纹理功能来推断更准确的分割特征。从纹理感知和整体感知的角度，TPD和HPD解码器进一步优化FGD的结果。

二、方法

2.1 TINet纹理标签

通过观察COD数据集，发现伪装对象并确认边界的人类思维过程如下：通过全局显著区域、局部清晰的边界或者独特的形状来推断整个对象，然后将物体的纹理与背景进行比较。

我们使用Canny算法在对象内找到明显的线条，并添加轮廓边缘以获得纹理maps。在制作纹理maps时，使用9×9的高斯内核平滑图像，并设置Canny的阈值为50-100。

实际上就是用边缘加上Canny提取的边缘做了一个纹理maps。

2.2 感知解码器

PD感知解码器：

感知解码器PD从不同角度感知伪装物体，包括整体感知，边缘感知和纹理感知。在特征提取阶段，更高级别的特征将会失去一些重要的特征信息，因此，将顶层的低级特征反馈到其他层，可以优化高级特征。

如图3有HPD和TPD模块，HPD用于做分割任务，TPD用于做纹理任务。

PM感知模块

感知模块PM实现了相同类型特征的融合。其根据类型可以分为三类。第一类是用于COD的纹理感知模块（TPM），第二类是用于SOD的边缘感知模块（EPM）和整体感知模块（HPM）。

通常，高级特征具有更丰富的语义信息，而低级特征保留更多细节（包括背景噪声和前景细节）。

HPM模块利用高级分割特征来指导低级分割特征以获得新的低级分割特征。HPM分为两步：第一步，高级特征和低级特征通过元素相乘融合在一起，这使得低级特征的背景噪声被抑制并保留了前景细节。第二步，通过元素相加的方式，将融合的特征用来指导低级特征。元素相乘是相对粗糙的，如果高级特征的分割信息不准确，低级特征中一些有用的细节信息将会被抑制。所以，元素相加可以补充低级特征的细节，以防止错误的高级特征融合。每次操作都是用CBR（卷积、BN和ReLU）。

在这里，C表示CBR。

2.3 特征交互引导解码器（FGD）

在图3中，FGD-S和FGD-T由多个FGM组成的互补解码器，可以有效地使用多级分段特征和纹理特征来逐步细化伪装物体检测和纹理检测。FGM-S和FGM-T都是使用两种类型的高级特征来指导和优化一种类型的低级特征。

对于FGD-S，具有丰富语义信息地高级分割和纹理特征可以帮助低级分割特征一致背景噪声和保留细节信息。

特征交互引导模块FGM是PM地增强版本。FGM模块增加了另一种类型地高级特征，以实现双指导。

2.4 交互式指导结构

比较了几种交互式结构。

结构1对于纹理标签任务有最佳性能，结构2对于SOD任务有最佳性能。

在COD任务中，低级纹理特征的伪装对象不明确且易于生成错误引导，然而，高级纹理特征有利于伪装对象的定位，因此，高级纹理特征的引导效果更好。

在SOD任务中，显著对象的边界相对清晰，低级边缘特征具有高可信度。

图4（b）（c）（f）（g）显示交互式指导的有效性。 （d）是EGNet生成的边缘图，它通过显示建模并且仅使用最低级别的边缘特征。 （b）显示了我们模型的多层次交互式优化的影响。 （g）（h）表示COD中的纹理特征相对于边缘特征的优势。

2.5 边界像素感知损失（BPP）

边界的准确性直接影响检测结果。因此具有拐角感知能力的BPP损失集中在边界上，通常直边相对容易检测。加强边界两侧像素的训练有助于模型准确的区分细节。

三、实验