全景拼接自动校直 matlab,一种自动矫直的图像拼接方法与流程
本发明涉及图像处理领域，特别涉及到一种自动校直的图像拼接方法。
背景技术：
：图像涉及到人们生活工作的各个领域。随着计算机相关领域的飞速发展，数字图像处理的应用价值被许多专家学者发现，其应用领域也在不断的壮大。数字图像处理作为一门富有前景的交叉性学科，吸引了很多来自其他科学领域的研究者参与其中，并在基础研究和工程实践中应用广泛。图像拼接技术是数字图像处理中不可或缺的一个关键分支，近年来，伴随着计算机视觉和计算机图形学的发展，图像拼接技术与其他相关技术相结合开拓了不少新兴领域，并成为研究热点。图像拼接技术的主要目的是将含有重叠区域的图像序列映射到同一坐标系下合成为一幅大尺度和宽视角的全景图像。全景图像拼接技术作用领域广泛，目前已普遍应用于虚拟现实、智能交通、灾害预警、军事作战、医疗等多个领域。虚拟现实是一种由计算机系统生成动态的三维立体图像的技术，是近几年来图像处理的热点，图像拼接技术可以用在虚拟现实技术三维立体场景的绘制和重建中，是虚拟现实中一项必不可少的基本技术，利用拼接技术可以生成全方位的三维全景图像,用全景图表示实景可代替三维场景建模。在数字图像拼接技术出现之前，人们通过专业全景照相机旋转拍摄或者手动拼接获取全景图像，这些方法不仅实施困难而且获得的全景图效果不佳。
而如今仅仅一台数码相机和计算机图像拼接技术，任何人都可以制作出视角惊人的全景照片。作为图像拼接的重心，配准和融合是图像拼接中不可或缺的部分。精确的图像配准是图像顺利融合的前提,传统图像配准算法的计算时间复杂度高、速度慢、精度低，无法适应大量图像的拼接，图像配准技术的准确性和实时性在一定程度上决定了图像拼接的效果；图像融合算法是为了消除重叠部分区域的色彩过渡不均和伪影问题，高效的图像融合算法可以有效地提高了图像信息的利用率，改善全景图质量，因此研究图像拼接相关算法是十分必要的。现有的图像拼接技术在拼接多幅图像序列时，由于拍摄的视角变化和误差积累，存在会产生倾斜扭曲现象的技术问题。因此，提供一种自动校直的图像拼接方法就很有必要。技术实现要素：本发明所要解决的技术问题是现有技术中存在的会产生倾斜扭曲现象的问题。提供一种新的自动校直的图像拼接方法，该自动校直的图像拼接方法具有准确性高、实时性高、全景倾斜程度小的特点。为解决上述技术问题，采用的技术方案如下：一种自动校直的图像拼接方法，所述方法包括：(1)使用A-KAZE算法对目标图像及参考图像分别进行特征点提取；(2)将步骤(1)中提取的特征点进行匹配，完成图像配准；(3)根据步骤(2)中图像配准结果，使用基于拼接缝的拉普拉斯多分辨率融合算法进行图像融合，得到融合图像；(4)对步骤(3)所述融合图像进行自动矫直，包括:(x1)记录融合图像左上、左下、右上和右下4个顶点坐标，分别为(a.x,a.y)、(b.x,b.y)、(c.x,c.y)和(d.x,d.y)。
(x2)设定矫直后的4个顶点坐标，左上顶点坐标为(a.x,a.y)，坐下顶点坐标为(b.x,b.y)，右上和右下坐标分别为(X,a.y)，(X,b.y)，X为估计出的矫直后的全景图长度；(x3)根据步骤(x1)及步骤(x2)中4对坐标点建立方程组，计算出变换矩阵XM，将变换矩阵XM作用在融合图像，对融合图像进行双线性插值完成图像矫直，得到自动矫直图像。本发明的工作原理：本发明采用预估计方法进行自动校直。我们获得的全景图是一个倾斜扭曲的图像。为了对矫直后的图像长度进行估计，需要首先记录下全景图左上、左下、右上和右下4个顶点坐标，分别记为(a.x,a.y)、(b.x,b.y)、(c.x,c.y)和(d.x,d.y)。设矫直后的4个顶点坐标，左上和左下坐标不改变，令右上和右下坐标为(X,a.y)，(X,b.y)。其中，X为矫直后的全景图长度，令X＝MAX(c.x,d.x)-a.x。X为预估计矫直后全景图的长度。通过4对坐标点建立方程组即可计算出一个变换矩阵，将该矩阵作用在倾斜扭曲的全景图中，并对全景图进行双线性插值即可完成图像矫直。上述技术方案中，为优化，进一步地，所述步骤(3)中图像融合算法中为改进的基于拼接缝的拉普拉斯多分辨率融合算法，所述改进的基于拼接缝的拉普拉斯多分辨率融合算法包括使用动态规划的方法寻找最优拼接缝，根据最优平接缝限定融合范围，最后使用拉普拉斯多分辨率融合算法在融合范围内进行融合。
进一步地，所述计算最优拼接缝包括：(A)建立能量公式：T(i,j)＝α·EC(i,j)+β·EG(i,j)2(B)以重叠区域交叉P点为起始点，将P点作为拼接缝的第一个像素值，根据步骤(A)中能量公式计算P点的能量值T1；(C)继续向下一行搜索，搜索方向分别为P点正下方、左下方45度和右下方45度，计算P点下一行中正下方像素点的能量值T2、左下方45度像素点的能量值T3和右下方45度像素点的能量值T4，取T2-T4中最小值对应的像素点P′为该拼接缝的搜索点，令P＝P′返回重复执行步骤(C)；(D)将搜索到最后一行获得的搜索点集合作为最优拼接缝；其中，EC代表拼接缝周围5×5区域像素的色调ECH，饱和度ECS和亮度之差ECR。EC＝ECH+ECS+ECR，；EG代表拼接缝周围5×5区域的纹理差。α和β是权重值，α+β＝1，α值为0.79，β值为0.21。进一步地，所述确定融合范围包括：(a)计算最优拼接缝的最小外接矩形的左边界xmin和右边界xmax，设置限定范围ξ，20≤ξ≤40；(b)根据限定范围ξ确定限定的融合区域R′，包括限定范围ξ设定一个最优拼接缝的外接矩形R，限定的融合区域矩形R′，矩形R′的左边界为xmin-ξ、右边界为xmax+ξ；(c)限定的融合区域矩形R′为融合范围。
进一步地，所述20≤ξ≤40，默认取ξ＝30。进一步地，所述拉普拉斯多分辨率融合算法在融合范围内进行融合包括：(1a)建立拼接缝图像的权值图像IR，拼接缝左侧用像素值0填充，拼接缝右侧用像素值255填充；(1b)将目标图像I1和配准后参考图像I2扩充到与权值图像IR尺寸一致，所述扩展部分赋予像素值0；(1c)分别在步骤(1a)及步骤(1b)中的三幅尺寸相同的目标图像I1、配准后参考图像I2及权值图像IR中设置所述限定的融合区域矩形R′内的图像，分别为I′1、I′2及I′R；(1d)根据拉普拉斯分解法，分别对步骤(1c)中所述I′1和I′2进行分解，得出对应的拉普拉斯金字塔L1及拉普拉斯金字塔L2，构建I′1及I′2的高斯金字塔：构建拉普拉斯金字塔：通过Gl+1升采样得到与Gl；(1e)对权值图像IR采用高斯扩展处理，求解权值图像IR的高斯金字塔为GR；(1f)根据LSl(i,j)对I′1和I′2两幅图像的拉普拉斯金字塔对应的层进行融合，得到各层融合图像：(1g)根据步骤(1f)得到拉普拉斯金字塔的各层融合图像，通过重构方法获得融合后的图像：其中，1≤l≤N，0≤i＜Rl，0≤j＜Cl，为5×5的二维可分离窗口函数，h(·)是高斯密度分布函数，与Gl尺寸大小相同。
进一步地，所述步骤(1)总特征点提取包括使用A-KAZE算法对目标图像及参考图像分别进行特征点提取，建立特征描述子集合，具体包括：(1A)构造使用快速显示扩散算法构建非线性尺度空间；(1B)进行特征点检测与定位，包括根据步骤(1A)中非线性尺度空间计算出在不同非线性尺度下的滤波图像Li的海森矩阵，然后利用特征值判断极值，完成特征点检测与定位，得到特征点位置，其中海森矩阵为：(1C)进行特征点描述，包括根据步骤(1B)中的特征点位置，以特征点位置为圆心，搜索半径为3σi的圆形区域内搜索主方向，对圆形区域内的所有像素点的一阶微分值进行高斯加权，将高斯加权结果值作为图像像素点的响应值，在面积为π/4的扇形区域滑动窗口内，对所述扇形区域滑动窗口内所有的响应值求和，使用扇形滑动窗口遍历圆形区域，响应和最大的方向即为特征点的主方向完成特征点描述；(1D)根据步骤(1C)及步骤(1D)获得的特征点的描述信息，采用二进制描述子，对特征点进行描述，建立特征描述子集合；其中，σi为特征点的尺度参数，σi,norm为对应组中图像的尺度归一化比例因子。进一步地，步骤(2)中构建KD-tree包括：①确定分割域，将所述特征点位置坐标设定为二维数据点，分别特征点位置坐标在X维度及Y维度上的方差，取方差最大对应的维度作为当前分割域进行分割；②确定当前节点，将特征描述子集合中的特征点位置坐标按方差最大的维度进行排序，选取排序中的中值作为当前节点，并使用当前节点分割空间域得到左子空间及右子空间，所述左子空间为小于节点值的坐标，所述右子空间为大于节点值的坐标；③根据步骤②中包含于左子空间的坐标及右子空间的坐标为新的特征描述子集合，按照步骤①及步骤②进行迭代划分，直到数据集中的特征点数据为空，获得初始匹配结果。
进一步地，所述步骤(2)中算法包括：(I)根据步骤③的初始匹配结果中的N个匹配对中随机选取r个点对集合，所述r个对集合输入图像的特征点对构成一个可逆矩阵，计算仿射变换矩阵H为：其中，目标图像及参考图像间的仿射变换矩阵关系为：将参考图像点(x′i,y′i)和目标图像点(xi,yi)匹配对应，得出匹配特征点集合，根据匹配特征点集合中r对匹配特征点计算出仿射变换矩阵H；(II)给定距离阀值，根据步骤(I)中仿射变换矩阵H，计算目标图像剩余特征点进行仿射变换矩阵H变换的特征点值与参考图像剩余特征点之间的距离为D1，D1小于距离阈值，当前剩余特征点的匹配特征点为内点；D1大于给定距离阈值，当前剩余特征点的匹配特征点为外点，所述参考图像剩余特征点与目标图像剩余特征点匹配；(III)重复步骤(I)和步骤(II)n次，计算每次的内点数量，完成第n次重复后，取n次中最大内点数与所述最大内点数对应的仿射变换矩阵H，设定最大内点数为内点集；其中，r为正整数，θ为图像旋转角度，u,v为图像沿x轴与y轴方向的水平位移，n为正整数。进一步地，所述n＝300，r＝3。当拼接多幅图像序列时，由于拍摄的视角变化和误差积累会产生倾斜扭曲现象。
因此，本发明提出一种采用预估计的自动矫直的方法对整体图像进行倾斜矫直。改善由拼接导致的累积误差而产生多幅图像拼接的扭曲现象。现有的基于线性滤波的特征点提取算法提取的特征点冗余度高实时性差，本发明运用A-KAZE特征点提取算法来对图像的特征点进行提取，提出一种基于A-KAZE特征的无缝图像拼接算法。提出一种双向KNN算法，分别对参考图像和目标图像建立KD-tree，并分别取其中一个为参考进行KNN匹配。提取两次匹配操作的公共匹配对作为初始匹配。提高特征点提取的实时性和配准的精确性。然后，对图像融合部分进行了改进，提出了基于拼接缝的拉普拉斯融合算法，减少了算法的计算量，提高了实时性，有效的消除拼接过程中产生的伪影和拼接缝。线性高斯滤波会模糊边界，导致图像细节的损失。非线性滤波边界保留完好，克服了线性滤波的缺点。在建立特征点匹配之前，需要将从图像中获得的所有特征描述子集合构建在KD-tree上，建立特征点数据索引。KD-tree的实质是平衡二叉树，是一种对数据在K维空间进行划分的二叉树结构，二叉树的每个节点代表一个数据空间的范围。传统KNN算法是单向的，很多错误匹配会存在于匹配结果中。本发明提出双向KNN算法来提高匹配准确度，减少初匹配中的误匹配对数。
分别对参考图像和目标图像建立KD-tree，为KD-tree1和KD-tree2，采用单向KNN算法从KD-tree1上寻找到目标图像的K(K＝2)个最近邻特征点P1，P2；从KD-tree2上寻找到参考图像的K个最近邻特征点P′1，P′2。目标图像特征点到P1的欧氏距离为d1，到P2的欧氏距离为d2。目标图像特征点到P′1的欧氏距离为d′1，到P′2的欧氏距离为d′2。如果d1/d2≤h，匹配符合条件，将匹配特征加入集合A，d′1/d′2≤h，将匹配特征加入集合B。经过多次实验，获得经验值h(h＝0.6)。提取集合A和B的公共匹配作为初始匹配对，并加入集合C，C中的匹配对即为初始匹配的结果。获得初始匹配结果后，采用算法剔除外点，保留内点，并估算图像之间的仿射变换矩阵，用于将待拼接图像统一到同一坐标系下。当迭代次数增加，概率P同样也会增加。其中，当n＝300，pi＝0.5时，对应变换矩阵估计错误的概率为1.0×10-18。需配准效果和实时性两方面综合考虑，作为经验值，迭代次数一般设置为300次为最佳。图像配准后，直接合成将导致图像拼接处颜色过渡不连续，当有图像中存在移动目标时拼接结果还会存在伪影。
因此，需要找到一个最优拼接缝来消除伪影并隐藏图像边缘。图像拼接缝的位置选取与两个因素有关，一是图像重叠区域的色差，二是图像重叠区域的纹理差异。人眼对颜色差异非常敏感，所以我们需要关注色差。在色差很小的前提下，将纹理差异作为参考因子是为了阻止拼接缝穿过具有较大纹理差异的目标。因此，使用动态规划的方法获取拥有最低能量的拼接缝，使其两侧色差最小，几何结构最相似。预测当前拼接缝区域周围的颜色和几何结构是否相似。它给拼接缝的搜索提供了一个空间的转换,以避免拼接缝两侧产生过大的差异。由于图像拍摄方向不一致，会导致图像曝光度不一样，所以直接进行的图像拼接仍然存在痕迹。传统的多分辨率融合算法直接融合扩展的图像，不适合要求高的实时图像拼接。图像融合的目的是融合拼接缝、消除曝光差异和伪影，其实对拼接缝周围进行融合即可达到融合效果。本发明提出一种基于拼接缝的拉普拉斯多分辨率融合算法，对融合的范围进行限制。限定图像融合在一个有限的范围内可以缩短融合时间并保证融合效率。在融合之前需建立拼接缝图像的权值图像IR，拼接缝左侧用像素值0来填充，右侧用像素值255来填充。求出最优拼接缝的最小外接矩形的左边界xmin和右边界xmax。
多次实验获得融合的限定范围经验阈值ξ，20≤ξ≤40，其中ξ＝30最优。取一个最优拼接缝的外接矩形R，限定的融合区域R′，融合区域R′左边界为xmin-ξ，右边界为xmax+ξ，在该范围内进行图像融合，能够缩短融合时间，提高实时性。图像之间能否正确匹配反映了特征点提取算法的精确性和匹配算法的有效性，为了客观验证图像的匹配效果定义图像之间的正确匹配概率为：A-KAZE算法在实时性上比传统SIFT算法有明显提高，A-KAZE算法在保证实时性的同时，又确保了图像的正确匹配。因此本发明采用A-KAZE算法来替代SIFT算法提取图像特征，提出了基于A-KAZE特征的图像拼接。通过引入全景倾斜程度用于评价拼接后图像与需求图像的符合度。本发明的有益效果：效果一，提高了图像拼接方法的准确性；效果二，提高了图像拼接算法的实时性；效果三，消除了拼接缝和伪影；效果四，消除了由于累积误差产生的倾斜扭曲现象。附图说明下面结合附图和实施例对本发明进一步说明。图1，特征描述子建立过程示意图。图2，双向KNN匹配中从参考图像到目标图像的KNN匹配结果示意图。图3，双向KNN匹配中从目标图像到参考图像的KNN匹配结果示意图。
图4，双向KNN匹配共有匹配结果示意图。图5，经过算法消除错误匹配后的配准结果。图6，最优拼接缝结果示意图。图7，直接拼接结果示意图。图8，权值图像示意图。图9，I1扩充后的目标图像。图10，I2扩充后的参考图像。图11，高斯扩展后的权值图像。图12，融合后的结果示意图。图13，实施例1中对比图一。图14，实施例1总对比图二。图15，传统拼接算法和本实施例中改进算法的拼接时间对比示意图。图16，矫直过程示意图。图17，校直前效果示意图。图18，校直后效果示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。实施例1本实施例提供一种图像拼接方法，所述方法包括：(1)使用A-KAZE算法对目标图像及参考图像分别进行特征点提取；(2)将步骤(1)中提取的特征点进行匹配，完成图像配准；(3)根据步骤(2)中图像配准结果，使用融合算法进行图像融合，得到融合图像；(4)如图16，对步骤(3)所述融合图像进行自动矫直，包括:(x1)记录融合图像左上、左下、右上和右下4个顶点坐标，分别为(a.x,a.y)、(b.x,b.y)、(c.x,c.y)和(d.x,d.y)；(x2)设定矫直后的4个顶点坐标，左上顶点坐标为(a.x,a.y)，坐下顶点坐标为(b.x,b.y)，右上和右下坐标分别为(X,a.y)，(X,b.y)，X为估计出的矫直后的全景图长度；(x3)根据步骤(x1)及步骤(x2)中4对坐标点建立方程组，计算出变换矩阵XM，将变换矩阵XM作用在融合图像，对融合图像进行双线性插值完成图像矫直，得到自动矫直图像；其中，X＝MAX(c.x,d.x)-a.x。
表1为图17及图18全景倾斜程度。校直前校直后全景倾斜程度11.04度0.04度表1图17及图18为校直前后的效果对比示意图。可以很明显的看到，采用本发明方法自动矫直后的全景倾斜程度接近于零。与矫直前的全景图相比，自动矫直后的效果有了很大的提高。优选地，步骤(1)使用A-KAZE算法对目标图像及参考图像分别进行特征点提取，建立特征描述子集合。线性高斯滤波会模糊边界，导致图像细节的损失，非线性滤波边界保留完好，克服了线性滤波的缺点优选地，步骤(2)将步骤(1)中从目标图像及参考图像中获得的特征描述子集合，构建KD-tree，建立特征点数据索引，使用双向KNN匹配算法进行特征点匹配，得到集合C，集合C中的匹配对为初始匹配的结果，对初始匹配结果使用算法剔除外点保留内点，计算目标图像及参考图像间的仿射变换矩阵H，将目标图像及参考图像统一到同一坐标系下，得出配准图像，完成图像配准；所述特征描述子集合包括特征点位置、方向及尺寸。双向KNN算法来提高匹配准确度，减少初匹配中的误匹配对数。步骤(3)中根据步骤(2)中图像配准结果，使用改进的基于拼接缝的拉普拉斯多分辨率融合算法进行图像融合，所述改进的基于拼接缝的拉普拉斯多分辨率融合算法包括使用动态规划的方法计算最优拼接缝，根据最优平接缝确定融合范围，最后使用拉普拉斯多分辨率融合算法在融合范围内进行融合，完成图像拼接。
可以缩短融合时间并保证融合效率。其中，所述步骤(1)使用A-KAZE算法对目标图像及参考图像分别进行特征点提取还包括：(1A)构造使用快速显示扩散算法构建非线性尺度空间，建立图像金子塔；A-KAZE算法采用的是非线性扩散滤波，通特定流函数的散度来描述不同尺度空间上的亮度变化，图像L的非线性扩散方程：div和分别表示散度和梯度算子，导函数c(x,y,t)：表示经过高斯平滑后图像L的梯度值，函数g：λ是控制水平扩散的对比度因子，用来控制图像边缘信息的保留程度，对比度因子越大，边缘信息的保留性越差。A-KAZE特征尺度空间的构建方式中尺度的大小按照对数递增，采用快速显示扩散算法构建图像金字塔，将图像金字塔分为O个组，每一组包括S个子层。A-KAZE组内各层图像均与原始图像的分辨率相同。组O和子层S与尺度参数σ一一对应：σi(o,s)＝2o+s/So∈[0...O-1],s∈[0...S-1],i∈[0...M]其中，M＝O*S是滤波图像的总数，线性滤波以像素级的尺度参数σi为单位，而非线性扩散滤波模型的单位是时间，需要将单位转换成时间ti：ti称为进化时间，用于构造非线性的尺度空间。A-KAZE算法采用快速显示扩散算法求取近似解。
将用显式法离散化后得到：Li+1＝(I+τA(Li))LiA(Li)是图像Li的传导矩阵，τ是步长；I为单位矩阵，先验估计Li+1,0＝Li，一个快速显示扩散周期可得到方程：Li+1,j+1＝(I+τjA(Li))Li+1,jj＝0,...,n-1其中，n为显性扩散的步数；τj表示对应步长：τmax为满足显性扩展稳定性条件时的最大步长。线性高斯滤波会模糊边界，导致图像细节的损失；本实施中非线性滤波边界保留完好，克服了线性滤波的缺点。(1B)根据步骤(1)计算出在不同非线性尺度下的滤波图像Li的海森矩阵，然后利用特征值判断极值，完成特征点检测与定位，海森矩阵为：其中，σi,norm为对应组中图像的尺度归一化比例因子。A-KAZE算法在寻找极值点，包括利用3*3的滑动窗口遍历尺度图像，让每一个像素点和它相同尺度的16邻域点和上下相邻尺度对应的34个点进行比较，从而检测到极值点并确定其位置(1C)为了确保特征点的旋转不变性，特征点确定位置后，根据步骤(1B)中特征点定位结果，以定位结果为圆心，搜索半径为3σi的圆形区域内搜索主方向，对圆形区域内的所有像素点的一阶微分值进行高斯加权，将高斯加权结果值作为图像像素点的响应值，在一个3σi的扇形区域滑动窗口内，对扇形区域滑动窗口内所有的响应值求和，使用扇形滑动窗口遍历圆形区域，响应和最大的方向即为特征点的主方向完成特征点描述；(1D)根据获得的特征点的描述信息后，采用二进制描述子，对特征点进行描述，建立特征描述子；将获取的特征点的位置、尺度和方向信息后建立特征描述子。
A-KZAE算法采用二进制描述子M-LDB对特征点进行描述。二进制描述子M-LDB根据特征尺度σ，对网格进行二次采样，并根据主方向相应的对LDB网格进行旋转，增强了描述子的鲁棒性和旋转不变性。在特征点周围特定领域内选择一个区域块，把每个区域块分成n×n个相同大小的网格，从每个网格单元中提取具有代表性的信息并且对一对网格细胞(i,j)执行二进制测试操作，形成一个3n(n-1)/2位的二进制描述符。二进制测试操作Func(·)＝{(·),(·),(·)}为网格单元中的像素值强度信息；(i)＝(i)为x方向上的梯度信息；(i)＝(i)为y方向上的梯度信息；特征描述子建立过程中如图1，第1行代表3种具有不同像素强度值和分布的图像块；第二行中，PJ1为平均强度值I，PJ2和PJ3分别代表x和y方向的梯度值，黑色实心填充代表左上角网格和白色空心填充代表右下方网格；第三行代表的是三个二进制描述子。步骤(1D)会得到一个二进制字符串，二进制字符串位之间会有较强的相关性从而产生一定的冗余。A-KAZE运用一种随机选择的策略来选择一些最不相关的部分来生成最后的描述符，来减少特征描述符的存储容量。
其中，σi为特征点的尺度参数，σi,norm为对应组中图像的尺度归一化比例因子，Func(·)函数表示从网格单元中提取信息。步骤(2)中，首先将从图像中获得的所有特征描述子集合构建在KD-tree上，建立特征点数据索引。KD-tree的实质是平衡二叉树，是一种对数据在K维空间进行划分的二叉树结构，二叉树的每个节点代表一个数据空间的范围。构建KD-tree的过程包括：①确定分割域，将所述特征点位置坐标设定为二维数据点，分别特征点位置坐标在X维度及Y维度上的方差，取方差最大对应的维度作为当前分割域进行分割；②确定当前节点，将特征描述子集合中的特征点位置坐标按方差最大的维度进行排序，选取排序中的中值作为当前节点，并使用当前节点分割空间域得到左子空间及右子空间，所述左子空间为小于节点值的坐标，所述右子空间为大于节点值的坐标；③根据步骤②中包含于左子空间的坐标及右子空间的坐标为新的特征描述子集合，按照步骤①及步骤②进行迭代划分，直到数据集中的特征点数据为空，获得初始匹配结果。现有的KNN算法是单向的，很多错误匹配会存在于匹配结果中。本实施例提出的双向KNN算法来提高匹配准确度，减少初匹配中的误匹配对数。
方法是，分别对参考图像和目标图像建立KD-tree，KD-tree1和KD-tree2，采用单向KNN算法从KD-tree1上寻找到目标图像的K(K＝2)个最近邻特征点P1，P2；从KD-tree2上寻找到参考图像的K个最近邻特征点P′1，P′2。目标图像特征点到P1的欧氏距离为d1，到P2的欧氏距离为d2。目标图像特征点到P′1的欧氏距离为d′1，到P′2的欧氏距离为d′2。如果d1/d2≤h，匹配符合条件，将匹配特征加入集合A，d′1/d′2≤h，将匹配特征加入集合B。经过多次实验，获得经验值h(h＝0.6)。提取集合A和B的公共匹配作为初始匹配对，并加入集合C，C中的匹配对即为初始匹配的结果。图2为的是单向从参考图像到目标图像的KNN匹配结果。图3为的是双向KNN匹配后提取共有匹配对的结果。图4为共有匹配结果示意图。为进一步提高准确性，优选地，所述步骤(2)还包括获得步骤③中初始匹配结果后，使用算法剔除外点保留内点，求解图像之间的仿射变换矩阵H，将待拼接图像统一到同一坐标系：算法包括：(I)根据步骤③的初始匹配结果中的N个匹配对中随机选取r个点对集合，所述r个对集合输入图像的特征点对构成一个可逆矩阵，计算仿射变换矩阵H为：其中，目标图像及参考图像间的仿射变换矩阵关系为：将参考图像点(x′i,y′i)和目标图像点(xi,yi)匹配对应，得出匹配特征点集合，根据匹配特征点集合中r对匹配特征点计算出仿射变换矩阵H；(II)给定距离阀值，根据步骤(I)中仿射变换矩阵H，计算目标图像剩余特征点进行仿射变换矩阵H变换的特征点值与参考图像剩余特征点之间的距离为D1，D1小于距离阈值，当前剩余特征点的匹配特征点为内点；D1大于给定距离阈值，当前剩余特征点的匹配特征点为外点，所述参考图像剩余特征点与目标图像剩余特征点匹配；(III)重复步骤(I)和步骤(II)n次，计算每次的内点数量，完成第n次重复后，取n次中最大内点数与所述最大内点数对应的仿射变换矩阵H，设定最大内点数为内点集；其中，r为正整数，θ为图像旋转角度，u,v为图像沿x轴与y轴方向的水平位移，n为正整数。
为平衡计算效率和准确度之间的平衡关系，作为优选，进一步地，所述n＝300，r＝3为最佳。设定两幅匹配图像之间特征点正确匹配的内点概率为pi，n次迭代后找到正确变换矩阵的概率：P＝1-(1-(pi)r)n当迭代次数增加，概率P同样也会增加。本实施例中取经验值n＝300时，pi＝0.5，对应变换矩阵估计错误的概率为1.0×10-18。图5为算法排除错误匹配后配准结果。图像配准后，直接合成将导致图像拼接处颜色过渡不连续，当有图像中存在移动目标时拼接结果还会存在伪影。因此，需要找到一个最优拼接缝来消除伪影并隐藏图像边缘。图像拼接缝的位置选取与两个因素有关，一是图像重叠区域的色差，二是图像重叠区域的纹理差异。人眼对颜色差异非常敏感，所以在色差很小的前提下，将纹理差异作为参考因子是为了阻止拼接缝穿过具有较大纹理差异的目标。因此，使用动态规划的方法获取拥有最低能量的拼接缝，使拼接缝两侧色差最小，几何结构最相似。所述步骤(3)中计算最优拼接缝包括：(建立能量公式：(A)T(i,j)＝α·EC(i,j)＝β·EG(i,j)2，(B)以重叠区域交叉P点为起始点，将P点作为拼接缝的第一个像素值，根据步骤(A)中能量公式计算P点的能量值T1；(C)继续向下一行搜索，搜索方向分别为P点正下方、左下方45度和右下方45度，计算P点下一行中正下方像素点的能量值T2、左下方45度像素点的能量值T3和右下方45度像素点的能量值T4，取T2-T4中最小值对应的像素点P′为该拼接缝的搜索点，令P＝P′返回重复执行步骤(C)；(D)将搜索到最后一行获得的搜索点集合作为最优拼接缝；其中，EC代表拼接缝周围5×5区域像素的色调ECH，饱和度ECS和亮度之差ECR。
EC＝ECH+ECS+ECR，；EG代表拼接缝周围5×5区域的纹理差。α和β是权重值，α+β＝1，α值为0.79，β值为0.21。权重值的作用是调整色差和纹理差之间的比例。当值α变大，β值相应会变小，在寻找拼接缝的过程中，将会过多考虑颜色因素并忽略缝合缝两侧图像纹理的影响。本实施例取经验权重值，α值为0.79，β值为0.21。能量公式可以预测当前拼接缝区域周围的颜色和几何结构是否相似。它给拼接缝的搜索提供了一个空间的转换,以避免拼接缝两侧产生过大的差异。最优拼接缝的结果如图6所示，直接拼接如图7所示。由于图像拍摄方向不一致，会导致图像曝光度不一样，所以在实际操作中图像拼接的痕迹仍然存在。传统的多分辨率融合算法直接融合扩展的图像，不适合要求高的实时图像拼接。图像融合的目的是融合拼接缝、消除曝光差异和伪影，对拼接缝周围进行融合即可达到融合效果。本实施例对融合的范围进行限制，图像融合在一个有限的范围内可以缩短融合时间并保证融合效率。为在不影响图像拼接质量的前提下提高拼接效率，减少计算量，优选地，所述步骤(3)中确定融合范围包括：(a)计算最优拼接缝的最小外接矩形的左边界xmin和右边界xmax，设置限定范围ξ，20≤ξ≤40；(b)根据限定范围ξ确定限定的融合区域R′，包括限定范围ξ设定一个最优拼接缝的外接矩形R，限定的融合区域矩形R′，矩形R′的左边界为xmin-ξ、右边界为xmax+ξ；(c)限定的融合区域矩形R′为融合范围。
优选地，所述ξ＝30时，融合效率和融合质量达到最佳平衡。所述步骤(3)拉普拉斯多分辨率融合算法在融合范围内进行融合包括：(1a)建立拼接缝图像的权值图像IR如图8，拼接缝左侧用像素值0填充，拼接缝右侧用像素值255填充；(1b)将目标图像I1和配准后参考图像I2扩充到与权值图像IR尺寸一致，扩充后的目标图像I1如图9，扩充后的I2如图10，所述扩展部分赋予像素值0；(1c)分别在步骤(1a)及步骤(1b)中的三幅尺寸相同的目标图像I1、配准后参考图像I2及权值图像IR中设置所述限定的融合区域矩形R′内的图像，分别为I′1、I′2及I′R；(1d)根据拉普拉斯分解法，分别对步骤(1c)中所述I′1和I′2进行分解，得出对应的拉普拉斯金字塔L1及拉普拉斯金字塔L2，构建I′1及I′2的高斯金字塔：构建拉普拉斯金字塔：通过Gl+1升采样得到与Gl；(1e)对权值图像IR采用高斯扩展处理，求解权值图像IR的高斯金字塔为GR；(1f)根据LSl(i,j)对I′1和I′2两幅图像的拉普拉斯金字塔对应的层进行融合，得到各层融合图像：(1g)根据步骤(1f)得到拉普拉斯金字塔的各层融合图像，通过重构方法获得融合后的图像：其中，1≤l≤N，0≤i＜Rl，0≤j＜Cl，为5×5的二维可分离窗口函数，h(·)是高斯密度分布函数，与Gl尺寸大小相同。
对权值图像采用高斯扩展处理使融合结果在拼接缝处更加平滑，从而使权值图像拼接缝处像素值从0到255缓慢的过渡，降低其阶跃性。通过本实施例方法步骤融合后的实验结果如图12所示。本实施例还设定正确匹配率为图像之间能否正确匹配反映了特征点提取算法的精确性和匹配算法的有效性，客观验证图像的匹配效果定义图像之间的正确匹配概率：本实施例中A-KAZE算法在实时性上比传统SIFT算法有明显提高，A-KAZE算法在保证实时性的同时，又确保了图像的正确匹配。因此本实施例采用A-KAZE算法来替代SIFT算法提取图像特征，提出了基于A-KAZE特征的图像拼接。表2为根据图13及图14，通过限定范围后与限定范围前的拉普拉斯图像融合时间对比结果。表2限定范围后的拉普拉斯融合算法比传统的拉普拉斯融合算法在时间上明显降低许多，全局融合会占用大量时间和空间。在拼接缝周围一定范围内进行融合可以降低时间花销，同时可达到理想的融合效果。除了在实时性上，提高了融合算法的效率，还需对图像融合的质量进行评价。图像融合的客观评价标准就是通过计算图像的统计参数来获得客观的量化指标。为了验证本实施例提出的改进算法的有效性，添加图像融合的质量评价标准来对改进融合算法和传统的加权融合算法进行对比。
本实施例主要从图像的梯度和图像的方差两个方面来进行融合质量评价。表3为传统加权平均融合与本实施例中改进融合方法的结果对比示意图。表3本实施例算法的梯度和方差均比传统加权平均融合质量高，说明本发明改进融合算法获得的图像清晰度更高，更符合实际需求。传统SIFT特征匹配算法的正确匹配率并不稳定，时高时低，并且匹配率普遍偏低。而本发明特征点匹配算法的正确匹配率相对稳定，均可达到75％以上。与传统SIFT特征匹配算法相比，本发明特征点匹配算法的精确性和稳定性更强。图15为传统拼接算法和本实施例中改进算法的拼接时间对比示意图。本实施例拼接算法的拼接速度更快，拼接图像序列越多越能体现出其优越性，更满足实时性的要求。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本
技术领域：
的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本
技术领域：
的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。当前第1页1 2 3
