红外图像与可见光图像融合笔记

红外图像与可见光图像融合

——笔记

图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。

为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。

图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。

针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。

红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。

可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。

利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。

可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。

两者的主要区别有：

(1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。

(2)可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；

(3)可见光图像与红外图像对同一景物的灰度差异不同；

(4)可见光图像与红外图像的纹理和边缘特征不同；

(5)可见光图像与红外图像的像素之间的相关性不同。

图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。

像素级图像融合是最低层次的融合，也是其他层次图像融合方式的基础，它是直接对两幅或多幅图像中的对应像素点进行信息综合处理。像素级图像融合主要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。

特征级图像融合是指将待融合图像进行特征提取产生特征矢量，这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。主要方法有贝叶斯估计法，熵法、模糊聚类法。

决策级图像融合的一般步骤是先对图像相关信息进行属性说明，而后进行融合，最后将得到场景中相关重要信息的融合属性说明的结果作为控制决策的依据。

常用的图像融合方法包括基于空间域和基于变换域融合。

基于变换域：PCA在统计特征的基础上进行的一种多维正交线性变换。将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。PCA 图像融合方法的原理是首先计算待融合图像的相关系数矩阵，求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数，这样便得到了融合后的图像。

高通滤波法(HPF)的图像融合方法原理是首先采用具有较小空间的高通滤波器对待融合图像进行滤波，这样滤波后得到的图像保留了大部分与空间相关的高频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠加到另一幅待融合图像上，这样便实现了图像融合。

IHS空间却与RGB空间不同，它是由亮度、色度与饱和度构成的，分别为I、H、S表示，其它颜色也是由这三个分量构成。亮度I表示的是由其他物体反射的全部能量和图像的空间信息；色度H表示的是色彩组成的主波长，反映的是频谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。在IHS色彩空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用到图像融合技术。

在IHS变换中，把图像由RGB空间变换到IHS空间的变换称为正变换，相反的，由IHS空间变换到RGB模型的变换称为反变换。

基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富的图像进行 IHS 正变换得到三个分量，再用另一幅图像替换掉 I 分量，最后利用新的 I 分量和原来得到的两个分量进行 IHS 逆变换，这样便得出了融合图像。

小波变换的优点表现为图像分解后形成具有不同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合处理奠定基础。这种变换的优点还表现为当利用变换进行重构时，信息会被准确无误的，不会有图像信息损失的重构。而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息，这种分解过程与人类视觉系统的特点相类似。

下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A，B进行小波变换，若进行 i 层变换，便得到 3i 个高频子带和 1 个低频子带，将获得的低频和高频子带作不同融合规则处理，再将处理过的子带实行小波逆变换，便形成了结果图像 F。下图表示其融合原理图。

小波融合局限性：小波分解层数的确定和小波基函数的选取。

首先不同的小波基在对图像进行分解和重构时具有不同的特性，并且没有一种小波基能够对所有图像的处理效果能优于其它的小波基。因此，在选取小波基函数时应根据图像的统计特性进行动态的选取；

对于确定小波分解层数的问题会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质量。然而，随着分解层数的进一步增加，这种良好的特性并不能一直的保持，而是当分解层数达到一定值时融合效果最好，超过此值时融合效果会下降。

Contourlet变换：

因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。小波变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其中 Contourlet 变换是 Do 和 Vetterli 在 2002 年提出的方法。这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。它是用非分离滤波器组构造的，其构造方法与小波类似。它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。

Contourlet 变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并方向接近的奇异点。它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组来获取多分辨率信息和方向信息。

Contourlet 变换的过程是先进行多分辨率分解，这里采用的是 LP 分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行 LP分解，便可以得到一系列不同尺度的低频分量和高频分量图像。每一次 LP 分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组(QFB)进行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。

高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的下采样，这样便得到了高斯金字塔的第一层，然后再对第一层图像低通滤波和下采样,得到高斯金字塔的第二层，依次类推。

其构建过程如下：

这里的l的范围是1-N，表示高斯金字塔的层数。i，j 表示高斯金字塔对应分解层的行数和列数。W( m, n)是一个二维可分离的5*5窗口函数，其表达公式如下：

由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波，然后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像大小的 1/4.

拉普拉斯金字塔分解及重构：

在对G

l 进行内插处理，这样便得到了放大的图像*

l

W。

式中，N为拉普拉斯金字塔分解的最高层次，

i

LP是拉普拉斯金字塔分解的第l层图像，这样一层一层的分解便生成了最终的拉普拉斯金字塔，其中的每一层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相减得到图像的差值；

采样理论：

IHS 变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。

小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量，这三个高频细节分量分别为水平，垂直和对角线方向的高频细节信息。基于小波变换的分解特点，在进行图像融合时可以分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能较好地保留原始图像的光谱信息。但是使用小波变换法实际上是对图像进行高通滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比 IHS 变换复杂。因此将 IHS 变换和小波变换结合起来使用，这样既可以提高融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。

根据红外图像的成像原理，红外图像具有分辨率低，边缘模糊，视觉效果较差，噪声较大等特点。尤其在复杂背景环境中，远距离的红外目标容易被复杂背景所淹没，这将对后续的图像融合造成很大的困难，会严重影响融合图像的质量。

对红外图像采用灰度变换的图像增强处理方法。使用灰度变换可以提高红外图像的对比度，使得红外目标更加清晰明显，更易于后续的融合处理，并且灰度变换算法计算简单快速。

基于IHS 和小波变换的图像融合

在融合时一定要保留红外图像中的目标信息，不然融合就没有了意义。同时，要尽力保留红外图像和可见光图像的边缘信息，否则图像会变得模糊。

基于 IHS 和小波变换的窗口融合算法，这是因为采用区域窗口的方法可以更好的保留两幅图像中的光谱和细节信息。与采用单个像素的融合算法相比，采用区域融合算法更满足人类的视觉系统；

(1)对已配准的可见光图像和红外图像分别进行 IHS 变换和图形增强处理，前者得到I、H、S 三个分量图像，后者使用灰度变换法进行图像增强，增加图像对比度，突出红外热目标。其中灰度变换法采用的是三段线性变换法：

上式中的变量都表示图像的灰度值，三段线性变换法主要是指将图像的灰度值拉伸为三段，变换之前的灰度范围是 f1到 f2，变换后的范围是 g1到 g2；

(2)对所得的亮度 I 分量和已增强的红外图像进行小波分解，这里采用的是

2 层变换，分解后形成相应分辨率的低频子带和不同方向的高频子带；

(3)对小波分解后的低频子带采用基于窗口能量的图融合规则。

(4)对小波分解后的高频子带采用基于窗口标准差取大法的融合规则。

(5)对新合成的低频子带和高频子带进行逐层小波重构，得到新强度分量图

像I

new ，对I

new

与之前的 H、S 分量进行 IHS 逆变换得到最终融合图像。

目前采用广泛的是基于单像素的像素级融合规则。基于单像素的融合算法相对简单，运算速度快，运用一定的融合规则也能取得符合人眼视觉的融合效果。但是，单个像素难以体现出图像的局部特征，而局部特征需要局部区域内像素共同表征，并且人眼视觉感知系统对单一像素不如对区域内像素敏感。因此采用基于单像素融合规则的图像融合结果往往难以体现像素之间的相关性，融合效果往往不够理想。

低频和高频融合规则都采用基于区域窗口的融合规则，为缩短算法的计算时间，选用的是 3*3 的窗口。

小波分解后的低频分量是原图像的近似图像，这个近似图像包含了原图像的主要能量信息，并且其在一定程度上也反应了图像的基本信息；

考虑到红外图像的特点，在红外图像中感兴趣的目标区域为图像中亮度较高的区域，这些区域的特点是灰度值较大，区域能量较大；

低频区域：该算法的基本思想是使用低频分量的窗口能量表征低频系数的重要程度，重要程度高的部分低频系数获得更高的权值；

上式中各个分量的含义如下：A ，B 分别表示需要融合的图像，L 为低频分

量所处的层次，(i,j)m L C 在点(i, j)处的低频分量的灰度值，(i,j)L W 表示权重系

数。融合后低频分量灰度值可由下式来表示：

高频区域：通过小波分解得到的高频分量，包含了除低频分量包含的信息以外的全部图像信息，例如细节、纹理信息等。为了获得好的视觉效果，需要最大、最多的保留这些图像信息；选取在高频部分的规则为基于窗口的标准差取大法，当标准差的值越大时说明灰度值越分散，纹理等信息包含越丰富。

融合规则的原理是首先对两幅待融合图像分别选取一个窗口，而后计算两个窗口标准差的值，比较两个值的大小，选取大的值的分量作为最后分量的值。

可见光图像亮度适中，可视效果好，能够清晰的看到树，房屋和地面等背景信息，但是图像存在较多的烟雾，遮挡了目标信息，因此观察者不能读取全部的目标信息。在红外图像中，可以很容易观察到两个目标人物以及发热源，但是图像其他背景信息例如树木，房屋，地面等都很不明显，纹理也不清晰，轮廓也不是较突出。

在图 4.2 中，图(a)使用传统的 IHS 变换进行的图像融合，该算法是先对可见光图像进行 IHS 变换，形成三个分量，然后用红外图像替换掉其中的 I 分量，同时保持其他分量不变，最后进行 IHS 逆变换形成最终的融合图像。图(b)使用小波变换进行图像融合，它是将红外图像与可见光图像直接进行小波分解后，

低频和高频分量都采用加权平均的融合规则。图(c)采用基于 IHS 和小波变换的融合算法，其融合规则为：低频分量选取红外图像的低频部分作为最终低频，而高频采用基于区域的梯度取最大值的方法，将梯度值最大时的系数作为最终的高频。

主观评价：

从图 4.2 图(a)-图(c)可以看出，图(a)更接近红外图像，保留红外图像信息最多，能够观察到红外目标，并且从可见光图像中获得了一定颜色信息，但是细节纹理信息不明显，颜色失真较大。图(b)整体图像颜色偏暗，彩色信息保留较好，与可见光图像更为接近，并且能够看到烟雾后面的房子，但可视效果并不是很好，同时目标信息丢失明显，并且目标信息不突出，不利于人眼辨别，这就失去了融合意义，因为融合图像一定要显示出所有的目标信息。图(c)与图(a)非常接近，但是图(c)中细节信息保留较好，例如房屋边缘比较明显。图像(d)是利用本文算法融合的，图像在整体亮度方面明显高于其他三幅图像，融合图像不仅保留了可见光图像中的背景信息，例如树木，房子，烟雾，地面等，而且红外图像中的重要信息也均得到了保留，两个目标人物和发热源以及烟雾后面的房屋均清晰可见。同时图像中色彩比较鲜明并且图像边缘较为清晰。通过以上主观

分析可知本算法要优于作为对比的其他三种融合算法。

客观评价：指标选用灰度均值、信息熵、标准偏差和平均梯度。

基于Contourlet 变换的图像融合

IHS 变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中，但是IHS 变换融合方法存在频谱特征的失真及小波变换不能最优的表示二维信息等缺陷。

Contourlet相比于小波变换具有多分辨率、局域化、方向性、各向异性和有效实现的优点，所以它比其他方法更适应于进行多传感图像融合。

将两者结合，可以取得较好的效果：

保留可见光图像中的彩色纹理信息等，光谱扭曲度较小，并且还充分的保留两幅待融合图像的互补信息，包括红外图像中的重要热目标，并提高了融合图像的空间分辨率，具有良好的可视效果。

融合规则均采用基于像素点的融合规则，分别是加权平均法和像素系数取大法。

根据人类视觉系统的研究成果和自然图像的特征，优秀的图像表示方法应具备多分辨率、区域性、临界采样性、方向性、各向异性等特点，其中小波变换可以满足前3 点，但小波变换只能够提供水平、垂直和对角方向，不能实现各个方向，因此具有一定的局限性。Contourlet变换的优点表现为在二维空间中具有更好的局域延展性、方向性等优点；在对于一条曲线进行逼近时，只需要4 个小波系数，而小波变换却需要12 个小波系数，它充分克服了小波变换方向局限性的缺点并且能够很好的捕获边缘纹理细节信息；

该算法实现步骤如下：

(1)对已配准的可见光图像和红外图像进行相应的变换。前者实行IHS 变换，后者为增加图像对比度，突出红外图像中的热目标实行灰度线性变换。

(2)对可见光图像的I 分量和红外图像进行Contourlet变换，分解层数为4 层，得到各自高频和低频分量；

(3)对Contourlet分解所得低频分量采用加权平均的图融合规则。

(4)对Contourlet分解所得高频分量采用像素值取大法的融合规则。

(5)对新分块图像进行Contourlet反变换，得到新强度分量I new，然后再与之前分解得到的H、

S 分量进行IHS 逆变换，这样便得到最终的融合图像F。

能利用IHS 变换增强融合图像的纹理和边缘等细节信息，又能利用Contourlet 变换来弥补 IHS 变换所产生的光谱扭曲问题。

红外图像与可见光图像融合笔记

红外图像与可见光图像融合 ——笔记 图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。 为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。 图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。 针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。 红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。 可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。 利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。 可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。 两者的主要区别有： (1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。

红外图像与可见光图像融合笔记

红外图像与可见光图像融合 笔记 图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。 为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。 图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。 针对IHS变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行IHS变换，对红外图像进行增强，然后将变换后得到的I分量与已增强的红外图像进 行2层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和IHS逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统IHS变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。 红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。 可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。 利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不 能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。 可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。 两者的主要区别有： (1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信 息明显不如可见光图像。

基于视觉显著性的红外与可见光图像融合

第38卷第4期 2016年8月 光学仪器 OPTICAL INSTRUMENTS Vol. 38，No. 4 August,2016 文章编号：1005-5630(2016)04-0303-05 基于视觉显著性的红外与可见光图像融合 华玮平S赵巨岭S李梦S高秀敏〃 (1.杭州电子科技大学电子信息学院，浙江杭州310018; 2.上海理工大学光电信息与计算机工程学院，上海200093) 摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。 关键词：图像融合；红外图像增强；视觉显著性 中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible images based on image visual saliency HUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2 (1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China； 2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093，China) Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the 收稿日期：2015-10-13 基金项目：国家自然科学基金项目（61405052，61378035) 作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。E-m ail:564810049@qq.c〇m 通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。E-m ail:daba〇zjf@https://www.sodocs.net/doc/0a4063890.html,.C n

红外与可见光图像配准

本科毕业设计论文 题 目 红外与可见光图像配准 专业名称 自 动 化 学生姓名 指导教师 毕业时间 2014.06

毕业 任务书 一、题目 红外与可见光图像配准 二、研究主要内容 选题来源于科研项目。红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。配准算法中核心的部分在于特征的提取和特征的匹配两个部分。特征提取拟采用Harris 角点或Susan 角点检测算法，这两种算法稳定性好，也适合实时性场合需要。特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。最终实现一种自动、快速、较高性能的配准方法。 三、主要技术指标 1、开发工具采用OpenCV ； 2、配准时间1秒左右，精度小于1个像素。 四、进度和要求 第1-2周：初步查阅与本次毕设有关的背景知识、论文以及书籍，并进行分析、 总结，理解所研究的问题。 第3-4周：学习掌握OpenCV 、图像配准的相关知识。 第5-6周：实现Harris 角点,ORB 或者BRIEF 法对图像特征进行提取。 第7-8周：确定特征匹配算法。 第9-10周：用OpenCV 实现算法的程序。 第11-12周：用OpenCV 实现算法的程序。 第13-14周：程序测试。 第15-16周：撰写毕业设计论文，准备论文答辩。 五、主要参考书及参考资料 [1] 田伟刚。基于点特征的多源遥感图像配准技术。西北工业大学硕士学位论 文，2008年 设计 论文

[2] 苑津莎，赵振兵，高强等。红外与可见光图像配准研究现状与展望。激光与 红外，2009，39(7)：693-699 [3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedings of the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151 [4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level image processing．Journal of Computer Vision，1997，23：pp45~78 [5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．Pattern Recognition，1980，12：pp269~275 [6] D. P. Huttenlocher，G. A. Klanderman，W. J. Rucklidge．Comparing images using the Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863 [7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distance measures．Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem，Israel，1994：pp566~568 [8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robust Hausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429 [9] 周成平，蒋煜，李玲玲等。基于改进角点特征的多传感器图像配准。华中科 技大学学报，2005，33(11)：pp1~4 学生学号 __________ 学生姓名 指导教师 __________ 系主任

红外和可见光图像融合算法研究

本科毕业设计论文题目红外和可见光图像融合算法研究 专业名称 学生姓名 指导教师 毕业时间

毕业 任务书 一、题目 红外和可见光图像融合算法研究 二、指导思想和目的要求 本题目来源于科研，主要研究红外和可见光图像的特点，学习适合于红外和可见光图像融合的算法，进而编程实现相关算法。希望通过该毕业设计，学生能达到： 1．利用已有的专业知识，培养学生解决实际工程问题的能力； 2．锻炼学生的科研工作能力和培养学生团队合作及攻关能力。 三、主要技术指标 1．学习红外和可见光图像的特点； 2．研究红外和可见光图像的像素级融合算法； 3．编程实现红外和可见光图像的融合。 四、进度和要求 第01周----第02周： 参考翻译英文文献； 第03周----第04周： 学习红外和可见光图像的特点； 第05周----第08周： 研究红外和可见光图像融合的算法； 第09周----第14周： 编写红外和可见光图像融合程序； 第15周----第16周： 撰写毕业设计论文，论文答辩。 五、主要参考书及参考资料 1. 敬忠良. 图像融合——理论与应用. 高等教育出版社. 2. 郭雷. 图像融合. 电子工业出版社. 3. 匡艳. 可见光与红外图像融合技术研究. 电子科技大学硕士学位论文. 4. 童明强. 红外图像与可见光图像融合的研究. 天津理工大学硕士学位论文. 学生 指导教师 系主任 设计 论文

摘要 红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。而通过图像融合是实现这一效果的有效方法，融合后的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及对源图像的进一步分析、理解以及目标检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。 本文针对红外和可见光图像融合算法进行了研究。通过使用计算机图像处理方法，对同一场景的红外图像和可见光图像进行融合处理，得到一副单一的融合图像，它成功包含了两副源图像的信息。本文主要研究了利用MATLAB软件实现对红外和可见光图像的处理和融合，采用对应像素取大值、取小值、平均值，区域能量、区域对比度比较的融合方法，并且对融合结果图像使用信息熵、标准差、平均梯度、空间频率的评价指标进行了分析比较。结果表明，融合结果图像既保留了可见光图像的清晰的轮廓信息，同时也显示了目标物体的表面温度分布情况。 关键字：图像融合，红外图像，可见光图像，MATLAB软件