计 算 机 工 程 第卷 第6期 38

Computer Engineering V ol.38 No.6

文章编号：文章编号：1000—3428(2012)06—0230—03 ·多媒体技术及应用·多媒体技术及应用·

2012年3月

March 2012

文献标识码：文献标识码：A

中图分类号：图分类号：TP391.41

基于梯度投影法的电子稳像算法

齐蕴光，齐蕴光，安 钢，龚正波

(装甲兵工程学院机械工程系，北京 100072)

摘 要：灰度投影法在灰度值单一、对比度差的图像序列中的运动估计不精准，易造成误差。针对该问题，提出一种基于梯度投影法的电子稳像算法。该算法根据梯度帧内变化剧烈、帧间变化稳定、梯度投影曲线变化明显等特点，利用图像的梯度分布情况进行运动估计。实验结果表明，该算法可提高微光图像序列的帧间运动估计精度。 关键词关键词：电子稳像；灰度投影法；梯度投影法；微光图像；光流

Electronic Image Stabilization Algorithm

Based on Gradient Projection Method

QI Yun-guang, AN Gang, GONG Zheng-bo

(Department of Mechanical Engineering, Academy of Armored Forces Engineering, Beijing 100072, China)

【Abstract】In view of the problem that the gray projection algorithm can not deal with low contrast ratio image sequences accurately, this paper presents an Electronic Image Stabilization(EIS) algorithm based on gradient projection method. It can utilize the distribution of the image gradient to estimate motion according to the advantage of gradient feature changes violently intra-frame and changes steadily inter-frame. Experimental results demonstrate that the algorithm can effectively improve the motion estimated accuracy under low-light level image sequence.

【Key words】Electronic Image Stabilization(EIS); gray projection method; gradient projection method; low-light level image; optical flow DOI: 10.3969/j.issn.1000-3428.2012.06.076

1 概述

在目标跟踪过程中，摄像机载体的随机振动和姿态变化产生的不平稳运动会导致视频图像序列的不稳定甚至模糊，这种不平稳运动不仅影响系统的成像质量、造成观测者的视觉疲劳，还会给运动目标检测带来困难。

电子稳像(Electronic Image Stabilization, EIS)是指利用图像处理手段从输入的视频图像序列中去除由摄像机的随机运动造成的图像扰动，使输出图像序列保持稳定的技术手段。帧间运动估计是实现电子稳像的关键环节，目前应用于稳像的运动估计方法有很多，灰度投影法[1-5]是其中的一种重要方法。它能充分利用图像灰度总体分布的变化规律，较准确地估计图像的运动矢量，具有计算量小、精度高的特点[1]。美国ARL研究实验室采用此方法在Demo1号自控目标跟踪系统中实现了图像的实时稳定。

但是投影算法有一定的应用条件，图像的灰度变化应较丰富，具有一定的对比度，否则灰度投影曲线变化不明显，难以精确地求出运动矢量，容易造成误差。通过对图像进行直方图均衡化处理，能在一定程度上处理对比度较差的图 像，增强算法的鲁棒性，但是不能从根本上解决此问题[2]。为此，本文提出一种基于梯度投影法的电子稳像算法。

的像素灰度值，M、N分别为图像投影区域的行、列数。

图像第i行的灰度投影值为：

GrayYk(i)=∑Gk(i,j) (1)

i=sN

图像第j列的灰度投影值为：

GrayXk(j)=∑Gk(i,j) (2)

i=sM

投影曲线反映了图像灰度分布的特点，为方便描述，将图像行方向的投影曲线记为水平投影曲线，将图像列方向的投影曲线记为垂直投影曲线。

2.2 投影滤波处理

当图像的位移量大时，由于每一幅图像的边缘信息是唯一的，因此会导致投影的波形在边缘处的差异性。传统灰度投影通常采用全投影，即将投影区域每行(列)进行映射，行 (列)内的每个像素都参与投影。在进行相关计算时，会对互相关峰值产生影响而降低精度。解决此问题可通过余弦平方滤波器进行滤波，以降低边界信息的幅值而保留中心区域的波形，从而降低边界对互相关的峰值的影响，提高运动矢量的检测精度。

2.3 互相关计算

将当前帧k的水平、垂直投影曲线与参考帧r的水平、垂直投影曲线做互相关运算，根据2条相关曲线的唯一谷值即可确定当前帧相对于参考帧的行、列位移矢量值。设m为位移矢量相对于参考帧的搜索宽度，以水平相关运算为例，计算公式如下：

作者简介：作者简介：齐蕴光(1983－)，男，博士研究生，主研方向：电子稳像，运动目标检测与跟踪；安 钢，教授；龚正波，博士研究生 收稿日期：收稿日期：2012-01-06 E-mail：qiyunguang@http://

2 灰度投影法

灰度投影法是一种基于投影算法的稳像方法，利用图像

灰度分布变化的特点求取图像帧间运动向量，分为灰度映射和相关计算2个步骤。

2.1 灰度映射

对输入的二维图像进行预处理后，将其灰度信息映射成2个独立的一维投影序列。设Gk(i,j)为第k帧图像点(i,j)处

第38卷 第6期 齐蕴光，安 钢，龚正波：基于梯度投影法的电子稳像算法 231

1M

∑GrayXk(j+w) GrayXr(j) C)= M w 0≤w≤mj=1

kr(w 1M Mw∑GrayXr(j+w) GrayXk(j) m≤w≤0

j=1

(3)

同理，得到垂直投影相关运算Ckr(w)。水平、垂直相关运算的谷值 y、 x即当前帧对应参考帧的移动位移。当 x为正时表明当前帧相对于参考帧向右移移动了 x像素，为负时表明当前帧相对于参考帧向左移动了 x像素；当 y为正时表明当前帧相对于参考帧向下移移动了 y像素，为负时表明当前帧相对于参考帧向上移动了 y像素。

2.4 灰度投影法的优缺点

灰度投影法优点是灰度曲线匹配速度快，有较高的稳像速度。然而该算法也存在如下缺点：(1)对灰度值单一的图像处理效果不佳，当图像灰度值单一、对比度很差时，会造成投影曲线很平，相关以后波谷不够明显，导致运动估计不精确。(2)只能够估计出行、列的平移运动矢量，不能匹配出图像旋转的角度矢量。(3)灰度投影法是基于整幅图像的投影，对于内部物体的运动，不能反映出来。内部运动物体会对投影的匹配造成一定的影响。

3 基于梯度投影法的电子稳像算法

基于上述分析，本文提出一种基于梯度投影法的电子稳像算法。该算法实现的基本思路与灰度投影法相同，不同的是利用的是图像的梯度分布情况进行运动估计。具体实现步骤如下：

(1)由于梯度运算对噪声敏感，为了提高算法的准确度，需要对图像进行平滑处理，本文选择使用Wiener函数对图像进行预处理。

(2)使用Prewitt梯度算子计算参考帧和当前帧的梯度值，得到2幅图像的水平、垂直梯度投影曲线。

(3)对2幅图像的行、列梯度投影分别进行相关运算，通过谷值检测，得到图像的偏移量 y、 x。

得到水平、垂直方向位移矢量后，把当前图像向位移矢量的反方向运动相应大小的像素距离，即可实现输出图像序列的稳定。为了减少边界的影响，一般对梯度投影曲线进行截断，取中心部位的区域进行相关计算。

4 实验结果与实验结果与分析结果与分析

微光图像利用的是微弱的夜天光辐射光谱区域，由于目标与背景对光线的反差比较小，灰度级有限，因此成像对比度差、图像平淡，难以分辨细节。为了测试GPA法在灰度值单一、对比度差的图像下的运动估计效果，选取微光图像序列的连续2帧图像，如图1所示，当前帧相对于参考帧发生了抖动，且存在缓慢运动的车辆，图像大小为300×400像素，帧速为

24帧

/s。

(a)参考帧 (b)当前帧

图1 微光图像序列

计算2帧图像的灰度直方图，可以观察到图像灰度值集中在140~230

的区域间，对比度较差。参考帧的灰度直方图如图2

所示。

值

度

灰

值

关

相

232 计 算 机 工 程 2012年3月20日

20

10

(d)行梯度投影相关曲线

图4

本文算法的投影曲线本文算法的投影曲线与

投影曲线

与相关曲线

可以观察到，灰度投影曲线起伏平稳、变化缓慢，相关

曲线在谷值附近较平缓，因此定位不精准、容易产生误差；而梯度投影曲线起伏明显，变化剧烈，相关曲线谷值明显，定位精确。

4.2 稳像效果评估

图5为灰度投影法和本文算法进行帧间全局运动参数估计后，对当前帧进行运动补偿后的稳像效果。

(a)灰度投影法的稳像帧

(b)

本文算法的稳像帧

图5

2

种方法的稳像效果对比

种方法的稳像效果

对比

本文采用差影法和光流法对2种算法进行评估，对比 2种算法的估计精度。

(1)差影法

差值图像提供了图像间的差异信息，可以利用差影法比较稳像算法的准确性和精度，2种算法稳像帧和参考帧之间的差分图像如图6所示。

(a)灰度投影法 (b)本文算法

图

6

2种算法稳像后种算法稳像后的

稳像后

的

差分结果

灰度投影法由于运动估计不精确造成了差值不为

0的亮

区域；本文算法稳像后的差分图像背景部分像素差很小，接近于

0，而亮区域是由运动目标造成的，有利于进一步对运动目标进行识别。

(2)光流法

利用LK光流法[6]进行参考帧和稳像帧间的光流场估计，计算结果如图7所示。

(a)灰度投影法 (b)本文算法

图7 2种算法稳像算法稳像后稳像后的光流场

灰度投影法由于帧间运动估计产生了误差，导致光流场中包含了误差造成的全局运动光流；而本文算法由于稳像精准，得到的光流场是由图像内运动目标造成的，因此可以很好地检测到运动目标检测区域，为下一步的目标检测和自动跟踪的实现提供条件。

利用上述方法对40组样本进行了评估，采用本文算法 进行运动估计的正确率达到了97.5%，而灰度投影法估计的正确率仅为80%，进一步说明了本文算法的有效性和精确 性。同时，由于本文算法相比灰度投影法仅增加了梯度运算的环节，因此运算量方面没有明显的增加，依然可以满足稳像的实时性要求。

5 结束语

本文提出了一种基于梯度投影法的电子稳像算法。实验结果证明，该算法能提高微光图像序列的运动估计精度，具有一定的应用价值。然而，本文算法同样存在无法识别旋转运动以及对运动物体估计不精确等问题。由于本文算法与灰度投影法的基本思路和实现方法相似，因此将针对这些问题的灰度投影改进方法引入到梯度投影法中，也可以得到良好的效果。

(下转第235页)