河北工业大学

硕士学位论文

移动机器人运动目标检测与跟踪系统研究

姓名：冯乐涵

申请学位级别：硕士

专业：机械工程

指导教师：张明路

2010-12

河北工业大学硕士学位论文

移动机器人运动目标检测与跟踪系统研究

摘 要

在人类所感知的环境信息中，视觉信息占了非常大的比重，而动态视觉信息更是其主要组成部分。计算机视觉是用计算机模拟人眼功能，从图像或者图像序列中提取信息，对外界环境中的事物进行形态和运动识别。在各种光学图像中，彩色图像是对外部客观世界最为逼真的描述。相比灰度图像来说，对彩色图像的处理可以获得更大的信息量。

本文针对彩色运动目标检测与跟踪技术开展研究工作，解决了色彩分割、形状检测、目标跟踪等技术问题，搭建了基于移动机器人的彩色目标识别与跟踪系统，并完成了相应的实验。论文的主要工作及研究成果如下：

首先，分析了移动机器人运动目标检测与跟踪系统的功能及性能指标，设计了系统的总体组成结构并构思了各子系统的实现形式。

其次，研究了运动目标检测和跟踪算法。一方面，设计了基于颜色特征和形状特征的目标物分割算法，实现了对图像中彩色目标物的有效分割。另一方面，对经典Camshift跟踪算法进行了改进：实现了该算法的全自动化；将Kalman滤波器融入其中，提高了算法在目标物遮挡情况下的鲁棒性；通过参数设置，使该算法在出现跟踪失败的情况时能够及时重新初始化，进入新一轮的目标检测及跟踪。本文通过OpenCV实现了运动目标检测及跟踪算法，并通过实验验证了该算法的可行性。

最后，建立了移动机器人运动目标检测与跟踪系统。该系统将上位机图像处理的结果以无线方式传送给下位机，再由下位机控制移动机器人实现对运动目标的跟踪。该系统还装有超声测距装置，可以实时感知机器人与运动目标之间的距离，从而有效避免了机器人与目标物之间的碰撞。

关键词：运动目标检测，图像分割，运动目标跟踪，Camshift算法，移动机器人，OpenCV

i

移动机器人运动目标检测与跟踪系统研究

RESEARCH OF MOVING TARGET DETECTION AND

TRACKING SYSTEM BASED ON MOBILE ROBOT

ABSTRACT

The visual information, especially the dynamic visual information, occupies most of the composition among the environment information perceived by human beings. Computer vision is the use of computer to simulate human eyes system. It could get information from image sequence, and recognize the configuration and feature of the goal object. Because color image can describe objects better than the gray-level image, more information can be obtained from processing color image.

The paper focuses on the research of moving target detection and tracking system, solving the technical problems such as the color segmentation, form detection and target tracking. It finally achieves the color target recognition and tracking system based on the mobile robots and completes the corresponding experiments. The major work and results of the paper are as the following:

Firstly, the performance and function indexes of the mobile robot moving target detection and tracking system are analyzed. And the general structure composition of the system and the realization forms of all subsystems are designed.

Secondly, moving target detection and tracking algorithm are investigated. The paper designs the target segmentation algorithm based on the characteristics of color and shape, which successfully divides the colored targets in the images. The classic Camshift Algorithm is improved: achieved the complete automation of Camshift. The Kalman filter is added into the Camshift, which increases the robustness of the algorithm when the target is sheltered. By setting the parameters, the algorithm can reinitialize and begin a new round of detection and tracking immediately when its track failed. The feasibility of the algorithm of the target detection and tracking designed in this paper is proofed by the experiments.

Finally, the moving target detection and tracking system based on mobile robots is established. The system transmits the image results dealt by the upper computer to the lower computer on wireless way. The mobile robot controlled by the lower computer tracks the object. This system has ultrasonic distance measurement system, which could perceive the distance between the robot and the target, avoiding the impact of the robot and target.

KEY WORDS: moving target detection, image segmentation, moving object tracking, Camshift algorithm, mobile robot, OpenCV

ii

河北工业大学硕士学位论文

第一章 绪论

§1-1 研究背景和意义

视觉是人类信息交流的一种重要方式，它不仅指对光信号的感觉，还包括了获取、传输、处理、存储和理解视觉信息的全过程。网络及多媒体技术的飞速发展进一步扩大了视频图像的应用范围，使之逐渐成为信息传播的主流载体之一。由于视觉在人类感知中的地位非常重要，视频图像技术一直都是科学研究的热点所在[1]。

机器视觉可以代替人类的视觉从事目标检验、目标跟踪、机器人导航等方面的工作，在一些需要重复、迅速的从图象中获取精确信息的场合下，机器视觉与人类视觉相比，具有更加敏锐的洞察力和持续工作的能力。尽管在目前软硬件技术条件下，机器视觉功能还处于初级水平，但其潜在的巨大应用价值已经引起了世界各国的高度重视，发达国家如美国、德国、日本、法国等都投入了大量的人力物力开展研究，近年来已经在机器视觉的某些方面获得了突破性的进展，机器视觉在自动化技术、车辆安全技术等方面的应用中也越来越显示出其重要作用[2]。

在移动机器人视觉系统的研究中，目标检测、目标定位和目标跟踪是目前研究的热门问题，从“手眼”系统到移动机器人，目标检测、定位和跟踪都是研究目标识别和轨迹规划等机器智能问题所不可缺少的基础研究，目标检测、定位和跟踪的好坏直接影响着移动机器人智能的高低[3]。例如：在机器人足球比赛中，视觉系统需要实时定位和跟踪足球以及其他球员，在此基础上才能实施必要的技战术策略；在人机交互中，需要机器人理解人的姿态、手势、表情等信息，而实现这种功能的前提就是机器人视觉系统对人体各个部位的定位和跟踪；在自动导航车上，视觉系统需要定位其他车辆以避免碰撞，并且实时跟踪车道线和其他车辆。实现对运动目标的检测及跟踪，首先要获得机器人和目标物之间的空间相对关系，进而为底层驱动提供运动依据。目标检测的结果可以获得目标的位置信息和运动信息，为后续目标跟踪做好铺垫，使得目标定位和跟踪具有更快的反应速度和更高的鲁棒性[4]。

图像序列中的运动分割与跟踪是计算机视觉研究的核心问题之一，它的应用范围非常广泛。比如工厂的自动化生产、路面的交通控制、重要场所的保安监控、汽车的自动和辅助驾驶、航空与军用设备的制导、机器人目标跟随与避障等[5]。在这些场景中，人们关注的对象往往只是运动的目标或物体，自动从视频图像中分割运动目标物以及对它们进行跟踪是高级策略制定的前提依据，具有非常重要的理论意义和使用价值[6]。随着机器视觉各项相关技术的不断发展以及智能机器的日益增多，运动目标检测与跟踪技术的应用范围也将更加广泛。

§1-2 运动目标检测与跟踪技术研究现状

运动目标视觉跟踪系统的研究来源于视频监测，其发展与计算机技术、数字视频技术和数字信号处理技术的发展紧密相连。早期的视频监控系统都是固定式的，仅有图像采集、存储和显示的功能，目前大部分安防设备仍然采用这种型式。1991年，在美国国防先进研究署(DARPA)的资助下，卡内基梅隆大学机器人研究所开始了机载视觉信息在无人机稳定和控制方面应用的研究。1996年，他们研制出的专门摄像机稳定系统可以进行视觉定位和多静止目标跟踪。该系统通过摄像机获取图像，用三块DSP芯片来计算目标物体的位置和运行速度，图像处理的结果和与之同步的无人机姿态数据再一并传输到第四块DSP芯片，最终将运算结果送到一个实时控制器去控制无人机的飞行方向和速度，从而完成了对

1

移动机器人运动目标检测与跟踪系统研究

目标物体的检测和跟踪。1996年，在瑞典国家工业技术发展委员会的支持下，Nordlund和Uhlin研究了安装在机器人头部的可移动摄像机对移动目标物的检测和跟踪。1997年，美国国防先进研究署（DARPA）实施了视频监视和监控技术(VSAM)计划。旨在发展用于城市和战场监视的自动视频理解技术。内容包括通过静止和移动摄像机平台对运动目标进行实时检测和跟踪，在考虑地理空间位置的模型中对目标方位进行估计，主动摄像机控制和多摄像机协调跟踪等。此后，法国、瑞典等也都开始了这方面的研究。1999年和2001年，欧洲共同体(EC)开始资助基于先进视频监测的地铁安全系统(AVS-PV)项目和数字视频监测系统(ADVISOR)项目，系统通过多个云台监控地铁站内人们的活动和行为，为交通安全和紧急情况下的服务援助提供保障。国内在这方面的研究工作起步较晚，与国外相比还有不小的差距。1999年以后，国内一些大学如清华大学、北京理工大学、福州大学等都开展了固定摄像机对其视野范围内的运动目标的跟踪技术研究。2001年，清华大学研发了适用于野外自然环境的视觉侦察系统，摄像机安装在只具有一个水平旋转自由度的车载云台上，云台方位数据及视频信号以无线通讯的方式传送给基地端的计算机。系统跟踪了一辆汽车，在像素384×288图像分辨率下达到12.5帧/s的处理速度。2005年，中国科学院自动化研究所研发了一种基于图像的视觉伺服机器人系统。该系统具有5个自由度，包括一个3自由度的机器人和一个2自由度的手腕，手腕位于机器人末端，而摄像机安装在手腕的末端。该跟踪系统可以实时跟踪运动速度不大于0.3 m/s的目标。运动目标视觉跟踪系统作为视频实时监控系统的一个研究方向，目前研究的主要问题包括如下两个方面：平滑稳定的控制精度和动态实时的响应速度。

§1-3 运动目标检测的常用方法

运动目标检测是在图像序列中将前景变化区域与背景分离的一项技术[7]。它是计算机视觉、模式识别、安全监控以及运动图像编码等研究领域的重点与难点，在工业、交通和军事等领域有着非常广泛的应用。摄像机的运动、天气和光照的变化、运动目标的影子等都会增加运动目标正确检测的难度。运动目标的检测是运动目标跟踪的基础，对目标物的分割效果直接影响着后续跟踪的稳定性，因此成为视频监控系统研究中的一项重要的课题。

运动目标检测的方法主要有以下几种：

1、基于颜色的方法[8]

首先将图像内的像素基于图像颜色信息的方法一般使用模糊C-Mean[9]或者K-Mean[10]等聚类方法，

进行分类，然后将相互联通并且属于同一类别的像素点归并入同一区域。此种方法的不足之处在于一般需要使用手工方法来确定像素点聚类的类型数目，不易实现算法的自动化。并且其对空间邻域和边缘信息考虑较少，从而使得分割结果经常不符合人眼的视觉习惯。

2、基于边缘的方法

此方法是通过图像中不同类像素区域之间的边缘分割目标物。主要的边缘检测算子有：Laplace算子[11]、Sobel算子[12]、Prewitt算子[13]、Robert算子[14]等。其缺点是：由于微分运算固有的特性，这些局部的边缘算子对噪声干扰十分敏感，得到的边缘常常是分小段连续的或者孤立的。

3、光流法[15]

基于光流方法的运动检测采用了运动目标随时间变化的光流特性，一旦给出图像的亮度模式，就可以利用时间变化的特征点匹配来度量视差。把图像中的角点作为特征点，首先在图像序列中检测和跟踪

角点，然后记录角点在图像序列中的位置，这样可以通过相邻图像帧间角点的位移场来计算光流场[16]。

此方法的优点是应用范围较广，可应用于未知环境中，亦可应用于摄像机运动情况下的运动目标检测。此方法的不足之处是对阴影、遮挡、光源亮度等因素的变化较为敏感；计算结果不是十分精确且计2

河北工业大学硕士学位论文

算耗时多；算法的实时性难以保证[17]。

4、图像差法

按照差分方式，图像差法可以分为背景减法[18]和相邻帧间差法[19]。

（1）背景减法

基本思想是将输入的图像与背景模型进行比较，以直方图、灰度等统计信息的变化作为判断依据来区分目标物和背景，进而实现对目标物的分割[20]。最常用的确定背景的方式为计算多幅图像的平均值或直接抽取视频序列中某一幅图像作为背景模型。其优点是算法较为简单，对目标物的分割较为完整，在静态场景且已知背景模型的情况下，能够有效的对目标物进行分割。但是其应用范围不广，不适宜于在动态场景中使用[21]。

（2）相邻帧间差法

基本原理就是将前后两帧图像中对应的像素做减法，当连续两帧图像中对应的像素值相差很小时，可以得出两帧图像的背景是几乎没有变化的，此时可以判定此处景物为静止状态；当连续两帧图像在某区域的像素值相差很大时，一般是图像中物体的位置发生了变化引起的，可以判定此处的景物处于运动状态中，将这些像素值发生较大变化的区域标记为运动目标所在的位置[22]。此算法的优点是能够适应各种动态环境，鲁棒性较好；缺点是相关的特征像素点一般不能被完全提取出来，这样容易使对运动目标物分割结果的内部产生空洞，而且得到的目标物边缘轮廓也是不连续的。

5、主动轮廓线法[23]

此方法定义了轮廓线的能量函数，并用参数来表示目标物的轮廓线。Snake是能量极小化的样条，其行为受外力的引导，其形状受内力的约束。图像力将其拖向具有明显特征的图像区域。此方法的优点在于能量的极小化可以在很大程度上降低计算的复杂性并扩展捕获区域；在一次特征提取过程中就可以完成初值估计、目标轮廓检测及图像数据处理等工作。此方法的缺点在于对目标的初始位置较为敏感，Snake必须由外界干预措施将其放置在具有目标物特征的图像区域；由于Snake模型具有非凸性，其在迭代过程中有可能收敛到局部极值点或者发散[24]。

当场景为动态环境且较为复杂时，要检测出完整的运动目标仅仅依靠单一的检测算法是不行的。从目前较为前沿的运动目标检测方法来看，未来的发展趋势必将是综合考虑目标物的运动信息、区域、边缘、颜色、文理等多种特征，把两种或以上较为简单的算法混合使用，进而实现对运动目标更加精准的分割。

§1-4 运动目标跟踪的常用方法

目标跟踪技术研究是机器视觉、模式识别和图像处理等领域的重点研究课题之一。所谓目标跟踪，就是首先通过摄像头获得图像序列，然后对其进行分析并计算出目标物在每一帧二维图像上的坐标位置，最后根据各种特征值，在连续视频序列的各帧之间建立同一运动目标的对应关系，从而得到各运动目标的完整运动轨迹，即找到目标物在下一幅图像中的确切位置[25]。

经过多年的发展，现在已经有很多种目标跟踪算法。在这些算法中，有的是针对提高跟踪匹配的精度而提出的，有的是针对缩小目标搜索范围提出的。前者的着眼点在于跟踪的准确性，后者的着眼点在于跟踪的实时性，将两类算法结合使用，相互取长补短，方能在实际应用中取得较好的效果。

目前较为常用的目标跟踪方法主要有基于特征匹配的跟踪、基于模板的跟踪、基于运动特性的跟踪、基于区域的跟踪和基于轮廓的跟踪[26]。

1、基于特征的跟踪[27]

在基于特征的目标跟踪中，参考点的配准和图像特征的标准化是非常重要的。这种方法需要将图像

3

移动机器人运动目标检测与跟踪系统研究

转换到另一个空间中以处理大小、亮度和方向的变化，并提取一个或多个特征并依据这些特征建立目标模型。该方法的特点是：只是跟踪在一组运动中具有不变性质的特征点，如边界线条或角点等，而不是将整个运动区域作为一个整体来跟踪。在目标物被遮挡的情况下该算法有较好的鲁棒性，只要有一些特征点可见，即使目标物被部分遮挡，也不会丢失目标物。选取何种点作为特征点对这种算法的跟踪效果起到至关重要的作用，它应该对目标当前的位置、运动方向、在视野中所占面积的大小以及环境亮度的变化不敏感，因此这个算法的主要困难之一就是如何选取出具有代表性的特征点。

2、基于模板的跟踪[28]

运用此方法对目标进行跟踪的前提是可以得到描述目标的模板，而且模板的精度在很大程度上决定了跟踪的效果。此跟踪方法的本质就是在序列图像中寻找可以与模板实现特征匹配的区域。模板可以分为固定和可变形两种。在摄像机视角发生变化时，视野中的目标物有时会发生形状变化，此时固定模板就会存在精度问题，而可变形模板能够更好的适应由于刚性或非刚性引起的目标物形状变化，因此可变形模板在跟踪任务中较为常用[29]。

3、基于运动特性的跟踪[30]

此方法是一种较为简单的算法，主要有两种：运动预测跟踪算法和依据目标运动的连续性进行关联的算法。前者的着眼点在于估计目标在后续图像中的位置，并以其为中心进行目标搜索，通过缩小目标的搜索范围提高目标的跟踪速度；后者的着眼点在于融合多种跟踪算法，提高跟踪的准确性。通过预测目标位置来进行跟踪的最大特点是：一方面可以在一定程度上解决遮挡问题，另一方面又可以减小搜索范围，提高算法的实时性。Kalman滤波是此类方法中较为常用的一个典型实例，但是对其单独使用时，跟踪效果并不十分理想，故需要将其与其他跟踪算法结合使用。

4、基于区域的跟踪[31]

这种方法通过运动估计或分割技术得到整个目标区域的信息，如基于运动的特征和纹理等。在这种情况下，对目标速度的估计是基于在不同时刻相关目标区域之间的对应性。因为在整个区域中需要做到点对点的对应，此操作一般比较耗时。使用这些模型跟踪非刚性运动目标时难以扑捉实际物体的边界，但是由于利用了整个区域提供的信息从而增加了算法的鲁棒性。基于区域的跟踪法对刚体和非刚体的运动目标都可适用，通过多种信息的结合一般可以得到较好的跟踪效果[32]。

5、基于轮廓的跟踪[33]

基于轮廓的跟踪以物体的边界轮廓作为模板，在后继帧的二值图像中跟踪目标物的边缘轮廓，并且该轮廓可以自动连续地更新。例如Deriche与Paragios利用短线程的活动轮廓，结合Level Set理论在图像序列中检测和跟踪多个运动目标；Blake与Isard利用随机微分方程去描述复杂的运动模型，并与可变形模板相结合应用于对人的跟踪；Peter freund采用基于卡尔曼滤波的活动轮廓跟踪非刚性的运动目标物。相对于基于区域的跟踪方法，基于轮廓的跟踪方法在计算量较小的情况下基本上可以达到较好的匹配效果，如果开始能够实现轮廓的初始化并合理地分开每个运动目标，既使在目标物存在部分遮挡的情况下也能连续地进行跟踪，近年来发展较快的两种基于轮廓的跟踪算法：基于Hausdoff距离的轮廓跟踪算法[34]和主动轮廓线跟踪算法(Snake) [35]。

§1-5 本文研究内容及论文结构

本文主要研究了运动目标检测及跟踪算法并建立了移动机器人跟踪系统。运动目标检测方面，根据物体的颜色和形状特征，可以在图像序列中检测到目标物并对其进行分割；运动目标跟踪方面，对Camshift算法进行了改进，实现了该算法的全自动化并将Kalman滤波器融入其中，从而有效地跟踪运动目标；在跟踪系统搭建方面，采用上位机和下位机无线通讯的方式，一方面上位机进行图像处理运算，4

河北工业大学硕士学位论文

并将处理结果以无线方式发送至下位机，另一方面下位机进行移动本体的驱动控制，从而最终实现了移动机器人对彩色运动物体的跟踪。

本文章节的结构安排如下：

第一章给出了本文的研究目的和意义，介绍了运动目标检测与跟踪技术的发展现状，并且列举了运动目标检测及跟踪的常用方法。

第二章分析了移动机器人运动目标检测及跟踪系统的性能，提出了技术指标，介绍了系统的组成部分并且构思了各子系统的具体实现形式。

第三章主要研究了彩色运动目标的识别算法。首先，分析并选取了颜色模型，通过比较RGB颜色空间和HSI颜色空间的优缺点，确定了在HSI颜色空间中进行图像处理的整体思路。然后，分析了灰度图像中基于灰度直方图统计的阈值分割方法。受此启发，提出了适用于彩色图像的基于色调H直方图统计的双阈值分割算法和基于构造一维特征标量直方图统计的双阈值分割算法，并结合目标物形状检测方法，实现了基于颜色特征和形状特征的目标物分割。最后，通过实验验证了本章提出的算法的可行性。

第四章主要研究了目标物体的跟踪算法。首先，介绍了Meanshift算法和Camshift算法的理论基础和实现步骤。然后，提出了对Camshift算法的改进方案，使Camshift算法由半自动化转变为全自动化，同时结合Kalman滤波器实现了算法对目标物体运动趋势的预测，提高了算法的实时性和鲁棒性，并通过实验得以验证。最后，给出了使用Camshift算法跟踪失败后的补救措施。

第五章搭建了移动机器人运动目标检测及跟踪系统。首先，介绍了实验平台总体的工作原理及各组成部分的硬件结构和软件实现方式。然后，给出了系统核心部件的主要技术参数及系统的工作流程图。最终在实验中实现了移动机器人对彩色运动目标的稳定跟踪。

第六章得出了本文的结论，并对进一步的工作进行了展望。

5

移动机器人运动目标检测与跟踪系统研究

第二章 系统分析与总体设计

§2-1 系统工作原理及功能分析

本文搭建的移动机器人运动目标检测及跟踪系统的基本工作原理为：无线摄像头采集视频序列，并将图像数据以无线方式发送至视频信号接收器，视频采集卡将模拟视频信号转换为数字信号输入图像处理系统，PC机将图像序列采集到内存中进行数据处理，通过调用运动目标检测及跟踪算法识别目标物并获得机器人与目标物之间的相对位置关系，然后将该位置关系概况为一个信号，通过无线数传模块将该信号传送给机器人控制系统。控制系统根据该信号调节移动机器人及云台的运动，使机器人始终趋于正对目标的方向。同时，超声传感器实时监测机器人与运动目标之间的距离，该距离决定了机器人的前进与后退，使机器人与目标物保持在一定的距离范围内，实现机器人对目标物的跟踪。系统工作原理如图2.1所示。该系统具有如下功能：

1、自动检测功能：对进入摄像头视野的目标物进行自动检测，能够在背景中识别出目标物，并确定其在视野范围中的位置。

2、云台控制功能：通过控制两自由度云台，使安装在云台上的摄像头实现水平和俯仰运动，从而对运动目标进行跟踪，使目标物始终保持在视场中，并使目标物的位置趋于视场的中心。

3、目标自动跟踪功能：驱动移动本体，使移动机器人与目标物始终保持一定的距离，从而实现对目标物的跟踪。

图2.1 系统工作原理

Fig. 2.1 System working principle

§2-2 系统性能指标

快速、准确、稳定是控制系统最重要的技术指标，本系统为实时跟踪系统，其性能指标要求如下：

1、实时性。移动机器人在执行跟踪任务时可以达到1m/s的运动速度，如果在下一帧的图像到来之前还没有根据本帧图像发送运动命令，那么机器人可能会放弃处理本帧图像或者直接就出错，使机器人跟踪失败。而且移动机器人不仅包括视觉系统，还有无线通讯系统、控制系统、机器人本体系统等，必须留出一部分时间给其它系统。因此，视觉系统的识别和跟踪算法必须具有很高的运算速度。由于摄像头采集来的图像是以非线性的RGB颜色空间为基础，其信息量又要比灰度图像大很多，所以给颜色的聚类带来了相当大的困难，现有的颜色聚类算法大多比较复杂，运算开销相当大，对系统的实时性不利。因此必须对RGB颜色空间进行转换，在其它颜色空间里采用简捷的算法来提高系统的实时性。本文的

6

河北工业大学硕士学位论文

检测和跟踪算法可以实现对视频序列20f/s的处理速度，可以基本实现系统的实时性。

2、准确性。主要包括两个方面：目标检测准确性和目标跟踪准确性。视觉系统是整个系统的检测机构，PC机产生机器人运动控制指令的依据就是视觉系统输出的对现场图像信息的处理结果，因此，对图像信息的处理必须有足够的精度，否则整个系统可能会摇摆振荡甚至失控。移动机器人是整个系统实现目标跟踪的执行机构，其运动精度直接影响着整个系统的跟踪效果，因此必须提高移动机器人驱动电机的转角控制精度。而准确性的保证往往需要进行大量复杂运算和处理，所用的处理时间就会比较长，这就使得系统的准确性和实时性成为了一对矛盾体。一个好的运动目标检测及跟踪系统必须两者兼顾，能够同时满足系统对准确性和实时性的要求。该系统在保证实时性的前提下检测成功率可以达到90%，跟踪成功率可以到达80%。

3、稳定性。在每次的运行过程中，光照条件等应用环境都不一样，所以系统必须具备快速初始化能力以适应系统对目标物的检测和跟踪需要；系统的应用环境可能存在阴影、光照不均等缺陷，视觉系统必须能够适应多变的应用环境；机器人在对目标物进行跟踪的过程中出现目标物被其它物体或人遮挡的问题也是对系统整体性能的严峻考研。该系统能够适应5Lux～100Lux的光照变化；在跟踪过程中可以快速处理目标遮挡问题，使目标跟踪顺利进行；一旦出现目标跟踪失败的情况，系统可以迅速重新初始化，进入新一轮的运动目标检测与跟踪。

§2-3 系统组成部分

本文研究的主要内容是在室内未知环境下，单目移动机器人对匀速（或慢速）运动的彩色目标的自动检测与跟踪算法，并根据所研究的算法建立包括软件及硬件在内的运动目标自动检测与跟踪系统。该系统主要包括视觉子系统、无线通讯子系统、控制子系统、移动机器人车体子系统四个部分。其中，视觉系统作为移动机器人的眼睛和大脑，在整个系统中起到至关重要的作用。视觉系统将摄像机视野内的场景图像通过视频采集卡实时传递到PC机，然后对图像进行处理，执行对目标物的检测和跟踪算法，计算得到目标物体在摄像机视野二维图像坐标系中的位置。同时，操作者可以通过PC机的显示器实时观察系统的工作环境。目标物的位置信息通过无线通讯系统传递给控制系统，控制系统根据目标物的位置信息输出控制指令来控制机器人车体的运动。视觉子系统、无线通讯子系统、控制子系统、移动机器人车体子系统形成了一个闭环，如图2.2所示。

图2.2 各子系统关系

Fig. 2.2 Relationship of subsystems

2-3-1 视觉子系统

机器人视觉系统的主要任务是通过视觉传感器获得目标物的状态，进而识别、跟踪目标物。检测算法主要关注目标物的光学信息和几何特征，跟踪算法主要关注目标物与机器人之间的相对位置和目标物的运动特征。目标物在摄像头视野中的二维平面坐标可以体现目标与机器人之间的相对位置关系，但是由于该系统为单目视觉系统，所以目标物的深度信息无法通过视觉系统获得。机器人视觉系统结构如图

2.3所示。本文使用的视觉系统由五个模块组成，这些模块分别为图像采集模块、光学特征提取模块、几何特征提取模块、方位特征提取模块以及运动特征提取模块。这里的光学特征指的是物体的色调、饱

7

移动机器人运动目标检测与跟踪系统研究

和度以及亮度特征；几何特征指的是围绕目标物的边界或者目标物所占的区域；方位特征指的是移动本体相对于目标物的方位信息；运动特征指的是目标物的运动速度和方向。其中图像采集模块由摄像头、图像采集卡等硬件设备组成，而其它四个模块主要是通过软件算法得以实现。图像采集模块实现视频序列的采集；光学特征提取模块和几何特征提取模块在算法中实现对目标物的识别；方位特征提取模块和运动特征提取模块在算法中实现对目标物的跟踪。

图2.3 机器人视觉系统功能结构

Fig.2.3 Function structure of robot vision system

在系统工作过程中，外部场景经图像采集系统进入PC机，先由光学特征提取模块、几何特征提取模块对物体进行识别，在确定该物体为目标物后由方向特征提取模块和运动特征提取模块计算出移动本体与目标物之间的位置关系及目标在下一帧图像中可能出现的位置，为后续的车体跟踪做铺垫。

提取物体几何特征的方法有两种，第一是根据目标物所占的区域提取，第二是根据围绕目标物的边界提取。在目标识别的实际应用中，根据区域提取的效果好于根据边界提取的效果。其原因在于根据图像的光学特征提取边界时，其运算量较大，同时不易准确界定具有不同性质的区域的边界。即使有较好的边界界定方案，划分出的边界数目一般也会多于目标物的数目，使目标识别过程容易出错，因此，本系统采用区域提取的方法来提取目标物的几何特征。

在运动物体检测及跟踪系统中，视觉子系统的作用在于将成像装置获取的包含目标物及场景的动态图像序列通过图像采集卡读入核心处理器，并通过图像处理手段实现对图像的处理与分析。首先确定图像中是否有目标物存在，如果有目标物存在，还要获得目标物的位置和运动状态信息。视觉子系统功能的实现是整个检测与跟踪系统能够正常工作的前提条件。

由于这种系统是以动态图像序列作为工作对象，而动态图像序列含有的信息量非常大，所以，在实际应用中，图像获取、处理与分析系统的设计过程通常包括如下几个步骤：

1、采集视频图像序列；

2、对视频图像序列进行预处理，主要包括去噪、灰度校正、图像二值化等。其目的是去处干扰，减少图像处理的工作量，提升处理速度；

3、在图像序列中识别目标物体；

4、计算分析目标物与移动本体之间的位置关系以及目标物的运动情况。

上述步骤可以用图2.4表示：

图2.4视觉子系统工作流程

Fig. 2.4 Workflow of vision subsystem

8

河北工业大学硕士学位论文

2-3-2 无线通讯子系统

无线通讯可以由蓝牙、射频或局域网等技术实现。蓝牙无线传输的精度较高，但是蓝牙设备价格也较高且传输距离较短。射频方式的无线传输距离较远，功耗较低，但是传输的误码率较蓝牙等方式偏高。局域网方式的无线通讯传输速率较大，数据的安全性较好，传输距离介于蓝牙方式与射频方式之间。

本文的无线通讯子系统是视觉系统与控制系统之间的桥梁，分为发射和接收两个部分，发射部分与视觉系统中的PC机相连，接收部分与控制系统相连，视觉系统识别到目标物后，计算出目标物与移动车体之间的位置关系，这个位置关系就是通过无线通讯系统传递给控制子系统的，控制子系统根据接收到的位置信息，发出对移动本体的控制命令，使移动本体不断向目标物所在的方位移动，实现跟踪。

根据以上分析，可以得出本文的无线通讯系统的数据传输量较小，但是对传输距离要求较大，所以选用射频方式的无线传输设备较为合适。另外，安装在移动本体上的摄像头也是通过无线方式将采集到得视频信号经接收器传递给视频采集卡，进而读入PC机的。

2-3-3 控制子系统

控制子系统的主要功能是根据视觉子系统对目标物与移动本体之间的方位判断来控制移动机器人的运动，从而实现其稳定跟踪目标物的目的。控制子系统由能够控制电机及云台运动的微处理器及电机的驱动电路组成。

由于移动本体要对运动目标进行实时跟踪，所以对微处理器在接到命令信号后的响应速度有较高的要求，且微处理器必须能够和上位PC机之间实现无线通讯。另外，为了弥补单目视觉无法感知图像深度的缺陷，本系统还转载了用于测距的超声传感器。微处理器还需要实时获取移动机器人与目标物或障碍物之间距离，进而避免发生碰撞。

2-3-4 移动机器人车体子系统

移动机器人车体子系统是整个系统的最终控制对象，可以理解为整个系统的执行机构，是运动目标检测与跟踪的最终执行者。移动本体上要搭载云台、摄像头、无线通信模块的接收部分、测距模块、电机驱动板以及车体自身的控制器。由于本系统应用于室内环境中，所以不需要轮式机器人有太强的越障能力，但其轮胎的抓地性要好，车体原地的回转半径要尽量小。

§2-4 本章小结

本章分析了移动机器人运动目标检测与跟踪系统的功能及性能指标；提出了系统由视觉子系统、无线通讯子系统、控制子系统以及移动机器人车体子系统四部分组成的总体设计方案；给出了各子系统的功能和结构要求，并在此基础上初步研究了各子系统的实现形式。为后续的系统软硬件设计打下了基础。

9

移动机器人运动目标检测与跟踪系统研究

第三章 运动目标检测算法研究

§3-1 颜色模型分析与选取

光是一种电磁波辐射，按其波长不同分为可见光和不可见光。可见光的波长范围大约在380nm～780nm之间，它能够引起人眼的视觉反应。当不同波长的可见光波分别作用于人眼时，会引起人视觉的不同彩色感。因此，彩色其实是人眼对不同波长可见电磁波作出反应的一种感知现象。彩色图像可以提供比灰度图像更丰富的信息。色度学是为进行图像的彩色分析所建立的研究彩色计量的一门学科，它的目标是研究人眼彩色视觉的定性和定量规律及其应用。色度学的研究内容十分广泛，但在计算机视觉中主要是应用其成果进行彩色图像的分析和处理。

色度学的基础理论认为，人可以感受到的任何一种颜色都可以使用三种不同的基本颜色加权产生，

（3.1） 即：C=aC1+bC2+cC3。

其中，C1，C2，C3是三种单色，称其为三基色。各种颜色的光都可以由三基色光加权混合而成。由此可见，颜色空间是一个三维线性空间，此空间中的任意一个点都对应一种具有一定亮度的颜色光。

在实际应用中，颜色空间的三基色应该是比较容易获得的三种颜色，三基色加权混合得到的彩色应该尽可能多并且色度稳定、准确。为此，国际发光照明委员会（International Commission on Illumination）提出一种以红、绿、蓝为基色的RGB颜色空间，其中红色R、绿色G、蓝色B的波长分别为700nm，546.1nm，和435.8nm。但是，颜色空间的划分方式并不是唯一的。

为了使用RGB三基色更加有效地描述或调制各种颜色，人们通过对RGB颜色模型进行坐标变换，得到了新的颜色模型，如YIQ颜色模型、YUV颜色模型、HSI颜色模型等。下面对较为常用的RGB模型和HSI模型的特点及相互转换方式进行一下简要介绍。

1. RGB颜色空间

RGB颜色空间是以R、G、B为变量的直角坐标空间，三个分量彼此独立，属性对等，可以进行相互加减。RGB颜色空间在真实图形绘制系统中应用最为广泛。

目前，以CCD为核心的图像采集设备得到的图像主要对应于RGB颜色模型，RGB颜色模型基于笛卡尔坐标系统建立。在该颜色模型中，各种颜色的光都可以由红、绿和蓝三种基色加权混合而成，这可以用如图3.1所示的单位立方体表示。每种颜色都对应坐标系中的一个点，并可用从原点分布的向量来定义。坐标系的原点表示黑色；立方体位于坐标轴上的三个顶点分别表示红色、绿色、蓝色；另外三个顶点分别表示青色、品红色和黄色；距离坐标轴原点最远的立方体的顶点表示白色。在该模型中，灰度等级沿着表示黑色和白色的亮点的连线分布。

在RGB表色系统中，标准白光的RGB光通量φR、φG、φB的比例为：

φR:φG:φB=1:4.5907:0.0601 （3.2） 若规定（R）为一个基本单位，（G）为4.5907个基本单位，（B）为0.0601个基本单位，则可用（R）、（G）、（B）的组合表示任何一种彩色A。

A=α(R)+β(G)+γ(B) （3.3） 10

河北工业大学硕士学位论文

其中α、β、γ分别为原基色R、G、B的比例系数。显然，光的色度是由三种原基色之间的比例关系决定的，若只考虑光的色度，而不计光的亮度，则只要知道R，G，B的相对值即可。因此可令：

r=R

R+G+B

g=

b=GR+G+B （3.4） B

R+G+B r，g，b称为色度坐标。显然，r+g+b=1，因此只有当两个色度坐标是独立的，第三个色度坐标才可由前两个表示。由此可知，经过适当的变换，可以用二维平面代替三维坐标来表示颜色空间。如图3.2是一个以r值为横坐标、g值为纵坐标的色度图，其中，满足r=g=的点表示标准白光。

图3.1 RGB颜色单位立方体 图3.2 r-g色度图

Fig. 3.1 The colour unit cube of RGB Fig. 3.2 Chromatic diagram of r-g

在RGB空间中，每个像素点的分量既表示颜色，又表示颜色的亮暗程度，这导致RGB颜色空间受光照强度的影响很大。在光照强度发生变化时，同一物体的R、G、B三个分量都会随之发生剧烈的变化，导致目标物各颜色分量的变化范围很大，这样就容易把和目标物颜色接近的物体当做是目标物，从而导致误检的现象发生。

2. HSI颜色空间

格拉斯曼定律指出，人的视觉只能分辨颜色的三种变化[36]。但是颜色空间作为一个三维空间，并不一定由R、G、B三基色表示。从理论上讲，三维颜色空间的其他表达方式可以通过对RGB颜色空间进行坐标变换得到；在实际应用中，新的颜色空间可以更加直观的描述颜色空间，具有更好的表色性能，有利于简化图像处理的算法并且得到更好的图像处理效果。

孟塞尔（Munsell）最早提出了HSI颜色模型，因此HSI颜色空间也称为孟塞尔空间[37]。它由色调、饱和度和亮度三个分量来度量。这三个分量与人类对颜色的感知方式是紧密相连的，它们共同引起了人类视觉的总效果。

11

移动机器人运动目标检测与跟踪系统研究

（1）色调

色调(Hue)是颜色的本质特性。物体反射的光线中占优势的那种光的波长决定了其色调，不同波长的光会产生不同颜色的感觉[38]。如在日光照射下呈现绿色的物体是把日光中的某波长绿色分量反射出来到达人眼。

（2）饱和度

饱和度（Saturation）是指色彩的鲜艳程度，也称色彩的纯度。饱和度取决于该色中含色成分和消色成分（白光）的比例。含色成分越大，饱和度越大；消色成分越大，饱和度越小。当白光占主要成分时，彩色淡化为白色。饱和度最高的彩色中没有掺入白光，而是由纯光谱波长的彩色来呈现。例如将白光和绿光混合，绿光就会变淡，成为低饱和度的浅绿色光。饱和度由彩色光中白光含量与纯光谱波长光含量的比重决定。

色调和饱和度定义了一个色环，如图3.3所示。所有可见光谱的颜色都涵盖在0°到360°的范围内，即在色环中的角度表明了该颜色的色调，而沿半径方向的长度表明了该颜色的浓淡，即饱和度。

（3）亮度

亮度（Intensity）指彩色光对人眼的光刺激强度，它与光的颜色无关，而只和光的能量有关。在人眼视觉系统中，某种彩色的明亮程度决定了该彩色的亮度[39]。

HSI颜色模型是由色调、饱和度和亮度三个坐标定义的一个柱形颜色空间，如图3.4所示。灰度沿

着轴线从底部到顶部是从黑到白的过程。具有最大饱和度和最高亮度的颜色位于圆柱顶面的圆周上[40]。

图3.3 HSI颜色色环 图 3.4 HSI柱状颜色空间

Fig. 3.3 HSI color circle Fig. 3.4 HSI columnar color space

与HSI颜色空间相类似的还有HVC（Hue, Vlaue, Chroma）颜色空间、HSV（Hue, Saturation, Value）颜色空间等。

从原理上讲，HSI模型较RGB模型更适于颜色的数字化处理。颜色的HSI表达也与人们获取颜色的方式密切相关，同时，HSI模型还避免了颜色与亮度的联系，在其三个分量中，色调H和饱和度S受光照强度变化的影响都比较小，只有亮度I会随光照强度的变化而剧烈变化。

3. RGB模型与HSI模型的相互转化

把RGB空间变换为HSI空间，其实质是进行了一个解耦运算。因为R、G、B三原色之间可以互相表示，三维颜色空间也可以由r-g平面代替。而在HSI空间中，H、S、I是三个互不相干的变量。色调H（Hue）反映了该彩色最接近哪种可见光谱波长，即某种颜色。色调H可以用角度表示，从0°到360°覆盖了所有彩色，R、G、B三原色分别位于色环的0°、120°和240°方向上。色调饱和度S

12 I

0°