浙江大学硕士学位论文基于视频的人体运动分析

姓名：卢昕申请学位级别：硕士专业：生物医学工程指导教师：汪元美

2003.6.1

塑薹

塑垩盔兰壁兰垒！垒羔

要

摘

Ｆ￥０５１３ａ

（人体运动分析一直是多个学科领域中的重要研究问题，在生物医学、虚拟现实、机器人

＼

技术、安全监控等领域有着广泛的应用。本文的研究对象是基于视频的人体运动分析即在视频序列中对人体的运动进行跟踪，捕捉和分析。人体运动属于非刚体运动的范畴，具有高度

的非线性特点，利用视频进行人体运动分析，有着极大的研究价值和现实应用前景。

利用视频进行人体运动分析一直以来都是研究者所面临的难题，尽管如此，还是有不少研究者提出了相应的部分解决办法。本文介绍了目前基于视频的人体运动分析中所存在的问题。同时将目前的研究工作划分为基于特征和基于模型这两种不同的方法，并以此为线索回

１

顾了解决该问题的一般思路与框架，并就这二类方法作了科学的比较。４一

／

本文对两类不同单目视频中的人体运动跟踪问题进行了研究。第一类视频的研究对象是在实验室环境下穿着紧身衣、用ＭＬＯ（ＭｏｖｉｎｇＬｉｇｈｔＤｉｓ＃ａｙ）标注关节点的人体所作的步行运动。我们采用基于特征的方法对人体进行了跟踪。本文提出使用相关模板的方法检测特征，实验表明该方法可有效检测特征。传统方法中跟踪特征往往使用一种模式，而本文在分析人体运动特点基础上，利用人体的结构约束条件结合人体不同部分的运动特性，对人体不同部分采用不同的跟踪策略。实验表明．利用该方法在无遮挡情况下，可以较好的跟踪人体的肢体运动。在第二类视频中，我们对身着普通服装的人体步行运动进行了研究。对这类视频我们采取了基于模型的研究方法。首先讨论了对于视频的预处理以及全身运动的跟踪问题。接着构建了人体腿部的二维模型。然后通过搜索一组参致使得合成数据与实际图象数据最为相似的方法，来跟踪腿部运动。模型跟踪中如何在参数空间中搜索有效参数一直是～个难题，传统方法一般通过优化的方法加以解决，面本文在跟踪过程中。逐个分析各参数的求解，降低了参数空间的维数ｔ使得计算更为简单有效。此外通过定义合适的相似度函数提高了在遮

挡情况下躁踪的准确性 ／实验袭明，该方法可以很好的躁踪步行人体的腿部运动，并可以克

服一定的遮挡现象。Ｉ

寸

／

关键词：运动艰踪视频处理，非刚体运动

／

摘要

浙江大学硕｝学位论文

Ａｂｓｔｒａｃｔ

ＨｕｍａｎｍｏｔｉｏｎａｎａｌｙｓｉＳｉＳＩｔ

ａｎ

ｉｍｐｏｒｔａｎｔｐｒｏｂｌｅｍｉｎｍａｎｙｒｅｓｅａｒｃｈ

ａｒｅａｓ．

ｈａｓｖｉｔａｌ

ａｐｐ］ｉｃａｔｉｏｎｓ

ｉｎｂｉｏｍｅｄｉｃａｌ

ｅｎｇｉｎｅｅｒｉｎｇ，ｖｉｒｔｕａｌｒｅａｌｉｔｙ，ｒｅｓｅａｒｃｈｅｄ

ｉｎ

ｔｈｉＳ

ｔｈｅｓｉＳ

ｉＳ

ｒｏｂｏｔ，ｓｅｃｕｒｉｔｙ

ｓｕｒｖｅｉｌｌａｎｃｅ．Ｔｈｅｏｂｊｅｃｔ

ｖｉｄｅｏ—ｂａｓｅｄｈｕｍａｎｍｏｔｉｏｎａｎａｌｙｓｉＳｔｈａｔｔｒａｃｋ，ｃａｐｔｕｒｅａｎｄａｎａｌｙｓｉＳｈｕｍａｎｍｏｔｉｏｎｉｎｖｉｄｅｏ．Ｈｕｍａｎｍｏｔｉｏｎｉｓｎｏｎ—ｒｉｇｉｄ

ｏｂｊｅｃｔｍｏｔｉｏｎａｎｄ

ｉＳｎｏｎｌｉｎｅａｒ．

Ｉｔ’Ｓｗｏｒｔｈｔｏｒｅｓｅａｒｃｈａｎｄｈａｓｗｉｄｅａｐｐｌｉｃａｔｉｏｎ．

Ａ１ｔｈｏｕｇｈｖｉｄｅｏ—ｂａｓｅｄｈｕｍａｎｍｏｔｉｏｎａｎａｌｙｓｉＳ

ｍａｎｙｒｅｓｅａｒｃｈｅｒｓｐｒｅｓｅｎｔｓｏｍｅ

ｉ

Ｓａ

ｃｈａｌｌｅｎｇｉｎｇｐｒｏｂｌｅｍ，

ｍｅｔｈｏｄｔｏｓｏｌｖｅｔｈｉＳｐｒｏｂｌｅｍｐａｒｔｉａｌｌｙ．Ｉｎ

ｔｈｉＳｔｈｅｓｉＳ

ｗｅ

ｉｎｔｒｏｄｕｃｅｔｈｉｓｐｒｏｂｌｅｍｉｎｄｅｔａｉｌ．Ａｎｄｒｅｖｉｅｗｔｈｅｅｘｉｓｔｉｎｇ

ｔＯ

ｓｏｌｕｔｉｏｎｓｂｙｃａｔｅｇｏｒｉＺｉｎｇｔｈｅｓｅｓｏｌＵｔｉｏｎｓ

ｆｅａｔｕｒｅ－ｂａｓｅｄｍｅｔｈｏｄａｎｄ

ｍｏｄｅｌ一ｂａｓｅｄｍｅｔｈｏｄ．Ｗｅｒｅｓｅａｒｃｈｔｈｅｈｕｍａｎｍｏｔｉｏｎｉｎｔｗｏｄｉｆｆｅｒｅｎｔｔｙｐｅ

ｖｉｄｅｏｓ．Ｉｎｔｈｅｆｉｒｓｔ

ｋｉｎｄｖｉｄｅｏ，ｔｈｅｏｂｊｅｃｔ

ｗｈｏｓｅ

ｉ

Ｓ

ｔｈｅｗａｌｋｉｎｇｈｕｍａｎｗｈｏｉ

Ｓ

ｄｒｅｓｓｉｎｇｄｉ

ｓｔｒａｉｔｊａｃｋｅｔａｎｄ

ｊｏｉｎｔｓ

ａｒｅ

ａｔｔａｃｈｅｄｂｙＭＬＤｓ（Ｍｏｖｉｎｇ１ｉｇｈｔ

ｓｐｌａｙｓ）．Ｗｅ

ｔｒａｃｋｔｈｉｓｋｉｎｄｍｏｔｉｏｎＵＳｉｎｇｔｈｅｆｅａｔｕｒｅ—ｂａｓｅｄｍｅｔｈｏｄ．Ｗｅ

ｆｅａｔｕｒｅａｎｄｉｔｉｓｐｒｏｖｅｄ

ｔａｋｅｃｏｒｒｅｌａｔｉｏｎｍｅｔｈｏｄｔｏｄｅｔｅｃｔａｎｄｅｘｔｒａｃｔ

ｅｆｆｅｃｔｉｖｅ．Ｉｎｃｏｎｔｒａｓｔｔｏｔｒａｄｉｔｉｏｎａｌｔｒａｃｋｉｎｇｍｅｔｈｏｄｗｈｉｃｈｕｓｉｎｇｓｉｎｇｌｅ

ｐａｔｔｅｒ，ｗｅ

ｔｒａｃｋｄｉｆｆｅｒｅｎｔ

ｂｏｄｙ

ｆｅａｔｕｒｅｓ

ｕｓｉｎｇ

ｄｉｆｆｅｒｅｎｔ

ｓｔｒａｔｅｇｉｅｓ

ｃｏｍｂｉｎｅｄｗｉｔｈｈｕｍａｎｂｏｄｙｓｔｒｕｃｔｕｒｅｃｏｎｓｔｒａｉｎｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｉ

ｗｅ

Ｓ

ｍｅｔｈｏｄ

ｃａｎ

ｔｒａｃｋｗｅｌｌｉｎｎｏｎ—ｏｃｃｌｕｓｉｏｎｃｏｎｄｉｔｉｏｎ．Ｉｎｔｈｅｓｅｃｏｎｄｖｉｄｅｏ，ｗａｌｋｉｎｇ

ｈｕｍａｎ

ｗｈｏａｄｄｒｅｓｓｉｎｇ

ｉｎ

ｔｒａｃｋｔｈｅ

ｇｅｎｅｒａｌ

ｃｌｏｔｈｅｓ

ｕｓｉｎｇ

ｍｏｄｅｌ—ｂａｓｅｄｍｅｔｈｏｄ．Ｗｅｄｉｓｃｕｓｓｔｈｅｐｒｅｐｒｏｃｅｓｓｉｎｇｏｆｖｉｄｅｏａｎｄｗｈｏｌｅ

ｂｏｄｙｔｒａｃｋｉｎｇｐｒｏｂｌｅｍｆｉｒｓｔｌｙ．Ｔｈｅｎ

ｗｅ

ｗｅ

ｂｕｉｌｄ

ａ

２－ＤｌｏｗｅｒＩｉｍｂｍｏｄｅｌ．Ａｆｔｅｒｔｈｉｓ，

ｔｈｅ

ｍｅｔｈｏｄ

ｔｈａｔ

ｆｉｎｄｓ

ｂｅｓｔ

ｔｒａｃｋｔｈｅ

ｌｏｗｅｒｌｉｍｂｅｒ

ｍｏｔｉｏｎ

ｕｓｉｎｇ

ｐａｒａｍｅｔｅｒｓｔｈａｔｍｉｎｉｍｉｚｅｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｓｙｎｔｈｅｓｉｓｄａｔａａｎｄｒｅａｌ

ｄａｔａ．Ｈｏｗｔｏｓｅａｒｃｈｐａｒａｍｅｔｅｒｓｉｎｐａｒａｍｅｔｅｒｓｐａｃｅｉｓ

ａ

ｐｒｏｂｌｅｍ．Ｔｒａｄｉｔｉｏｎａｌ

ｗｅ

ｍｅｔｈｏｄｓｓｏｌｖｅｉｔｕｓｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ．Ｈｅｒｅ

ｂｙ

ｇｅｔｔｈｅｐａｒａｍｅｔｅｒｓ

ａｎａｌｙｓｉｓｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｉｓｍｅｔｈｏｄｒｅｄｕｃｅｓｔｈｅｓｐａｃｅｄｉｍｅｎｓｉｏｎａｎｄ

２

摘要浙江大学硕，１。学位论文

ｍａｋｅｓｃｏｍｐｕｔａｔｉＯｎ

ｆｕｎｃｔｉｏｎ

ｔｈａｔ

ｍｏｒｅ

ｅｆｆｉｃｉｅｎｔ．ＷｅａｌＳＯｄｅｆｉ

ｔｈｅ

ｔｒａｃｋｉｎｇ

ｎｅａｎ

ａｐｐｒｏｐｒｉａｔｅＳｉｍｉｌａｒｉｔｙ

ｍａｋｅｓｒｅｓｕｌｔ

ｏｎ

ｍｏｒｅ

ａｃｃｕｒａｔｅ

ａｎｄｒｏｂｕｓｔｉ１１

ｏｃｃ］ｕｓｉｏｎｓｉ

ｔｕａｔ

ｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓ

ｃａｒｌ

ｒｅａｌＶｉｄｅｏｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅ

ｍｅｔｈｏｄｓｐｒｏｐｏｓｅｄｉｎｔｈｉＳｔｈｅｓｉＳｈｕｍａｎｍｏｔｉｏｎ

ｖｅｒｙ

ｔｒａｃｋｌｏｗｅｒｌｉｍｂｍｏｔｉｏｎｏｆｗａｌｋｉｎｇＯＣＣＩＵＳｉｏｎｉｎ

ｓｏｍｅ

ｗｅｌｌａｎｄ

ｏｖｅｒｃｏｍｅ

ｅｘｔｅｎｔ

Ｋｅｙｗｏｒｄ：ｍｏｔｉｏｎｔｒａｃｋｉｎｇ，ｖｉｄｅｏｐｒｏｃｅｓｓｉｎｇ，ｎｏｎ—ｒｉｇｉｄ

ｏｂｊｅｃｔ

ｍｏｔｉｏｎ

互苎

塑坚查堂堡．！兰壁垒苎

第一章

绪论

§１．１人体运动分析简介

人体运动分析指的是运用某种手段跟踪（ｔｒａｃｋＪ．捕捉（ｃａｐｔｕｒｅ）人体的运动，获得人体的运动参数井从运动中重建（ｒｅｃｏｖｅｒｙ）人体的结构和姿态（ｐｏｓｅ）。其最终目的是达刘对人

体运动的理解弗加以应用。人体运动分析的首要任务平｜Ｉ基本问题是获取人体的运动参数．而

运动参数的获取有多种方法。如采用专用的机械装置域电子装置等。而本文中所提及的人体

运动分析都是指利用视频信息来对人体运动进行获得、处理、分析，在后续章节中所论述的人体运动分析如不加特别指明，都指的是这种方式。丽本文主要研究从单目视频中，跟踪人体的运动，提取人体的运动参数，从两进行人体运动分析。

就ｒ义而言，人体运动分析的研究对象既可以是以人脸、唇、手势等为代表的较小尺度

的局部人体运动：也可以是手臂、腿部或全身等人尺度的全身或肢体运动。前者．例如在人脸识别中，通过对人脸的运动分析，跟踪人脸在空间姿态雨』位置，可以定位人脸，从而为进～步的人脸识别做基础。而在唇读（１ｉｐｒｅａｄ）分析钡域上，通过对唇的运动分析，可以对语

言进行识别或进行相应的辅助识别工作。住手势识州方面，通过分析手指间的相互空问关系，可以获碍丰富的信息，达到理解手势的目的。在对后者全身性的运动分析上，可以跟踪人体的全身或肢体运动，识别人体运动的类别，获取人体运动的参数，并在此基础上理解入的主体运动及相关行为方式。本文的主要研究对象是包括四肢运动在内的人的全身和肢体运动。

甬绕人体运动所展开的工作最早可追溯到１９７３年心理学家Ｊｏｈａｎｓｓｏｎ［１１对于人类的

运动感知所做的研究工作。在他的实验中，在人的芙爷点附着亮点，使人处于黑暗的环境中，冈此只有关节点可见。实验结果表明：对丁－静态的光点集合，人的视觉感知系统无法得出任何有意义的信息，而对于运动中产生的光点集合序列，人们可以辨别出运动的形态如走路、跑步等，甚至判断出运动者的性别１２），故由此提出了对于运动的识别问题。在此之后，由丁人体运动分析在各个领域的中重要应用，相应的ｌ：作被来自越来越多的各领域的研究者广

泛开展１３】１４１１５】。

§１．２人体运动分析的应用和研究意义

人体运动分析具有十分广阔和重要的应用范同，而这也就是这一闯题的研究意义所在。目前，人体运动分析的主要的应用领域有生物医学，人机交互，虚拟现实，智能安全监控，

６

生兰

机器人技术．图像压缩，计算机图形学等。

塑垩叁兰塑！．兰竺墼一

在生物医学领域中，人体运动分析一百以来都扮演着十分重要的角色。例如在运动医学领域中，人体运动分析可被崩以指导对运动员的训练ｌ：作【６】。通过记录运动员在运动中的

运动参数，可以分析运动员的动作，继而保持合理的动作，改进错误的动作。可以剑达辅助

州练的目的。

在智能安全监控领域中，人一直是监控的重要对象。这一领域中对于人的运动分析，主要出丁两类需求，一类是要求能够及时检测剑场景中人的出现，消失等事件，诸如在机场等公其场所中的安全检查中需要对出现的人进行捕捉与跟踪定位，由此可以进行诸如定位人的

头部的。【作。以便为接下来所要进行的面相识别等。［作进行铺垫。另一类则需要对人的特定

活动加以识别。例如在停车场中，将某些人的特定活动如来回徘徊等，视为可疑活动进行识别，以加强安全监控的效果。在该领域中其他诸如百货商场，交通管理等应用场合中也需要

对人体运动进行有效监控。

人机交互接口也一直是人体运动分析的重要应用领域。在这类领域中，人体运动分析的作川可主要分为两类。一类系统中，人体运动分析是作为主要交互手段来与机器沟通，如在手贽识别中，通过对于特定手势的分析识别，达到控制机器的目的。另一类则是在人机交互

中起辅助作用，比如在自然语言的理解中，通过人体视觉信息补充听觉信息，可以有助于自然语言的分析理解过程。

在基于内容的视频检索中，人体运动分析也有着重要应用。由于人往往是视频记录的主

要对象，所以在基于内容的视频检索中，如何检索在大段视频中的特定人体运动，也需要在人体运动分析技术方面的进展。

在机器人技术中，服务型机器人需要随时跟随使用者，这就需要对人体的运动能够进行

实时跟踪［７１。

在图像压缩技术领域中．如ＭＰＥＧ．．４中所描述的电话视频中，可以通过跟踪人的头部运动，确定人的头部在图像区域中的位置，并对这一部分采取较高细节的编码方式，而对背景则采用较低细节的编码方式，从而有效地对相关视频进行压缩。

在计算机图形学领域中，人体运动分析被主要应用在运动合成（ＭｏｔｉｏｎＳｙｎｔｈｅｓｉｓ）中【８】。在传统的角色动画设计工作中 需要动画设计师设置在不同关键帧上的表演者的动作，通过插值等方法来生成最终的动画－然而在此类动画创作过程中。即使是有经验的设计师来进行敬计，最终表演者的动作也可能比较僵硬和不自然。尤其是当所需表演者的动作较大时，结

７

正文

浙江大学硕士学位论文

果往往十分不理想。由此需要一种称之为运动台成的技术即通过捕捉实际演员的动作来自动完成动画的生成Ｊ一作。通过在人体运动过程中．对人体二维结构的重建，可以精确对人体运

动建模。这需要对运动人体采取运动捕捉技术。传统的运动捕捉技术一般采用机械式或电磁

式装置。前类系统主要依靠机械装置来跟踪测量运动轨迹。通过将机械装覆附着在人体上，

在运动时由运动带动机械装置．由装置所附传感器来记录人体的肢体位置。该类系统影响人体的活动自由，且不适丁高速的人体运动。后者则通过在人体各部位安装磁传感器用于接受

磁场信号，并通过计算得剑备传感器在空间中的位置和方向，但同样存在着和前者类似的问题，并且系统昂贵。而基丁视频的运动捕捉系统，是利用光学系统捕捉人体运动，成本低廉，适于捕捉快速的人体运动，是未来研究和应用的发展方向。

§１．３本文的主要工作

本文主要对两类不同单目视频中的步行人体运动的跟踪问题进行了研究，分别对这两类

视频的研究采取基丁特征和基于模型的方法。在第一类视频中，我们＿ｌ＿ＩｊＭＬＤ标注人体关节点，提出使Ｈ；３模板相关的方法来检测特征：同时对不同人体部№采取不同的跟踪策略，较为

成功的在无遮挡情况Ｆ对步行人体运动进行了跟踪。在第．：类视频中．我们对穿着普通服装的步行人体运动进行跟踪。首先解决了全身跟踪的问题，在此墼础上对人体的腿部运动进行

了跟踪。利ｊ＿｛；ｆ关丁运动的先验知识，通过逐个求解，有效降低了参数空闻的维数。同时提出了一个合理的相似度函数，在遮挡情况下大大提高了跟踪的准确性与稳定性。实验表明，该

方法可以成功的跟踪视频序列中的步行人体腿部运动。

在第二章中我们介绍了基本的运动分析技术：第二章同顾了人体运动分析技术，第四章我们详细描述基于ＭＬＤ的人体运动跟踪技术，第五章我ｆ『Ｊ描述了人的全身跟踪及基于模型的人体腿部运动跟踪技术，第六章对现有的工作作了相应的总结和对未来的研究方向作了一

定的展望。

人体运动分析是一个需要逐步解决的难题，希望本文的ｌ：作能对该领域的发展作出一点

微薄的贡献。

８

正文浙江大学硕士学位论文

第二章基本运动分析方法

§２．１引言

图象中包含着关１’外部ｍ羿的人鼙有用信息，而与静态图象相比，动态幽象序列包含有更为丰富的信息。运动分忻的目的就是在时变图象序列中，得到关丁特定物体的属性诸如空

间位置，姿态，运动速度以及恢复物体的三维结构，既而可以对场景在较高层次上作出相应

的解释与分析。时变图象的运动分析一壹以来都是计算机视觉领域中的重要研究课题。

§２．２刚体运动与非刚体运动

物体的运动基本上可分为刚体运动与非刚体运动。刚体主要指的是形状和大小不随外力

和运动而变的固体．在运动过稃中，刚体内的任意两个质点的距离保持不变。与刚体运动相

对应的就是非刚体运动，非刚体运动过程中，物体的外形和大小均可能发生变化。

现实世界中的人部分物体运动均以非刚体运动的形式出现。诸如水的流动，人的运动，动物的跑动，织物的摆动等等都是非刚体运动的表现形式之一。冈此对于非刚体运动所进行的运动分析研究更具有的普遍的意义和廊＿【｝ｊ价值［９１。

由于非刚体运动的复杂性，为便于分析，一般都将非刚体运动进行分类，对于不同类别

分别加以研究。在Ｋａｍｂｈａｍｅｔｔ【１０】等的研究Ｊ：作中他们根据非刚体的程度，将非刚体运

动分为以下几类，如图２１所示。

广弹性非刚体运动

ｆ一般型非剐体运动

ｔ流体型非刚体运动

非剐体运动Ｉ｜限制型非刚体运动，至兰量兰兰三动

Ｉ等体型非刚体运动

图２．１非刚体运动分类

９

—————————————————————————————————————————————————一一一

正史

浙江大学硕ｔ学位论文

（１）弹性掣扎刚体运动中物体的运动时的唯一约束是某种程度的连续与光滑。

（２）流体犁１ｌ：刚体运动中物体的运动形式不连续．并有可能引起极大的形变甚至拓扑结

构的变化。

（３）连接掣ｔｔＲＩ］体运动指的是物体由儿个相对独立的部分所组成，每一部分可看成是…

个刚体．各部分之间以某种形式连接在一起。在运动过程中，物体每一个部分的运动满足刚体运动约束，但就糙个物体的运动形式而言，表现为非刚体运动的形式。本文所研究的人体

运动就可以看作是连接型非刚体运动的一类例子。

（４）等角型非刚体运动中物体表面上的曲线在逛动时保持等角。

（５）相似型１｝刚体运动指的是物体的表面在运动时具有一致的扩张和收缩。

（６）准刚体型非刚体运动，在这类运动中，物体的形变，ＩＥ４，。在足够短的时间间隔ｒ，可将物体运近似看作为刚体运动。

（７）等体型非刚体非运动指的是物体的表面保持等距，而物体表面上的曲线保持等角。

§２．３运动分析技术概述

运动分析按所需要完成的目标或获得信息的层次高低可分为以下几类【１ｌ】：

１．

运动的检测。仅仅要求获知运动的出现与发生．且只需要对于某种类型运动作

出快速的响应，不需要获得关丁物体利运动的详细描述信息。一般而言图象相减技术可用于对于运动的检测。这种问题往往在安全领域中得到应用，例如在视频监控中需对镜头中的运动物体进行示警。

２．

运动物体的检测和定位。该类问题需要对特定运动物体的运动作出判断和检测，并需要在运动过程中获得在任何时刻物体的运动位置。因此，这就需要能够在图象序列中检测出所关注的物体，而且要求在运动过程中进行跟踪，以便于定位。一般而言匹配技术可用于解决该类问题。在诸如卫星云图的跟踪分析【１２】

及交通安全等领域中需要这种应ｊ｝Ｊ。

３．

获得物体的详细属性和解释物体的运动。一股而言着重于获得物体的三维结构［１３１或完成基于运动的识别【１４】。应该说这是运动分析的最高层次，解决该

类问题就可以从动态图象序列中比较完整的获得场景中的重要信息。

运动分析一般可分为三个相应的过程，首先对幽象序列进行预处理，以降低噪声的影响

１０

正文

浙江大学硕士学位论文

或通过技术手段增强感兴趣的部分；接着是从图象序列中经过处理和分析，获得相关的运动信息，最后根据运动信息来对目标进行跟踪、从运动获得结构以及进行三维重建，甚至对运动进行解释。下面我们着重介绍两种常用的运动分析技术，即基于光流的运动分析技术和基于特征的运动分析技术。

§２．４基于光流的运动分析技术

当物体在空间中运动时，将在图象空间中将引起亮度的变化。因此可以说图象空间中的亮度变化反映了物体的运动，而光流分析正是基于这一观点而产生。

§２．４．１光流的基本概念

光流指的是图象中亮度图案的运动速度分布，用于表达由于物体运动所引起的图象亮度

的变化 假设物体上的点ｐ。以速度％运动，则在图象平面上与ｐｏ相对应的一点ｐｌ也具有一速度Ｋ，以对应Ｐ，的运动，如图所示：

０

图２．２

光流可由下式表示为

似Ｖ，＝（鲁，割

上式中“，Ｖ分别表示在工，Ｙ方向上的速度。

㈤，

正文

浙江大学硕、ｆ’学位论文

§２．４２光流的计算

光流的计算主要计算基于两种假设

１．在一定时间间隔上亮度图案的亮度保持不变

２．图象上的相邻点以比较一致的速度运动。

考虑到在一较小的时间间隔上，图象亮度图案的亮度不变，可以得到下式

ｌ（ｘ＋出，ｙ＋砂，ｆ＋ｄｔ）＝ｌ（ｘ，Ｙ，，）

（２．２）

其中ｌ（ｘ，Ｙ，，）表示图象的亮度是位置与时间的函数。出，咖分别表示在较小的时间

间隔面上点（Ｘ，Ｙ）的位移。将上式泰勒级数展开有

ｍ棋ｆ，．ｄｘ夏０１＋砂万０１＋出警＋Ｄ（。２）一（ｔ川）

略去赢阶项可得到Ｆ式

（２－３）

一丝：查丝＋生丝

魏

（２．４）

ｄｌａ）ｃ

ｄｌ匆

当取极限础－＇０时．有

Ｉｌ＋ｕＩｌ七ｖＩｖ＝０

上式称为光流的约束方程，给出了图象梯度对于运动速度的约束关系。很显然，每一个像素只有一个约束条件，而我们要求得两个未知数，所以仅仅依靠上述约束条件还不能确定光流。通过上面的约束方程，仅仅能够获在图象梯度上的光流分量，对于与梯度垂直方向上的光流还不能确定，因此还需要附加另外的约束条件。这一闷题被称为“孔径问题”。解决这一问题就需要提供另外的条件，而一个自然的假设条件是对于某个特定的物体而言其相邻点之间的亮度变化相对较少。由此可以定义平滑性约束【１５】。用某个点与其邻域的光流值

的偏差来表征平滑性，如下式

１２

．｝：乏

浙江人学峨ｌ。学位论义

ｓ。；－－］４［（１，／ｉ＋ｌ，）－－ｕ＠）２＋０ｉ，ｊ＋ｌ－－Ｕｉｉ，＋Ｖｉ＋１．－－Ｖ＃）２＋（ｖ，。＋ｔ—Ｖ。）２】（： ｅ，

男有光流约束方程的误差：

ｑ＝０，％＋，．～＋，。ｒ（２７）

使得ｒ式最小化

Ｅ＝∑∑乜＋船。ｋ８）

可以通过以下的迭代方式得到

盯１苛鬻弘叮。母鬻Ⅳ．

（２．９）

（２．１０）

上式可看作是光流约束和局部平均的共同作删结果。其中胃，Ｖ－Ｆｎ分别为点“√Ｊ周围邻

域的平均值。

§２４．３光漉技术的不足

虽然光流反映了物体在空间中的运动，但是它并不能反映所有的运动形式。例如考虑在光照条件恒定不变的情况下，均匀圆球的自转运动。在这种情况下，物体虽然有运动，但是在图象中的亮度却没有变化，也即光流无法与物体的运动相对应。另一个例子是考虑在物体不动的情况下，照明的光源发生运动或明暗发生变化，这样势必造成图象中的亮度变化，而

物体却没有任何运动，这就也表明光流并不能完全反映物体的运动。

尽管这样。在大多数情况下光流仍然可以认为是物体运动的表征。

§２．５基于特征的运动分析技术

§２．５１引言

正文

浙江人学硕卜学位论文

运动分析的另一类常Ｊ＝｝＝｜方法是基丁｜特征对应的方法。从以上对丁光流技术的讨论．我们可以发现，运用光流技术需要一个基本的前提条件，即需要较高的采样率，以保证在一定的

时间间隔上，物体的亮度基本保持不变。而这一要求对于许多实际应刚的场合Ｆ．很难保证。而通过对于类似人眼的高级视觉系统的研究表明，人眼可以在相当的时间间隔上通过对于空间中的相应特征进行匹配来建立运动感觉，即可以在长距离空间中跟踪视觉目标。

因此类似的可以采用对丁图象序列中的特定标记进行跟踪、对应的方法来进行运动分析。一般而言，可以采取两个步骤：第一个步骤是在图象序列中找出相应的特征，这些特征应该具有一定的独特性，以便区分和检测。第二个步骤是在同一图象序列中，对前一帧图象中的某个特征，在后一帧图象中找到与之相对应的特征的位置，从而完成匹配与对应。

§２．５．２特征的选择

选择合适的特征在基于特征的运动分析中起着极为重要的作用。一般而言，所选的特征

应根据不同的应用目标而加以分别考虑。

根据应用情况，可选取特祉的复杂程度往往有较大的不同。既可以是点、线、块【１６］

【１７】这样较为简单的特征，也可以是具备某种复杂结构关系的图形或较为完整的物体图象。

一般而言，选择简单的特征有利ｒ削象特征的提取和检测，但是不利于特征之间的对应和匹配；而选择复杂的特征有利丁简化对应的难度和复杂度，降低了对应错误的可能性．但是如

何从图象中检测和提取特征本身就具有一定的困难，而且由于特征本身在运动的情况。Ｆ可能

出现较大的变化。这使得如何定义特征本身具各了相当的难度。

§２．５．３特征的对应

所谓特征对应就是要在圈象序列的各特征之间建立一一对应的关系。特征对应～直是一个非常棘手的问题。假设有图象序列共有Ｋ帧，每帧有Ｎ个特征，则在整个图象序列中一共可以建立起Ⅳ妒。’种特征对应关系。因此这是一个组合爆炸问题。而且，如何在这么多的组合中，选择出正确的对应结果也存在着相当的困难。另外．特征对应存在着容错性较差的问题，当出现特征对应错误的情况Ｆ，后续图象序列的对应必将受前面错误的影响，从而导

致错误的蔓延和扩散，影响最终结累。

１４

互壅

塑鋈查兰塑主兰竺堡苎

由以上分析町知，解决特征对戍问题必须引入某些约束机制。一股所用的约束有最大速

度约束，加速度恒定约求，运动的刚性约束等。最大速度约束表明运动的速度存在着某个上

限ｔ因此特征在一定的时间间隔下距离的改变不大。加速度恒定约束则说明特征运动的平滑

性。运动的刚性约束则对刚体上的特征的运动特性进行了约束，即相同刚体上的特征在运动

过程中相互距离保持不变，具有相同的运动参数。

里壅

塑坚查兰竺．！．兰竺兰—：兰－

第三章

现有的人体运动分析方法

§３１简介

止如在绪论中所指出的那样，人体运动分析有着诸多重要和实际的应用。网此，对丁该

问题科学家们作了不少有益的１：作。然而到目前为止，还没有任何一套系统可以真正鲁棒地从视频序列中得到或恢复人体的运动信息和三维结构。究其原因主要有首先人体运动是一个复杂的运动系统，人体的运动具有很人的臼由度和高度的非线性特点。其次人体是１卜刚体，而且结构复杂，在运动中存在着严重的遮挡现象。此外，人体的外表由于穿着服装，冈此人体的外观表现出极大的差异，很难Ｊ｛ｊ统…的模型加以表达。正是由于上述问题的存在，目前对于人体运动分析的研究工作，都是从各种不同的角度着手，采取各类不同的约束与前提条

件来简化研究工作。

如何解决人体运动分析问题，往往随着应用领域的不同变化而不同。各个实际的惠Ｈ｛目

标往往由于不同的目的，需要从人体运动分析中获取的信息也随之不同，从而解决的办法不同，也存在着多种分类的方法。

根据采用摄象机的数目可分为基］：单目【１８】的方法和基于多目【１９］的方法。单目方

法指的是采用一台摄象机获取Ｉ！｝ｌ象，只对从一个摄象机角度获得的视频序列进行分析。而多

目指的是采取多台摄象机，对从多角度获得的视频序列进行处理。由于大多数的视频资料采用单目的方法获取，因此单目方法比多目的应蹦范围更加普遍。然而由于采用单目方法，不可避免的对于需要获取深度信息的各类麻川场合下，难以取得满意的结果。而多目方法则可通过分析多角度的视频序列，较好的获得深度信息，但其往往需要在实验室条件下进行，与

单目相比增加了许多限制条件。

就人体运动分析的各类方法而言，另～类可用的区分标准是是否准备从视频序列中提取人体的三维运动信息并从中恢复人体三维结构。这种分类方式主要根据实际的应用场合，在诸如视频监控领域中，其研究对象往往是复杂的自然场景，所关注的一般是人的整体行为与位置 因此不需要人体各个肢体部分的详尽信息，所以一般只需在图象序列中确定人体的位置以及判断人体的运动方向即可。该类系统的研究重点在于如何从一个复杂的背景中去获得人在场景中的具体位置，主要依赖于剧象的分割与运动检测技术。而在类似角色动画中。获取人在三维空间的精确位置是应用成功的芙键．因此一般采取在实验室环境中，使用昂贵的运动捕捉系统，主要的研究重点在于如何从运动恢复结构。其采取的一般方法与思路就与二

６

正文浙江大学硕士学位论文

维的情况有很人的不同之处。

人体运动分析还可以从研究人体各种不同的运动出发。人体运动的形式多种多样，一般

的人体运动形式有步行、跳跃、奔跑等，特殊的有体育运动等。要提出一个一般的技术分析框架来容纳所有的人体运动，到达普遍的适应性，从目前而言并不是很现实。而不同的运动，往往有不同的运动模式，可以从中总结获得不同的运动模型，而这些运动模型往往可以在特殊的人体运动研究中作为先验知识，起到关键性的指导工作。因此，对备类人体运动的形式，

目前很多学者的Ｊ：作都是从某一种运动形式出发，有的研究步行运动，有的研究体操动作，

对不同的运动形式进行研究。由于就某种具体的应用目标而言，其所涵盖的人体运动形式往

往有限，因此这类方式有其实际意义。

从以上分析可知，就人体运动分析的方法而言，从不同角度出发存在着多种不同的分类准则。而以下我们采取一种在人体运动分析领域中所采用的～般分类准则，即是否采用形状

模型，也就是按照特征对应的方法和基于模型的方法来区分相应的工作和研究方法。以Ｆ在

介绍两种方法时，同时就相关领域的１ｊ作作一个较为全面的回顾。

§３．２基于特征的人体运动分析技术

正如在上一章中所指出的那样，特征对应一直是运动分析领域的一个基本研究方法和手

段。同样在人体运动分析领域中，特征对应也被许多研究者采用．进行人体运动分析的研究。

在这类研究方法中，事先没有对人体的外形建模，主要依赖于与人体运动关键部位（～般是人体关节点）相关的特征ｔ在视频序列中跟踪图象的特征，并利用跟踪的结果来进行相

应的运动分析工作，以获得人体运动的运动参数或从中推断出人体的三维结构。以下分别就上述三个一般的过程具体介绍一下主要的思路与相关的工作。

§３．２．１特征的选取

定义特征是基于特征的人体运动分析技术的基本问题。一个好的特征必须符合对于躁声不敏感，易于识别，以及具有唯一性等条件。而一般常用的特征包括点，角点，边缘，线，块（ＢＬＯＢ）以及更为复杂的结构特征。简单的特征易于提取和判别，但不利于跟踪。复杂的特征提取较为困难但是易于定位与跟踪。这些需要在特别针对不同的应用领域及所要达到

的目标做一个权衡。

Ｐｏｌａｎａ和Ｎｅｌｓｏｎ［ｚｏｌ在人的全身运动中将运动人体的质心作为特征，用以代表人体的

１７