基于视频的人脸识别研究进展

５期

严严等：基于视频的人脸识别研究进展８７９

发生遮挡等困难是研究的重点．国内外众多的大学和研究机构，如美国的ＭＩＴｃ５｜、ＣＭＵｃ”］、ＵＩＵＣｔ¨］、Ｍａｒｙｌａｎｄ大学Ｄｏ－１２］、英国的剑桥大学［１３－１５］、日本的Ｔｏｓｈｉｂａ公司［１¨８］和国内的中国科学院自动化所［１９屯１］都对基于视频的人脸识别进行了广泛而深入的研究．鉴于目前现有的人脸识别国内外综述文献主要针对基于静止图像的人脸识别研究［１≈］，因此有必要对现阶段基于视频的人脸识别研究情况进行分析和总结，期望能够更好地指导未来的研究工作．

２人脸识别概述

一个自动的基于视频的人脸识别系统包括了人脸检测模块、人脸跟踪模块、人脸特征提取模块和人脸识别模块［２２１．关于人脸检测、人脸跟踪和人脸特征提取的研究进展可以参考综述文献［１—３］．本文重点介绍基于视频的人脸识别研究进展．

人脸识别问题可以定义成：输入（查询）场景中的静止图像或者视频，使用人脸数据库识别或验证场景中的一个人或者多个人［１≈］．基于静止图像的人脸识别通常是指输入（查询）一幅静止的图像，使用人脸数据库进行识别或验证图像中的人脸．而基于视频的人脸识别是指输入（查询）一段视频，使用人脸数据库进行识别或验证视频中的人脸．如不考虑视频的时间连续信息，问题也可以变成采用多幅图像（时间上不一定连续）作为输入（查询）进行识别或验证．因此按照上面的分析，根据输入（查询）和人脸数据库的不同，人脸识别可以分成如表１所示的４种情况．

表ｌ输入（查询）和数据库不同情况下的人脸识别

表中“图像一图像（多幅图像）”人脸识别就是传统的基于静止图像的人脸识别［１｛］．而“图像一视频”人脸识别是指利用人脸图像作为输入采用视频人脸数据库进行识别或验证．通常的应用领域是基于人脸的视频信息检索．本文重点介绍的基于视频的人脸识别主要是指后面两种情况，即“视频一图像（多幅图像）”人脸识别和“视频一视频”人脸识别．“视频一图像（多幅图像）”人脸识别是指输入（查询）一段人脸视频，利用静止图像人脸数据库进行识别或验证．“视频一视频”人脸识别是指输入和数据库都利用视频进行人脸识别或验证．相对于前面３种情况，

万　

方数据“视频一视频”人脸识别可以利用的信息最多．视频中可以利用的信息包括‘“：多幅同一个人的人脸图像，视频中人脸在时间和空间上的连续性，利用视频生成的三维（３Ｄ）人脸模型等．需要强调的是本文这样分类的目的是为了能够对整个人脸识别领域的研究现状有一个宏观上的认识，并区分不同情况下的人脸识别．事实上不同情况下人脸识别采用的技术可以是相同的，例如对所有人脸视频序列的处理是按照某种规则（如大小、姿态、清晰度等）提取一张人脸图像，则上面的情况都可以采用基于静止图像的人脸识别技术．

本文首先对现阶段基于视频的人脸识别研究现状进行了详细的分析和讨论，接着介绍了常用的视频人脸数据库和实验结果，最后展望了未来的发展方向．本文假设已经得到图像或者视频中需识别人脸的位置．对静止图像中人脸的定位可参见文献［２３－Ｚ４－］，对视频中人脸的定位和分割可参见文献Ｖｚ５３．

３基于视频的人脸识别

根据上一节的讨论，下面把基于视频的人脸识别分成“视频一图像（多幅图像）”人脸识别和“视频一视频”人脸识别两种情况分别给予综述．３．１“视频一图像（多幅图像）”人脸识别

“视频一图像（多幅图像）”人脸识别是指采用人脸视频作为输入（查询）利用静止图像人脸数据库进行识别或验证．由于现有的大部分人脸数据库都是静止图像人脸数据库，如何充分利用视频中的人脸信息更好地进行人脸识别是现阶段迫切需要解决的问题．

解决这类问题的传统做法［２¨８］可以分成两大类：一类方法对输入视频中的人脸进行跟踪，寻找满足一定规则（如大小、姿态、清晰度等）的人脸图像，然后利用基于静止图像的人脸识别方法．这类方法的

缺点是规则很难定义，并且没有最大限度地利用人脸视频中的时间和空间连续信息．另一类方法利用视频中的空间信息进行人脸识别．通过对输入视频中每一幅人脸或者若干幅人脸采用基于静止图像的人脸识别方法［１４］，利用各种联合规则［２９］（如多数投票或者概率／距离累加等方法）再进行最终的识别．这类方法的缺点是联合规则常有相当的随机性［４］．

近年来，一些研究者开始利用视频中人脸的时间和空间连续信息进行识别．文献［１０３讨论了在贝叶斯理论的框架下统一解决人脸识别和跟踪问题，采用时间序列模型刻画人脸的动态变化，把身份变