基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一。探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264／AVC的编码模型JM下实现。实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点闻相关性

维普资讯 http://

计算机科学 20 V 13 N . 0 8 o. 5 o 9

基于视差估计算法的多视点视频预测方案 )潘峰马力妮杜小钰

(北京信息科技大学计算机学院北京 10 8) 00 5摘要多视点视频编码是立体视频的关键技术，差估计是目前多视点视频编码中常用的方法之一。探讨了多视 视

点视频编码中的视差估计算法原理，当前应用视差估计算法的几种典型预测结构进行了深入分析，出一种结合分对提级 B图与视点相关性的多视点编码方案，该方案在 H_6/ VC的编码模型 J下实现。实验表明， 24A M该方案在兼顾随机访问性能的同时，实现了较高的编码效率，尤其适合视点闻相关性较高的运动图像序列。关键词多视点视频，频编码，差估计，级 B图，测结构视视分预M u tv e Vi o Co n h meBa e n Dipa iy Es i to Al o ih liiw de di g Sc e s d o s r t tma i n g rt mPAN n MA— i DU a￣ u Fe g Li n Xi o y

( e at n f o ue i c, e igUnvri f nomainS i c n c n lg, eig10 8, hn ) D pr me t mp tr e eB in iest o fr t ce eadTeh oo y B in 0 0 5 C ia oC c S n j y I o n j

Abta t M utve vd oc dn sak yt c n lg fse e ie, n ip rt si to st em o tp p lrag— sr c liiw ie o igi e e h oo yo tr ovd o a d ds a i e t y ma in i h s o ua lo rtm fc re tmutve vd oc dn c e s Th h o yo ip rt s i t n ag rtm sfrtiv siae a d i h o u rn l iw ie o ig s h me . et e r fds a i e t i y mai lo i o h i i n etg td, n ss v r lt p c lc d n e h iu s a e a a y e n d t i e e a y ia o i g t c n q e r n l z d i ea l .Th n a n v lmu t iw o i g s h m e i

p o o e ih i e o e li e c d n c e s r p s d wh c s v b s d o ir r h c lB it r s a d c re a in p o e t f ve o n s Ex e i n a e u t h w h t t e p o s d a e n h e a c ia p c u e n o r l t r p ry o iwp i t . p rme t lr s l s o t a h r p e o s o s h me i fiin . c e S e f e t c Ke wo d M u tve vd, d o c d n Dip rt s i to Hir r h c l p c u e, r d c in s r c u e y rs l iw i e Vie o i g, s a i e t i o y ma in, e a c ia B it r s P e i t tu t r o

1引言 多视点视频 ( l-i ie, V) mut v w v oMV是当前多媒体领域 ie d的研究热点，广阔的应用前景正在受到越来越多的关注。其

作已经全面展开。2 0 0 2年 5月，v小组会议正式发布了 JT 3 AV的需求文档|, D 2并在次年 F i a] ar x会议中征集 MVC标 f准意见。随后的历次 MP G会议， E MVC作为 H. 6 24的重要扩展受到密切关注， 2 0在 0 5年的 P za onn会议上， MVC进入 C P阶段 ( alo rp sl E 2 0 f C Ifr o as,0 6年 1 B n k k会议和 P o )月 a o g 20 0 7年 7月 Geea会议中，有多项关于 MV的讨论提 nv都 C案。此外， J VT小组还开发了一个多视点视频应用的软件模型 J MVM ( on l- i Vie d 1 E。J J itMu t ve i w d o Mo e )] MVM基于 4

与传统的视频不同，多视点视频系统能够提供与场景的交互能力，它允许用户在一定范围内选择任意视点或视角观看，用

户可以实现对同一场景的多方位体验，这充分满足了用户的交互性和个性化需求，使用户获得更加真实的视觉感受。图1展示了一种典型的多视点视频系统，首先由多个摄像机同步视频采集，然后对多视点数据编码，过存储和传输，通最终在用户端根据不同应用需求解码和显示|。多视点视频的提 I]

H. 6 2 4编码标准，采用了基于宏块的运动预测和视差估

计技术，同时利用多路视频数据的视点相关性，为多视点视频编码的方案实现提供了可行验证。

出体现了下一代多媒体应用真实感、交互性和网络化的发展方向，的立体特性和交互能力使得它有着广阔的应用前景，它其编码技术也在过去的几年中得到了飞速发展。hp I毗 Oup t t u

由于多视点视频信号是由多个不同位置和角度的相机采集得到的，随着视点数目的增加，需要处理、存储和传输的视频数据量也随之成倍增加。而视频数据是信息量最大的一类

多媒体数据，多个视点的庞大数据量给计算机处理带来了很大的困难，数据的高效压缩成为多视点视频应用亟待解决对的问题。

_ 一———■●■●■IN∞ a c a

—■ T W S t e H r D■ o T v■一M u ve hiiw

本文在第 2部分首先分析了时域预测的编码方法； 3第 部分论述了多视点视频编码的时空联合预测原理，列举了几种典型的多视点编码预测结构并且分析了各方案的结构特点， 4第部分提出一种新的基于分级 B图的多视点视频编码方案，并且通过实验进行了性能对比分析，最后对研究的结果做了总结与展望。

图 1多视点视频系统

目， 0组织和 I UT组织的联合视频专家组(v,前 I s T _ J TJ it doTem f S/E E& I T E关于 on e a o O I C MP G Vi I TU_ VC G)多视点视频编码 ( l-i vdocdn, C的标准化工 mut v w i o i MV ) ie e g

2时域预测 运动图像是通过在一个矩形窗口中以一定时间间隔连续拍照进行捕获的，将这一组帧序列回放就产生了运动的效果。峰硕士研究生，究方向为视频编码技术。研

*)京市教育委员会科技发展计划面上项目 (北 NO: KM2O l 22 O 2。潘 O 5 13 O 9 )

2 52