计算机视觉的多视几何

吴毅红 中国科学院自动化研究所 模式识别国家重点实验室

主要内容 1. 单视几何(应用 单幅图像测量) 2. 两视几何(Epipolar Geometry 约束)空间平面与Homography

3. 三视几何(Trifocal Geometry 约束)

1. 单视几何成像平面

X摄 像 机 坐 标 系

Mm

O Y

Z成像平面

xi mi K[R, t ]Μi

O

1. 单视测量 目标、内容 研究的意义 国内外研究的现状 算法

1. 单视测量目标、内容 从单幅图像中恢复场景的全部或部分三 维信息 运用射影几何理论，探索利用单幅图像 实现场景测量所需的图像信息以及场景 信息，从而实现对场景中距离、面积、 体积等的测量

1. 单视测量研究的意义 利用超声波、激光等来测量，很容易受 到外界不可预测反射等因素的影响 基于图像的测量技术，因其所需的只是 场景图像，所以更灵活、方便、即时、 准确 具有非常广泛的应用前景，如法庭取证、 交通事故现场的测量、建筑物测量等等 很多方面

研究现状

1. 单视测量

用两幅或多幅图像对场景进行重建以后 进行测量的方法以及摄影测量学的方法 有很大的局限性 利用单幅图像对场景进行测量，已引起 人们的关注 A. Criminisi University of Oxford 目前，国内外在此方面还没有系统的研 究

算法平面测量

1.单视测量成像平面

M X摄 像 机 坐 标 系

mYw

O Y

ZH 3 3

Xw

XM XM XM YM ~ s m K[r1 , r2 , r3 , t ] K[r1 , r2 , t ] YM H YM HM 0 1 1 1

空间平面与其图像间的关系可由平面Homography: H 来表示(一个 3 3 的矩阵). 一般将空间平面假设 为 Z w 0 即X-Y 平面, 则：

T ~ m u, v,1

M [ X M ,YM ,1]T

算法平面测量

1. 单视测量

如果4个空间点 M i 已知，则由它们可线性求解H: ~ i 1,2,3,4 s m HMi i i

然后通过将图像点反投到空间平面，实现空间平面上的测量

s5M5 H 1m5

s6M6 H 1m6

距离\面积\夹角

算法空间测量

1. 单视测量

已知一个空间平面的homography和此平面法向 量方向的一组平行线、某个线段的距离，或已知 另一个平面的位置，可测：体积、身高、两个平面的距离、两个平 面内的两个点之间的距离

算法S1 S2 R1 Z S3

1. 单视测量

S5

R2 S6 S7

V1Y X S4

Z

Y X

物体体积的测量结果：S9

R3 Z S8

V2 S10

Y X

V1 Real volume: Measured value: Relative error: V2 Real volume: Measured value: Relative error:

109265.0 cm3 110018.9 cm3 0.69 % 26826.7 cm3 26628.2 cm3 0.74 %

2. 两视几何主要内容 外(对)极几何(Epipolar geometry) 基本矩阵、本质矩阵

重建 景物平面与单应矩阵(Homography)

2. 两视几何外极几何外极几何是研究两幅图像之间存在的几何。它和场 景结构无关，只依赖于摄像机的内外参数。研究这 种几何可以用在图像匹配、三维重建方面。 基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵

2. 两视几何外极几何外极平面 M 基本矩阵，3 3的矩阵

外极线O

l

m e

m'TFm=0

m'

l'

e'

O'

外极点 基线

对极线

2. 两视几何外极几何 基线：连接两个摄象机光心 O(O’)的直线 外极点：基线与像平面的交点 外极平面：过基线的平面 外极线：对极平面与图像平面的交线 基本矩阵F:对应点对之间的约束 m'T Fm 0

外极几何v v图像坐标系

2. 两视几何Xw Zw Yw Ow

R0, t0

世界坐标系

R’, t’

o

摄像机坐标系

R, t

xi mi K[R 0 , t 0 ]Μi x'i m'i K ' [R ' , t' ]Μi如果将世界坐标系取在第一个摄像机 坐标系上，则：

Zc

Xc

xi mi K[I,0]Μi x'i m'i K ' [R, t ]Μi

Yc

O

外极几何

2. 两视几何M

xi mi K[I,0]Μi PΜi x'i m'i K ' [R, t ]Μi P' Μil m

m'TFme

m' e'

l'

=0O'

对象的数学表达： 光心：O [0 0 0 1] ' T

O

O' [ R t, 1] 1

基本矩阵 F:F K [t ] RK 是一秩为2的3×3矩阵，自由度为 7 外极点：

e PO' P R t, 1

T

KR t

T e P O P 0 0 0 1 K t

外极几何

2. 两视几何M

xi mi K[I,0]Μi PΜi x'i m'i K ' [R, t ]Μi P' Μil m

m'TFme

m' e'

l'

=0O'

对象的数学表达： 外极线：

O

l e m

l' e' m'

(用法向量表示)

E [t ] R 本质矩阵 E: 是一秩为2的3×3矩阵，自由度为 5对象之间的关系式：

l F mT

'

l Fm'

Fe 0

e F 0'T

外极几何

2. 两视几何M

xi mi K[I,0]Μi PΜi x'i m'i K ' [R, t ]Μi P' Μil m O e

m'TFm =0

m' e'

l'

O'

对象之间的关系式：

l F mT

'

l Fm'

F不是一个一一对应的变换。

Fe 0

e 'T F 0

F K ' T EK 1

如果，m,m’是一对对应点，则： 反之，不成立。

m' Fm 0

2. 两视几何基本矩阵xi mi K[I,0]Μi PΜi x'i m'i K ' [R, t ]Μi P' Μi' T

F K

[t ] RK

1

xi mi K[I,0]HΜi PHΜi

x'i m'i K ' [R, t ]HΜi P' HΜi

H是一个 4 4 射影变换矩阵 ，投影矩阵对 (P, P' ) ' 对应相同的基本矩阵 F K ' T [t ] RK 1 (PH, P H)

和 。

2. 两视几何基本矩阵的变换作用l F mT '

l ' Fm

Fe 0

e 'T F 0

在两幅图像之间，基本矩阵将点 m 映射为对应的对极线， 将对极点映射为0。不能提供对应点间的一一对应。 M Fl m O e

m'TFm=0

m' e'

l'

O'

F0