第五章 特征选择与提取 基本概念 模式类别可分性的测度 特征选取 离散K-L变换 采用K-L变换的分类特征提取

基本概念 特征形成 根据被认识的对象产生出一组 基本特征，这些基本特征可以是通过计 算得到的，也可以是通过一定的工具测 量出来的，这些特征我们叫做原始特征。 通常到从物理量到原始特征需要经过很 多的过程，如识别物体，要对物体影像 进行数字化，得到数字图像，再对数字 图像进行各种预处理，从而得到物体的 几何的、颜色的特征。

基本概念 特征选择和提取是模式识别中的一个关 键问题– 前面讨论分类器设计的时候，一直假定已 给出了特征向量维数确定的样本集，其中 各样本的每一维都是该样本的一个特征； – 这些特征的选择是很重要的，它直接影响 到分类器的设计及其性能； – 假若对不同的类别，这些特征的差别很大， 则比较容易设计出具有较好性能的分类器。

基本概念 特征选择和提取是构造模式识别系统的一个 重要课题– 在很多实际问题中，往往不容易找到那些最重要 的特征，或受客观条件的限制，不能对它们进行 有效的测量； – 因此在测量时，由于人们心理上的作用，只要条 件许可总希望把特征取得多一些； – 另外，由于客观上的需要，为了突出某些有用信 息，抑制无用信息，有意加上一些比值、指数或 对数等组合计算特征(在数据上作一些处理); – 如果将数目很多的测量值不做分析，全部直接用 作分类特征，不但耗时，而且会影响到分类的效 果，产生“特征维数灾难”问题。

基本概念 为了设计出效果好的分类器，通常需要对原 始的测量值集合进行分析，经过选择或变换 处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维 数，即进行“降维”处理，使分类器实现快 速、准确和高效的分类。 为达到上述目的，关键是所提供的识别特征 应具有很好的可分性，使分类器容易判别。 为此，需对特征进行选择。– 应去掉模棱两可、不易判别的特征； – 所提供的特征不要重复，即去掉那些相关性强 且没有增加更多分类信息的特征。

基本概念 说明– 实际上，特征选择和提取这一任务应在设计分类 器之前进行； – 但从通常的模式识别学习过程来看，在讨论分类 器设计之后讲述特征选择和提取，更有利于加深 对该问题的理解。 改进分类器(参数)分类器设计 信息获取 预处理 特征选取 模式分类 识别结果输出 错误率检测

基本概念 所谓特征选择，就是从n个度量值集合{x1, x2,…, xn} 中，按某一准则选取出供分类用

的子集，作为降 维(m维，m<n)的分类特征； 所谓特征提取，就是使(x1, x2,…, xn)通过某种变换， 产生m个特征(y1, y2,…, ym) (m<n) ,作为新的分类 特征(或称为二次特征); 其目的：都是为了在尽可能保留识别信息的前提 下，降低特征空间的维数，已达到有效的分类。

基本概念 以细胞自动识别为例– 通过图像输入得到一批包括正常细胞和异常细胞的图像， 我们的任务是根据这些图像区分哪些细胞是正常的，哪 些细胞是异常的； – 首先找出一组能代表细胞性质的特征，为此可计算 细胞总面积 总光密度 胞核面积 核浆比 细胞形状 核内纹理 ……

第四章 特征选择和提取 以细胞自动识别为例– 这样产生出来的原始特征可能很多(几十甚至几 百个),或者说原始特征空间维数很高，需要降 低(或称压缩)维数以便分类； – 一种方式是从原始特征中挑选出一些最有代表性 的特征，称之为特征选择； – 另一种方式是用映射(或称变换)的方法把原始 特征变换为较少的特征，称之为特征提取。

5.1 模式类别可分性的测度 5.1.1 距离和散布矩阵– 点到点之间的距离D(a, b) a bD (a, b) (a b)( a b) (a k bk )2 t k 1 n 2

– 点到点集之间的距离(距离平方、均方距离)D ( x, a(i )) ( x k a k )2 (i ) k 1 n 2

D ( x, a

2

) D k(i )

1

K

2

( x, a (i ))

1 k

i 1

( xk ak )(i ) i 1 k 1

K

n

2

5.1 模式类别可分性的测度 类内距离D2

a( j ) , a(i) 2 k2k 1

n

K分量的 无偏方差

2 k

a k 11

(i ) k

ak

2

K分量的 均值

ak

1 K

aki 1

K

(i )

5.1 模式类别可分性的测度 类内散布矩阵 因为xi和xj是同一类中的不同样本，他们应该是独 立的模式样本向量，因此样本距离的均方值为：D2

a ( j ) , a (i ) 2 E x t x 2 E x t E x

2tr E x x mmt

t

2tr[ R mm ]t

2tr[C ] 2 kk 1

n

2

其中R是该类模式分布的相关矩阵，m为均值向量，C 为协方差矩阵。对属于同一类的模式样本，类内散布 矩阵表示各样本点围绕其均值周围的散布情况，这里 即为该分布的协方差矩阵。

5.1 模式类别可分性的测度类间距离和类间散布矩阵 为两类模式样本集合 a (i ) 和 (i ) b 类间距离表示：

D

2

a b , j 1,2,3,..., Ka; i 1,2,3,..., Kb ,( j) (i )n 2

通常取一些简单的表达式来定义 ：D (m1k m 2 k )2 k 1

其中m1和m2是两个类模式样本集合的各自均值向量， m1k和m2k是m1和m2的第k分量，n为维

数。可以写成 矩阵相乘的形式Sb 2 (m1 m2 )( m1 m2 )t

5.1 模式类别可分性的测度 Sb 2 (m1 m2 )( m1 m2 )t

表示1和2两类模式

的类间散布矩阵 当三类或者更多的时候就引入先验概率 作为加权 :S b1 P( i )(mi m0 )( mi m0 )i 1c 0 i i i 1

c

t

其中 m E x P( )m 为多类模式(这 里共c类)分布总体的均值向量。

5.1 模式类别可分性的测度多类模式集散布矩阵S w P( i ) E ( x mi )( x mi ) | i P( i )Cit i 1 i 1 c

c

其中Ci第i类的协方差矩阵 定义总体散布矩阵为：

St E ( x m0 )( x m0 ) Sb、St 、Sw之间满足

t

St Sw Sb 以上各类散布矩阵反映了各类模式在模式空间的 分布情况，但它们与分类的错误率没有直接联系。

5.1.2 散度 散度的定义 前面定义过似然函数和似然比，这些都 提供了两种模式可分的度量，也就是在错误 概率最小意义下的模式样本的分类 。 ij ( x) lnp( x | i ) p( x | j )ij

求该式的值，需要 p( x | ) 和 p( x | ) 的确切的表达式，这个要求较高，我们转而 求 p( x | )I ij ( x) Ei[ ij ( x)]

x

p( x | i ) ln

i

p( x | j )

dx