机器学习算法简介

第八章 机器学习算法简介邹权(博士) 计算机科学系

提要

8.1 机器学习问题8.2 机器学习算法 8.3 机器学习应用

8.4 WEKA平台简介

8.1 机器学习问题 概念 – 人工智能(Artificial Intelligence, AI) – 机器学习(machine learning, ML) – 模式识别(Pattern Recognition, PR) 研究内容 – 分类(classify)、聚类(cluster)、回归(regress) – 有监督学习(supervised learning) 、无监督学习 (unsupervised learning) 、半监督学习(semisupervised learning)

输入

数 据 采 集

预 处 理

特 征 提 取

分 类 器

分类结果

x

h

3.00

x2

红苹果 2.50

橙子 2.00

1.50 0.60 0.80 1.00 1.20 1.40

x1

待识模式

数据采集及预 处理

特征提取与选 择

识别结果 模式分类

分类 训练训练模式 数据采集及预 处理 特征提取与选 择 分类器设计

不同的分类方法效果不同

8.2 机器学习算法 分类 – 朴素贝叶斯(Native Bayes) – Fisher线性判别 – 支持向量机(support vector machine, SVM) – K近邻(k nearest neighbors, kNN) 聚类– K均值(K means)

贝叶斯分类器的错误率估计p 2 x p 1 x

贝叶斯公式

P( cj|x) =

P(x|cj)P(cj) P(x)

先验概率P(cj) 联合概率P(x|cj) 后验概率P(cj|x)

Bayes最小错误率决策例解

最小错误率 决策

两类细胞识别问题：正常类(ω1)和类异常(ω2) 根据已有知识和经验，两类的先验概率为：

正常(ω1): P(ω1)=0.9 异常(ω2): P(ω2)=0.1 对某一样本观察值x,通过计算或查表得 到： p(x|ω1)=0.2, p(x|ω2)=0.4 如何对细胞x进行分类？ p(x|ω )1

p(x|ω2)

Bayes最小错误率决策例解(2) 利用贝叶斯公式计算两类的后验概率：

最小错误率 决策

P( 1 | x )

P( 1 ) p( x | 1 )

P( ) p(x | )j 1 j j

2

0.9 0.2 0.818 0.9 0.2 0.1 0.4 0.4 0.1 0.182 0.2 0.9 0.4 0.1

P( 2 | x )

P( 2 ) p(x | 2 )j j

P( ) p(x | )j 1

2

j argmax P ( i | x ) 1i

x 1

决策结果

Fisher线性判别函数分类器

Fisher准则的基本原理：找到一个最合适的投影 轴，使两类样本在该轴上投影之间的距离尽 可能远，而每一类样本的投影尽可能紧凑， 从而使分类效果为最佳。