重要_最小二乘法

最小二乘法线性拟合朱刚强 2010.03.012

在处理数据时，常要把实验获得的一系 列数据点描成曲线表反映物理量间的关系。 为了使曲线能代替数据点的分布规律，则 要求所描曲线是平滑的，既要尽可能使各 数据点对称且均匀分布在曲线两侧。由于 目测有误差，所以，同一组数据点不同的 实验者可能描成几条不同的曲线(或直线), 而且似乎都满足上述平滑的条件。那么， 究竟哪一条是最曲线呢？这一问题就是 “曲线拟合”问题。一般来说，“曲线拟 合”的任务有两个：2

一 是物理量y与x间的函数关系已经确定， 只有其中的常数未定(及具体形式未定) 时，根据数据点拟合出各常数的最佳值。 二 是在物理量y与x间函数关系未知时，从 函数点拟合出 y 与 x 函数关系的经验公式以 及求出各个常数的最佳值。

解决问题的办法

寻找变量之间直线关系的方法很多。于是，再接下 来则是从众多方法中，寻找一种优良的方法，运用 方法去求出线性模型 —y=a+bx+u 中的截距 a= ? ; 直线的斜率b= ? 正是是本章介绍的最小二乘法。 所得直线可靠吗？怎样衡量所得直线的可靠性？ 最后才是如何运用所得规律——变量的线性关系？

最小二乘法产生的历史

最小二乘法最早称为回归分析法。由著名的英 国生物学家、统计学家道尔顿(F.Gallton)— —达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关 系时，建立了回归分析法。

父亲的身高与儿子的身高之间关系的研究

1889年F.Gallton和他的朋友K.Pearson收集了 上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系 的具体表现形式 下图是根据1078个家庭的调查所作的散点图 (略图)6

从图上虽可看出，个子高的父亲确有生出个子高的 儿子的倾向，同样地，个子低的父亲确有生出个子 低的儿子的倾向。得到的具体规律如下：y a bx u 84.33 0.516x y

如此以来，高的伸进了天，低的缩入了地。他百思 不得其解，同时又发现某人种的平均身高是相当稳 定的。最后得到结论：儿子们的身高回复于全体男 子的平均身高，即“回归”——见1889年F.Gallton 的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律

最小二乘法的地位与作用

现在回归分析法已远非道尔顿的本意，已经成 为探索变量之间关系最重要的方法，用以找出 变量之间关系的具体表现形式。后来，回归分析法从其方法的数学原理——误 差平方和最小出发

,改称为最小二乘法。

最小二乘法的思路

1.为了精确地描述Y与X之间的关系，必须使用这 两个变量的每一对观察值，才不至于以点概面。 2.Y与X之间是否是直线关系(协方差或相关系 数)?若是，将用一条直线描述它们之间的关系。 3.什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵 向距离的和(平方和)最小。9

第一节 一元线性拟合

1. 函数形式已知数学推证过程

1.已知函数为线性关系，其形式为： y=a+bx (1) 式中a, b为要用实验数据确定的常数。此类方 程叫线性回归方程，方程中的待定常数a, b叫 线性回归系数。 由实验测得的数据是 x= x1, x2,………. xn 时， 对应的y值是y= y1,y2,…….yn11

由于实验数据总是存在着误差，所以，把各组数据 代入(1)式中，两边并不相等。相应的作图时，数据 点也并不能准确地落在公式对应的直线上，如图所 示。由图一还可以看出第i个数据点与直线的偏差为：

vi yi xi2

2

(1)

如果测量时，使x较之y的偏差很小，以致可以忽略 (即Δxi很小 )时，我们可以认为x的测量是准确的， 而数据的偏差，主要是y的偏差，因而有：

vi yi yi a bxi ②12

我们的目的是根据数据点确定回归常数a和b, 并且希望确定的a和b能使数据点尽量靠近直线 能使v尽量的小。由于偏差v大小不一，有正有 负，所以实际上只能希望总的偏差( vi)最小。2

所谓最小二乘法就是这样一个法则，按照这个 法则，最好地拟合于各数据点的最佳曲线应使 各数据点与曲线偏差的平方和为最小。

由最小二乘法确定a和b

首先，求偏差平方和，将②式两边平方后相加， 得： vi 2 yi a bxi i 1 i 1 n n2

③

vi 是a, b的函数。按最小二乘法，当a, 显然，2

b选择适当，能使为最小时y=a+bx才是最佳曲 线。

根据二元函数求极值法，把③式对a和b分 别求出偏导数。得： vi i 1 2 yi a bxi a 4 n vi 2 i 1 2 yi a bxi xi b 2

n

令④等于零，得： yi na b xi 0 i 1 i 1 5 n n n 2 y i x i a x i b x i 0 i 1 i 1 i 1 n n

解方程，得：

s xy b

⑥

sxx a y bx

⑦16