关于多元线性回归的毕业论文(8)

多元线性回归

b0 b1 B

bK

Y 1 1 ， Y ， . (2.4)

Y n n

把样本数据分别带入样本回归方程，得到回归方程组为：

Y1 b0 b1z11 bkzk1, (2.5)

Yn b0 b1z1n bkzkn

写成等价的向量方程，则为：Y ZB.

这样回归残差向量为： Y-Y Y-XB.

在利用向量，矩阵的运算法则，可以得到残差平方和为

V

i

2

(Y XB)(Y XB)=YY-BXY-YXB BXXB.

'

'

'

'

'

'

'

'

求V对b0， ，bk的偏导数，等价于V对向量B求梯度，因此最小二乘估计的正规方程

V b 0

组为： BV 2Z' 2Z'ZB 0,整理得到矩阵 形式：Z'ZB ZY.

V bn

当X X可逆，也就是X是满秩矩阵，在上述向量方程两端左乘X X的逆矩阵，得到：

B (ZZ)ZY, (2.6)

'

-1

'

这就是多元线性回归模型最小二乘估计的矩阵一般形式。

2.3.3 最小二乘估计量的性质

(1)线性性：

多元线性回归模型参数的最小二乘估计向量为：B (Z'Z)-1Z'Y，各个参数的最小二乘估计向量为bk (z'z)-1z'

k 1

Y

，其中的 (z'z)-1z'

k 1

是矩阵(z'z)-1z'的k+1

行元素构成的行向量，上式对k=1， ，K都成立，bk正是被解释变量观测值Yi的线性组合，也就是多元线性回归参数的最小二乘估计是线性估计。

(2)无偏性：

多元线性回归的最小二乘估计也是无偏估计，即参数最小二乘估计量的数学期望都

等于相应参数的真实值，最小二乘估计向量的数学期望等于参数真实值的向量，参数真