计量经济学一元线性回归模型

第三章 多元线性回归模型第一节 第二节 第三节 第四节 第五节 第六节 模型的建立及其假定条件 多元线性回归模型的估计 最小二乘估计量的特性 可决系数 显著性检验与置信区间 预测

计量经济学一元线性回归模型

第一节 模型的建立及其假定条件1、多元线性回归模型 2、多元线性回归模型的基本假定

计量经济学一元线性回归模型

1、多元线性回归模型多元线性回归模型:表现在线性回归模型中的解释 变量有多个。 一般表现形式：Yi 0 1 X 1i 2 X 2 i k X ki i

i=1,2…,n

其中:k为解释变量的数目， j称为回归参数(regression coefficient)。 习惯上：把 常数项 看成为一 虚变量 的系数，该虚变 量的样本观测值始终取1。这样： 模型中解释变量的数目为(k+1)

计量经济学一元线性回归模型

1、多元线性回归模型Yi 0 1 X 1i 2 X 2 i k X ki i也被称为总体回归函数的随机表达形式。它 的 非随机表达式为: E (Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki 方程表示：各变量X值固定时Y的平均响应。

j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;

或者说 j 给出了 Xj 的单位变化对 Y 均值的“直接”或 “净”(不含其他变量)影响。

计量经济学一元线性回归模型

1、多元线性回归模型总体回归模型n个随机方程的矩阵表达式为

Y X β μ其中 1 1 X 1 X 11 X 12 X 1n X X X21 22

2n

X k2 X kn n ( k 1 ) Xk1

0 1 μ β 2 k ( k 1) 1

1 2 n n 1

计量经济学一元线性回归模型

1、多元线性回归模型样本回归函数：用来估计总体回归函数 X X X Y i 0 1 1i 2 2i ki ki

其随机表示式:

X X X e Yi 0 1 1i 2 2i ki ki i

ei称为残差或剩余项(residuals),可看成是总体回归函 数中随机扰动项 i的近似替代。

样本回归函数的矩阵表达:

e 或 Y Xβ Y Xβ

e1 0 e2 1 其中： β e e n k

计量经济学一元线性回归模型

2、多元线性回归模型的基本假定假设1,解释变量是非随机的或固定的，且各X之间互 不相关(无多重共线性)。 假设2,随机误差项具有零均值、同方差及不序列相 关性E( i ) 0Var( i ) E( i2 ) 2Cov( i , j ) E( i j ) 0

i j i, j 1,2, , nCov( X ji , i ) 0

假设3,解释变量与随机项不相关 假设4,随机项满足

正态分布

j 1,2 , k

i ~ N (0, 2 )

计量经济学一元线性回归模型

2、多元线性回归模型的基本假定上述假设的矩阵符号表示 式： 假设1,n (k+1)矩阵X是非随机的，且X的秩 =k+1,即X满秩。 假设2, 1 E ( 1 ) E (μ) E 0 E ( ) n n

1 ) E E (μμ n

1

12 1 n n E 2 n 1 n

计量经济学一元线性回归模型

2、多元线性回归模型的基本假定 var( 1 ) cov( 1 , n ) 2 cov( , ) var( ) n 1 n 0假设3,E(X’ )=0,即

0 2I 2

i E ( i ) X 1i i X 1i E ( i ) E 0 X X E ( ) Ki i Ki i

计量经济学一元线性回归模型

2、多元线性回归模型的基本假定假设4,向量 有一多维正态分布，即

μ~ N (0, 2 I )

同一元回归一样，多元回归还具有如下两个重要假设：

假设5,样本容量趋于无穷时，各解释变量的方差趋于有界 常数，即n ∞时， 1 1 1 2 2 x ji ( X ji X j ) Q j 或 x x Qn n

n

其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的n k阶矩阵 x11 x k 1 x x x kn 1n

计量经济学一元线性回归模型

2、多元线性回归模型的基本假定假设6,回归模型的设定是正确的。

计量经济学一元线性回归模型

第二节 多元线性回归模型的估计1、参数的最小二乘估计 2、离差形式的最小二乘估计量 3、随机误差项 的方差 的无偏估计 4、最大或然估计* 5、矩估计(Moment Method, MM)*

计量经济学一元线性回归模型

1、参数的最小二乘估计对于随机抽取的n组观测值(Yi , X ji ), i 1,2, , n, j 0,1,2, k

如果样本函数的参数估计值已经得到，则有： X X X Y i 0 1 1i 2 2i ki Ki Q 0 0 Q 0 1 Q 0 2 Q 0 k

i=1,2…n

根据最小二乘原理，参数估计值应该是下列方程组的解2 Q e ( Y Y ) 其中 i i i 1n

n

2 i

n

i 1

X X X )) (Yi ( 0 1 1i 2 2i k kii 1

2

计量经济学一元线性回归模型

1、参数的最小二乘估计于是得到关于待估参数估计值的正规方程组： X X X ) Y ( 0 1 1i 2 2i k ki i X X X ) X Y X ( 0 1 1 i 2 2 i k ki 1i i 1i X X

X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki

解该( k+1)个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。

计量经济学一元线性回归模型

1、参数的最小二乘估计正规方程组的矩阵形式 n X 1i X ki

X X

1i 2 1i

X X Xki

X即

ki

X 1i

1 0 X 11 1i ki 1 2 X X ki k k1

1 X 12 X k2

1 Y1 X 1 n Y 2 Y X kn n

X Y (X X)β

由于X’X满秩，故有

(X X) 1 X Y β

计量经济学一元线性回归模型

1、参数的最小二乘估计将上述过程用矩阵表示如下：

) ( Y Xβ ) 0 ( Y Xβ 即求解方程组： β X Y Y Xβ β X Xβ ) 0 ( Y Y β β

β X Xβ ) 0 (Y Y 2Y Xβ β 0 X Y X Xβ

得到：

X Y X Xβ

于是：

(X X) 1 X Y β