清华大学 经管院 李子奈 一元线性回归模型的参

§2.2 一元线性回归模型的参数估计 一、一元线性回归模型的基本假设 参数的普通最小二乘估计(OLS) 二、参数的普通最小二乘估计(OLS) 参数估计的最大或然法(ML) 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计

单方程计量经济学模型分为两大类： 线性模型和非线性模型 线性模型中，变量之间的关系呈线性关系 非线性模型中，变量之间的关系呈非线性关系 一元线性回归模型：只有一个解释变量 一元线性回归模型Yi = β 0 + β 1 X i + µ i

i=1,2,…,n

Y为被解释变量，X为解释变量，β0与β1为待估 待估 参数， µ为随机干扰项 参数 随机干扰项

回归分析的主要目的是要通过样本回归函 回归分析的主要目的 数(模型)SRF尽可能准确地估计总体回归函 数(模型)PRF。 估计方法有多种，其种最广泛使用的是普通 普通 估计方法 最小二乘法(ordinary least squares, OLS)。 最小二乘法 为保证参数估计量具有良好的性质， 为保证参数估计量具有良好的性质，通常对 模型提出若干基本假设。 模型提出若干基本假设。 注：实际这些假设与所采用的估计方法紧密 相关。

一、线性回归模型的基本假设假设1、解释变量X是确定性变量，不是随机变量； 假设2、随机误差项µ具有零均值、同方差和不序列相 关性： E(µi)=0 i=1,2, …,n Var (µi)=σµ2 i=1,2, …,n Cov(µi, µj)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项µ与解释变量X之间不相关： Cov(Xi, µi)=0 i=1,2, …,n 假设4、µ服从零均值、同方差、零协方差的正态分布 i=1,2, …,n µi~N(0, σµ2 )

注意： 注意：1、如果假设1、2满足，则假设3也满足; 2、如果假设4满足，则假设2也满足。

以上假设也称为线性回归模型的经典假设 经典假设 或高斯(Gauss)假设 高斯( 高斯 )假设，满足该假设的线性回归 模型，也称为经典线性回归模型 经典线性回归模型(Classical 经典线性回归模型 Linear Regression Model, CLRM)。

另外，在进行模型回归时，还有两个暗含的 另外 假设： 假设5:随着样本容量的无限增加，解释变 量X的样本方差趋于一有限常数。即( X i X ) 2 / n →Q, ∑ n→∞

假设6:回归模型是正确设定的 6假设5旨在排除时间序列数据出现持续上升或下降的变 量作为解释变量，因为这类数据不仅使大样本统计推断变 得无效，而且往往产生所谓的伪回归问题 伪回归问题(spurious 伪回归问题 regression problem)。 假设6也被称为模型没有设定偏误 设定偏误(specification error) 设定偏误

二、参数的普通最小二乘估计(OLS) 参数的普通最小二乘估计(OLS)给定一组样本观测值

(Xi, Yi)(i=1,2,…n)要 求样本回归函数尽可能好地拟合这组值. 普通最小二乘法(Ordinary least squares, OLS) 普通最小二乘法 给出的判断标准是：二者之差的平方和 Q = ∑ (Yi Yi ) = ∑ (Yi ( β 0 + β 1 X i )) 22 1 1 n n

最小。

方程组(*)称为正规方程组(normal equations)。 正规方程组( 正规方程组 )

记

∑ xi2 = ∑ (X i X ) 2 = ∑ X i2

1 (∑ X i )2 n

∑ xi yi = ∑ ( X i X )(Yi Y ) = ∑ X iYi

1 ∑ X i ∑ Yi n

上述参数估计量可以写成： β = Σxi y i 1 2

Σx i β = Y β X 1 0

称为OLS估计量的离差形式(deviation form)。 离差形式( 离差形式 )。 由于参数的估计结果是通过最小二乘法得到的， 故称为普通最小二乘估计量(ordinary least 普通最小二乘估计量 普通最小二乘估计量( squares estimators)。 )

顺便指出 ，记 yi = Yi Y

则有

yi = ( β 0 + β1 X i ) ( β 0 + β1 X + e ) = β 1 ( X i X ) 1 ∑ ei n

可得

y i = β 1 xi

(**)

(**)式也称为样本回归函数 离差形式 样本回归函数的离差形式 样本回归函数 离差形式。 注意： 注意： 在计量经济学中，往往以小写字母表示对均值 的离差。

三、参数估计的最大或然法(ML) 参数估计的最大或然法最大或然法( 最大或然法(Maximum Likelihood,简称ML), 也称最大似然法 最大似然法，是不同于最小二乘法的另一种 最大似然法 参数估计方法，是从最大或然原理出发发展起来 的其它估计方法的基础。 基本原理： 基本原理 对于最大或然法 最大或然法，当从模型总体随机抽取n组 最大或然法 样本观测值后，最合理的参数估计量应该使得从 模型中抽取该n组样本观测值的概率最大。

在满足基本假设条件下，对一元线性回归模型：Yi = β 0 + β 1 X i + µ i

随机抽取n组样本观测值(Xi, Yi)(i=1,2,…n)。 假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布： Yi ~ N ( β 0 + β1 X i , σ 2 )

于是，Y的概率函数为P(Yi ) = 1 1 2σ2

(Yi β 0 β1 X i ) 2

σ 2π

e

(i=1,2,…n)

因为Yi是相互独立的，所以的所有样本观测值的联 合概率，也即或然函数(likelihood function) 或然函数(likelihood function)为： 或然函数 L( β 0 , β 1 , σ 2 ) = P(Y1 , Y2 , , Yn )= 1 (2π ) σ nn 2

1 2σ2

Σ (Yi β 0 β1 X i ) 2

e

将该或然函数极大化，即可求得到模型 参数的极大或然估计量。

由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：L* = ln( L) = n ln( 2π σ ) 1 2σ 2 Σ(Yi β 0 β 1 X i ) 2

解得 …… 此处隐藏：2635字，全部文档内容请下载后查看。喜欢就下载吧 ……