第9讲 回归分析 讲1.回归分析的基本理论. .回归分析的基本理论. 的基本理论 2.用数学软件求解回归分析问题 .用数学软件求解回归分析问题. 软件求解回归分析问题

回归分析一元线性回归 多元线性回归

数 * 模 型 模 参 型 数 及 估 定 计 义 控 制 与 测 预 、 学 验 * 检

性 回 归 ( 曲 线 回 归 )

可 线 性 化 的 一 元 非 线

数 * 模 型 模 参 型 数 及 估 定 计 义 学

检 * 验 与 预 测 多 元 回 线 归 性 分 回 析 归 中 的 逐 步

一、数学模型例1 测16名成年女子的身高与腿长所得数据如下：身 高143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164

(cm) 腿 长88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102

(cm)

以身高x为横坐标，以腿长y为纵坐标将这些数据点(xi,yi) 在平面直角坐标系上标出.102 100 98 96 94 92 90 88 86 84 140 145 150 155 160 165

y = β 0 + β1 x + ε

解答

散点图

一般地，称由 y = β 0 + β1 x + ε 确定的模型为一元线性回归模型 一元线性回归模型， 一元线性回归模型 记为

y = β 0 + β1 x + ε Eε = 0, Dε = σ 2 固定的未知参数 β 0 、 β1 称为回归系数，自变量 x 也称为回归变量.

Y = β 0 + β 1 x ,称为 y 对 x 的回归直线方程 的回归直线方程.

一元线性回归分析的主要任务 主要任务是： 主要任务1.用试验值(样本值)对 β 0 、 β 1 和 σ 作点估计； 2.对回归系数 β 0 、 β 1 作假设检验； 3.在 x= x 0 处对 y 作预测，对 y 作区间估计.

二、模型参数估计1.回归系数的最小二乘估计 .有 n 组独立观测值(x1,y1)(x2,y2) , ,…, n,yn) (x

yi = β 0 + β x1 + ε i , i = 1, 2,..., n 设 Eε i = 0, Dε i = σ 2 且ε1ε 2 ,..., ε n 相互独立 记

Q = Q( β 0 , β 1 ) = ∑ ε i2 = ∑ ( y i β 0 β 1 xi )i =1 i =1

n

n

2

最小二乘法就是选择 β 0 和 β 1 的估计 β 0 , β 1 使得 最小二乘法

Q ( β 0 , β 1 ) = min Q ( β 0 , β 1 )β 0 , β1

解得

β 0 = y β1 x xy x y β1 = 2 x x2

或 β1 =

∑ (xi =1 n

n

i

x )( y i y )

(xi x )2 ∑i =1

1 n 1 n 1 n 2 1 n 2 其中 x = ∑ xi , y = ∑ y i , x = ∑ xi , xy = ∑ xi y i . n i =1 n i =1 n i =1 n i =1

经验) (经验)回归方程为 :

y = β 0 + β1 x = y + β1 ( x x )

2. σ 2 的无偏估计 . 记 Qe = Q( β 0 , β1 ) = ∑ (y βn i =1 i

0

β 1 xi

) = ∑( y y )2 n i =1 i i

2

称 Qe 为残差平方和 剩余平方和 残差平方和或剩余平方和 残差平方和 剩余平方和.

2 σ 2 的无偏估计 的无偏估计为 σ e = Qe (n 2) 称 σ e 为剩余方差(残差的方差) σ e2 分别与 β 0 、 β1 独立. 剩余方差(残差的方差)

, 剩余方差2

剩余标准差. σ e 称为剩余标准差 剩余标准差

检验、 三、检验、预测与控制1.回归方程的显著性检验 .对回归方程 Y =

β 0 + β 1 x 的显著性检验，归结为对假设 H 0 : β 1 = 0; H 1 : β 1 ≠ 0

进行检验.

假设 H 0 : β 1 = 0 被拒绝，则回归显著，认为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.

(Ⅰ)F检验法 检验法 当 H 0 成立时，其中 U =n

U ~F(1,n-2) F= Qe /(n 2)

( yi y )2 (回归平方和) 回归平方和) 回归平方和 ∑ i =1

故 F> F1 α (1, n 2) ,拒绝 H 0 ,否则就接受 H 0 .

(Ⅱ)t 检验法当 H 0 成立时， T = 故T >tα2n

L xx β 1 ~t(n-2) σe

1

(n 2) ,拒绝 H 0 ,否则就接受 H 0 .n 2 i =1

其中L xx = ∑ ( xi x ) = ∑ xi2 nx 2i =1

(Ⅲ)r 检验法

记

r=

∑ (xi =1 n i =1

n

i

x )( y i y )2

∑ ( xi x )

( yi y ) 2 ∑i =1

n

当|r|> r 1 α 时，拒绝 H0;否则就接受 H0.其中 r1 α =

1 1 + ( n 2 ) F1 α (1, n 2 )

2.回归系数的置信区间 .

β 0 和 β 1 置信水平为 1-α 的置信区间分别为 1 x2 1 x2 , β 0 + t α (n 2)σ e + + β 0 t α (n 2)σ e 1 1 n Lxx n L xx 2 2 + t (n 2)σ / L e 和 β 1 t α ( n 2)σ e / L xx , β 1 α xx 1 1 2 2

σ 2 的置信水平为 1- α 的置信区间为 Qe Qe , 2 χ 2 ( n 2) χ ( n 2 ) α 1 α 2 2

3.预测与控制 . (1)预测 )

用 y0 的回归值 y 0 = β 0 + β 1 x 0 作为 y0 的预测值 的预测值.y 0 的置信水平为 1 α 的预测区间 预测区间为 预测区间 [ y0 δ ( x0 ), y 0 + δ ( x0 )]1 (x0 x ) 其中 δ ( x 0 ) = σ e t α ( n 2) 1 + + 1 n L xx 22

特别，当 n 很大且 x0 在 x 附近取值时, y 的置信水平为 1 α 的预测区间近似为 预测区间近似为

y σ e u1 α , y + σ e u1 α 2 2

(2)控制 )要求： y =

β 0 + β 1 x + ε 的值以 1 α 的概率落在指定区间 ( y ′, y ′′)

y δ ( x) ≥ y ′, y + δ ( x) ≤ y ′′ 要求 y ′′ y ′ ≥ 2δ ( x) .若 y δ ( x) = y ′, y δ ( x) = y ′′ 分别有解 x ′ 和 x ′′ ,即 y δ ( x ′) = y ′, y + δ ( x ′′) = y ′′ . 则 ( x ′, x ′′) 就是所求的 x 的控制区间.

只要控制 x 满足以下两个不等式

四、可线性化的一元非线性回归 曲线回归) (曲线回归)例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大

的容积之间的关 系.对一钢 …… 此处隐藏：1819字，全部文档内容请下载后查看。喜欢就下载吧 ……