回归的诊断和解决。sas

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

目录

1,X的非线性的诊断 2,残差的独立性诊断 3,残差的非正态性改善 4,共线性解决方法

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

目的

诊断 partial residual plots Durbin-Watson statistic(DW统计量)近似于2的DW值表示残差不 存在相关性 接近0的DW值表示正相关 接近4的DW值表示负相关

解决 partial residual plots 时间序列分析

X的非线性的诊断 残差的独立性

残差的非正态性 方差非齐性 X共线性问题

残差的正态性检验

对y进行box-cox变换

观察回归后得到的残差 图是否围绕残差=0随机 扰动VIF<5 不存在多重共线性 5<=VIF<=10 存在中等程度 或较强的多元共线性 VIF>10 存在严重多元共线 性

对y进行box-cox变换

1,删除某些变量 2,岭回归 3,主成分回归 4,偏最小二乘回归

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断正确的模型：

y = β0 + X1 β1 + g + ε未正确拟合的模型：

y = β0 + X 1 β1 + x β + ε所以：p--1 p--1

y = y + e = β0 + X 1 β1 + x β + ep--1 p--1

这里 e 是拟合模型得到的残差

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断定义

e = e + x p--1 β p--1+

e+ = g + ε 又：e+ 叫做 partial residual。 这里

( x p--1 , e + ) 散点图 可以反映g的函数形式

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断example1: 真实模型：y = x1 + 10x12 + x2 + ε ε ~ N (0,0.25), x1 ~ N (0,1), x2 ~ N (0,1).

拟合模型：

y = β0 + x1 β1 + x2 β2

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断example1:

模型拟合后得到的残差e 下面寻找x1是否存在非线性

计算： e = e + x1 β1+

( x1 , e+ ) 的散点图 画出观察散点图，判断函数g的可能情形

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断/*generate random variables*/ data simulation; seed=12345; do i=1 to 100; x1=RANNOR (seed ); x2=RANNOR (seed ); g=x1+10*x1*x1; res= RAND('normal ', 0, 0.25); y=g+x2+res; output; end; run;

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断/*regression y to x1 x2*/ proc reg data=simulation; model y=x1 x2; plot y*x1; /*r. residual of regression p. the predicted value of y */ /*the dot . is needed*/ plot r.*p.; /*generate a dataset called out which contains the residual of the regression */ output out=out r=residual; run; quit;

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断y对x1的散点图y = 7. 5728 - 4. 7115 x1 +0. 4979 x2 90 N 100 R sq 0. 1260 A R dj sq 0. 1080 R S ME 11. 243 60 80

70

50

40

30

20

10

0

- 10 - 3. 0 - 2. 5 - 2. 0 - 1. 5 - 1. 0 - 0. 5 x1 0. 0 0. 5 1. 0 1. 5 2. 0

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断y的预测值对回归后得到的残差的散点图y = 7. 5728 - 4. 7115 x1 +0. 4979 x2 70 N 100

60

R sq 0. 1260

A R dj sq 0. 1080 50

R S ME 11. 243

40

30

20

10

0

- 10 - 2. 5 0. 0 2. 5 5. 0 7. 5 10. 0 P edi ct ed V ue r al 12. 5 15. 0 17. 5 20. 0 22. 5

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断y的预测值对回归后得到的残差的散点图

从上面残差的散点图说明残差不满我们的假设条件

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断/*calcuate the e^+:partial residuals*/ data simulation1; set out; /*-4.67119 is the estimate of beta1 that is coefficient of x1 */ residua1_e=residual-4.67119*x1; run;

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非

线性诊断/*plot e^+ against x1. Here we try to reveal the form of g */ proc gplot data=simulation1; plot residua1_e*x1; run;

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断r esi dua1_e 80 70

60

50

40

30

20

10

0

- 10 -3 -2 -1 x1 0 1 2

非线性诊断(partial residual plots)共线性诊断和岭回归box-cox变换

非线性诊断从上面图中猜测g为x1的二次函数， 下面y对x1^2 和x2进行回归