邱皓政2007统计原理与分析技术16__多元回归

量化研究法二 統計原理與分析技術

第16章

多元迴歸Multiple Regression

簡單迴歸與多元迴歸Simple and Multiple regression 基本定義– 簡單迴歸：以單一自變項去解釋(預測)依變項的迴歸分析 – 多元迴歸：同時以多個自變項去解釋(預測)依變項的迴歸分析 – 各變項均為連續性變項，或是可虛擬為連續性變項者

方程式– 簡單迴歸：Y=b1x1+a – 多元迴歸：Y=b1x1+b2x2+b3x3+……+bnxn+a

多元迴歸的特性：– 對於依變項的解釋與預測，可以據以建立一個完整的模型。 – 各自變項之間概念上具有獨立性，但是數學上可能是非直交(具 有相關) – 自變項間的相關對於迴歸結果具有關鍵性的影響。2

預測與解釋 預測型迴歸– 主要目的在實際問題的解決或實務上的應用 – 從一組獨變項中，找出最關鍵與最佳組合的迴歸方程式，產 生最理想的預測分數 – 獨變項的選擇所考慮的是要件為是否具有最大的實務價值， 而非基於理論上的適切性 – 最常用的變項選擇方法是逐步迴歸法(stepwise regression)

解釋型迴歸– 主要目的則在瞭解現象的本質與理論關係，也就是探討獨變 項與依變項的關係 – 檢驗變項的解釋力與變項關係，對於依變項的變異提出一套 具有最合理解釋的迴歸模型 – 理論的重要性不僅在於決定獨變項的選擇與安排，也影響研 究結果的解釋 – 最常用的變項選擇方法是為同時迴歸法(simultaneous regression)或階層迴歸法(hierarchical regression)

3

多元迴歸的資料結構表 1 6 .1 1 0 個 家 庭 的 人 口 數、社 經地位與每月開銷家庭 1 2 3 4 5 6 7 8 9 10 Σ s SS M ean 人 口 數 X1 3 5 4 6 2 4 5 8 7 549 1 .7 9 3 .2 1 1 4 .9

社 經 地 位 X2 1 7 4 5 2 4 8 6 5 951 2 .5 1 6 .3 2 2 5 .1

每月開銷 Y 15000 34000 22000 36300 16000 25000 30000 45000 44000 39000306300 1 8 7 1 .5 8 118191222 30630

預測值 Y’ 1 6 6 6 0 .2 1 3 3 3 5 4 .6 0 2 5 0 0 7 .4 0 3 5 7 9 5 .9 2 1 3 0 3 7 .7 2 2 5 0 0 7 .4 0 3 4 5 3 5 .7 8 4 6 5 8 4 .4 3 4 0 5 9 9 .5 8 3 5 7 1 6 .9 6

殘差 -1 6 6 0 .2 1 6 4 5 .4 0 -3 0 0 7 .4 0 5 0 4 .0 8 2 9 6 2 .2 8 -7 .4 0 -4 5 3 5 .7 8 -1 5 8 4 .4 3 3 4 0 0 .4 2 3 2 8 3 .0 4 e =02 e =66671502

多元相關 R:多元相關(multiple correlation)– 依變項的迴歸預測值(Y’)與實際觀測值 (Y)的相關R Y Y

R2:多元相關平方– 表示Y被X解釋的百分比，是一種機率的概念 – 簡單迴歸中，僅有一個獨變項，R=r, R2 =r2 – 多元迴歸中，有多個獨變項，R≠r, R為多個獨變 項的線性整合分數與依變項的相關5

多元迴歸方程式 迴歸模型：對於依變項的迴歸方程式Y b1 X 1 b 2 X 2 aY 4803 . 668 X 1 1181 . 176 X 2 1068 . 028家

中人口數 P e a rso n 相 關 家中人口數1 社經地位2 每月開銷y 叉積平方和 家中人口數1 社經地位2 每月開銷y 共變數 家中人口數1 社經地位2 每月開銷y * * p < .0 .0 1 * p < .0 5 1 .5 4 5 .9 4 1 ** 2 8 .9 2 2 .1 164930 3 .2 1 1 2 .4 5 6 1 8 3 2 5 .5 5 6 6 .3 2 2 1 9 2 6 3 .3 3 3 1 1 8 1 9 1 2 2 2 .2 2 2 5 6 .9 173370 1063721000 1 .7 0 5 * 1 社經地位 每月開銷

b1

SS 2 SP y 1 SP12 SP y 2 SS 1 SS 2 SP122

b2

SS 1 SP y 2 SP12 SP y 1 SS 1 SS 2 SP122

a y . 12 Y b1 X 1 b 2 X 2

迴歸變異量拆解與F考驗 依變項的變異可拆解成迴歸效果與誤差效果SS reg b1 SP y 1 b 2 SP y 2SS t SS reg SS e 997049498 66671502 1063721000R2

1

SS e SS t

1

66671501 . 73 1063721000 1

1 . 063 . 937

adjR

2

1

SS e / df e SS t / df t

66671501 . 73 / 7 1063721000 /9

1 . 081 . 919

殘差為估計變異誤，開方即得估計標準誤se SS e df e 66671501 . 73 7 9524500 . 247 3086 . 179

迴歸解釋力的統計顯著性，可利用F考驗來檢驗。– 分子為迴歸解釋變異數(SSreg/dfreg),分母為誤差變異數 (SSres/dfres),相除得到F值。

多元迴歸的參數檢定 迴歸分析的檢定– 整體考驗 對於R2的F考驗

– 事後考驗 對於個別解釋變數的顯著性考驗：t test 若R2具有統計顯著性，需進行參數的估計檢定，來決定各獨變項 的解釋力

tb 1

b sbsb 2

sb 1

se

2 2

SS 1 (1 R 12 )

se

2 2

SS 2 (1 R12 )

係數 – 標準化迴歸係數 – b係數去除單位效果(乘以自變項標準差， 除以依變項標準差) – 表示其他解釋變數被控制後的淨解釋力(邊 際解釋力) 1 b1s1 sy s2sy

4803 . 668 1181 . 176

1 . 79 10871 . 58 12 . 5110871 . 58

. 792 . 273

2 b2

迴歸的基本假設 基本假設一:固定自變項假設(fixed variable) 自變項是研究者在進行研究之初，所指定會影 響依變數的主要變數，其選用並非隨機選擇得 來，因此，如果一個研究可以被重複驗證，特 定自變數的特定數值應可以被重複獲得，然後 得以此一群特定的X變數值(自變數)代入方程 式而得到預測值。

我們關心的是依變項，是否能夠找到重要的自 變項來對依變項加以闡釋，因此我們假設可以 找到這些變項的重要數據。10

基本假設二 : 線性關係假設(linear relationship) -當X們與Y的關係被納入研究之後，迴歸分析必須 建立在Y與X變項們之間具有線性關係的假設上。 -非線性的變項關係，需將數據進行數學轉換才能 視同線性關係來進行迴歸分析(非線性迴歸),而類 別自變項則需以虛擬變項的方式，將單一的類別 自變項依各水準分成多

個二分的自變項，以視 …… 此处隐藏：1828字，全部文档内容请下载后查看。喜欢就下载吧 ……