回歸分析之理解和實(shí)例

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),*,回歸分析,2024/10/22,2,回歸分析,回歸分析概述,功能：回歸分析是研究一個(gè),變量,（即因變量）（或多個(gè)變量）對(duì)于一個(gè)或多個(gè)其他變量（即,解釋變量,）的,依存,關(guān)系，并用數(shù)學(xué)模型加以模擬，目的在于根據(jù)已知的或在多次重復(fù)抽樣中固定的解釋變量之值，估計(jì)、預(yù)測(cè)因變量的總體平均值,涵義,：,一般地，把在研究回歸模型時(shí)所采用的估計(jì)、計(jì)算方法，,檢驗(yàn),、,分析,理論統(tǒng)稱(chēng)為回歸分析?；貧w分析方法又稱(chēng)因素分析方法、經(jīng)濟(jì)計(jì)量模型方法。屬于多元統(tǒng)計(jì)分析方法之一,。,2024/10/22,3,回歸分析,回歸分析,回歸分析的研究思路和步驟,根據(jù)研究問(wèn)題的性質(zhì)、要求建立,回歸模型,。,根據(jù)樣本觀測(cè)值對(duì)回歸模型參數(shù)進(jìn)行,估計(jì),，求得,回歸方程,。對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行,顯著性檢驗(yàn),。并從影響因變量的自變量中判斷哪些顯著，哪些不顯著。,利用回歸方程進(jìn)行,預(yù)測(cè),。,2024/10/22,4,回歸分析,回歸分析包括：一元回歸、多元回歸以及線性回歸和非線性回歸：,一元回歸：Y（因變量）取值：y,1,y,2,y,3,X（自變量）取值：x,1,x,2,x,3,建立一元線性回歸方程：Y=BX+C（方程中的B為回歸系數(shù)，C為常數(shù)）,或者是非線性回歸方程：Y=f(X),2024/10/22,5,回歸分析,回歸分析,多元回歸：Y（因變量）取值:y,1,y,2,y,3,X,1,（自變量1）取值:x,11,x,12,x,13,X,2,（自變量2）取值:x,21,x,22,x,23,X,n,（自變量n）取值:x,n1,x,n2,x,n3,建立多元線性回歸方程：Y=B,1,X,1,+B,2,X,2,+ B,n,X,n,+ B,0,（方程中的B,i,為回歸系數(shù)）,或者是非線性回歸方程：Y=f（X,1,X,2,X,n,）,在大多數(shù)的實(shí)際問(wèn)題中，影響因變量的因素不是一個(gè)而是多個(gè)，我們稱(chēng)這類(lèi)回問(wèn)題為多元回歸分析?？梢越⒁蜃兞?y,與各自變量,x,j(j=1,2,3,n),之間的多元線性回歸模型：,其中：,b0,是回歸常數(shù)；,bk,(,k,=1,2,3,n),是回歸參數(shù)；,e,是隨機(jī)誤差。,2024/10/22,7,回歸分析,線性回歸分析,執(zhí)行菜單命令,AnalyzeRegression Linear,選擇因變量到：,“,Dependent,”,因變量框內(nèi),選擇若干個(gè)自變量移動(dòng)到：,“,Independent(s),”,自變量框內(nèi),2024/10/22,8,回歸分析,線性回歸分析,回歸方法,“,Method,”,下拉菜單提供了五種回歸方法供選擇：,強(qiáng)行介入法Enter,正向進(jìn)入Forward,反向剔除Backward,逐步進(jìn)入Stepwise,強(qiáng)行剔除Remove,2024/10/22,9,回歸分析,回歸分析,自變量納入回歸方程的方式,強(qiáng)行介入法Enter（一次性進(jìn)入）,這是一種不檢驗(yàn)F和Tolerance，一次將全部自變量無(wú)條件地納入回歸方程。,強(qiáng)行剔除Remove（一次性剔除）,指定某些變量不能進(jìn)入方程。這種方法通常同別的方法聯(lián)合使用，而不能首先或單獨(dú)使用，因?yàn)榈谝淮问褂没騿为?dú)使用將意味著沒(méi)有哪個(gè)變量進(jìn)入方程。,2024/10/22,10,回歸分析,回歸分析,自變量納入回歸方程的方式,逐步進(jìn)入Stepwise,每次選擇符合進(jìn)入條件的自變量進(jìn)入方程，進(jìn)入后立即檢驗(yàn)，不合格者剔除，直到全部合格自變量進(jìn)入方程,反向剔除Backward,先強(qiáng)行介入，再逐個(gè)剔除不合格變量，直到全合格,正向進(jìn)入Forward,每次選擇符合進(jìn)入條件的自變量進(jìn)入方程，逐個(gè)選擇，逐個(gè)進(jìn)入，直到全部合格自變量進(jìn)入方程,線性回歸分析中的共線性檢測(cè),(一)共線性帶來(lái)的,主要問(wèn)題,高度的多重共線性會(huì)使回歸系數(shù)的,標(biāo)準(zhǔn)差,隨自變量相關(guān)性的增大而不斷增大,以至使回歸系數(shù)的置信區(qū)間不斷增大,造成估計(jì)值精度減低.,回歸方程檢驗(yàn)顯著但所有偏回歸系數(shù)均檢驗(yàn)不顯著,偏回歸系數(shù)估計(jì)值大小或符號(hào)與常識(shí)不符,定性分析對(duì)因變量肯定有顯著影響的因素，在多元分析中檢驗(yàn)不顯著，不能納入方程,去除一個(gè)變量，偏回歸系數(shù)估計(jì)值發(fā)生巨大變化,線性回歸分析中的共線性檢測(cè),(二),共線性診斷,自變量的,容忍度,(tolerance)和,方差膨脹因子,容忍度:,Tol,i,=1-R,i,2,. 其中: R,i,2,是自變量xi與方程中其他自變量間的復(fù)相關(guān)系數(shù)的平方.,容忍度越大則與方程中其他自變量的共線性越低,應(yīng)進(jìn)入方程. (具有太小容忍度的變量不應(yīng)進(jìn)入方程,spss會(huì)給出警告)(據(jù)經(jīng)驗(yàn)T<0.1一般認(rèn)為具有多重共線性),方差膨脹因子(VIF):容忍度的倒數(shù),SPSS在回歸方程建立過(guò)程中不斷計(jì)算待進(jìn)入方程自變量的容忍度,并顯示目前的最小容忍度,多重共線性的對(duì)策,增大樣本量（不太可能）,多種自變量篩選方法結(jié)合（選擇最優(yōu)方程）,人為去除次要變量（定性分析為較次要，或無(wú)需分析）,主成分回歸分析（提取因子作為影響因素）,多元回歸應(yīng)用實(shí)例,某地區(qū)病蟲(chóng)測(cè)報(bào)站用相關(guān)系數(shù)法選取了以下,4,個(gè)預(yù)報(bào)因子；,x,1,為最多連續(xù),10,天誘蛾量,(,頭,),；,x,2,為,4,月上、中旬百束小谷草把累計(jì)落卵量,(,塊,),；,x,3,為,4,月中旬降水量,(,毫米,),，,x,4,為,4,月中旬雨日,(,天,),；,預(yù)報(bào)粘蟲(chóng)幼蟲(chóng)發(fā)生量,y,（頭,/m2,）。分級(jí)別數(shù)值列成表,2-1,。,分析,預(yù)報(bào)量,y,：每平方米幼蟲(chóng),010,頭為,1,級(jí)，,1120,頭為,2,級(jí)，,2140,頭為,3,級(jí)，,40,頭以上為,4,級(jí)。,預(yù)報(bào)因子：,x,1,誘蛾量,0300,頭為,l,級(jí)，,301600,頭為,2,級(jí)，,6011000,頭為,3,級(jí)，,1000,頭以上為,4,級(jí)；,x,2,卵量,0150,塊為,1,級(jí)，,15l300,塊為,2,級(jí)，,301550,塊為,3,級(jí)，,550,塊以上為,4,級(jí)；,x3,降水量,010.0,毫米為,1,級(jí)，,10.113.2,毫米為,2,級(jí)，,13.317.0,毫米為,3,級(jí)，,17.0,毫米以上為,4,級(jí)；,x,4,雨日,02,天為,1,級(jí)，,34,天為,2,級(jí)，,5,天為,3,級(jí)，,6,天或,6,天以上為,4,級(jí)。,1,）準(zhǔn)備分析數(shù)據(jù),在,SPSS,數(shù)據(jù)編輯窗口中，創(chuàng)建,“,年份,”,、,“,蛾量,”,、,“,卵量,”,、,“,降水量,”,、,“,雨日,”,和,“,幼蟲(chóng)密度,”,變量，并輸入數(shù)據(jù)。再創(chuàng)建蛾量、卵量、降水量、雨日和幼蟲(chóng)密度的分級(jí)變量,“,x,1”,、,“,x,2”,、,“,x,3”,、,“,x,4”,和,“,y,”,，它們對(duì)應(yīng)的分級(jí)數(shù)值可以在,SPSS,數(shù)據(jù)編輯窗口中通過(guò)計(jì)算產(chǎn)生。,單擊,SPSS,主菜單的,“Analyze”,下的,“Regression”,中,“Linear”,項(xiàng)，將打開(kāi),線性回歸過(guò)程,窗口。,3),設(shè)置分析變量,設(shè)置因變量：,用鼠標(biāo)選中左邊變量列表中的,“,幼蟲(chóng)密度,y”,變量，然后點(diǎn)擊,“Dependent”,欄左邊的 向右拉按鈕，該變量就移到,“Dependent”,因變量顯示欄里。,設(shè)置自變量：,將左邊變量列表中的,“,蛾量,x1”,、,“,卵量,x2”,、,“,降水量,x3”,、,“,雨日,x4”,變量，選移到,“Independent(S)”,自變量顯示欄里。,設(shè)置控制變量,:,本例子中不使用控制變量，所以不選擇任何變量。,選擇標(biāo)簽變量,:,選擇,“,年份,”,為標(biāo)簽變量。,選擇加權(quán)變量,:,本例子沒(méi)有加權(quán)變量，因此不作任何設(shè)置。,4,）回歸方式,本例子中的,4,個(gè)預(yù)報(bào)因子變量是經(jīng)過(guò)相關(guān)系數(shù)法選取出來(lái)的，在回歸分析時(shí)不做篩選。因此在,“Method”,框中選中,“Enter”,選項(xiàng)，建立全回歸模型。,5,）設(shè)置輸出統(tǒng)計(jì)量,單擊,“Statistics”,按鈕，將打開(kāi)如圖對(duì)話框。該對(duì)話框用于設(shè)置相關(guān)參數(shù)。其中各項(xiàng)的意義分別為,：,“Regression Coefficients”,回歸系數(shù),選項(xiàng)：,“Estimates”,輸出回歸系數(shù)和相關(guān)統(tǒng)計(jì)量。,“Confidence interval”,回歸系數(shù)的,95%,置信區(qū)間。,“Covariance matrix”,回歸系數(shù)的方差,-,協(xié)方差矩陣。,本例子選擇,“Estimates”,輸出回歸系數(shù)和相關(guān)統(tǒng)計(jì)量。,“Residuals”,殘差,選項(xiàng)：,“Durbin-Watson”Durbin-Watson,檢驗(yàn)。,“Casewise diagnostic”,輸出滿足選擇條件的觀測(cè)量的相關(guān)信息。選擇該項(xiàng)，下面兩項(xiàng)處于可選狀態(tài)：,“Outliers outside standard deviations”,選擇標(biāo)準(zhǔn)化殘差的絕對(duì)值大于輸入值的觀測(cè)量；,“All cases”,選擇所有觀測(cè)量。,本例子都不選。,其它輸入選項(xiàng),“Model fit”,輸出相關(guān)系數(shù)、相關(guān)系數(shù)平方、調(diào)整系數(shù)、估計(jì)標(biāo)準(zhǔn)誤、,ANOVA,表。,“R squared change”,輸出由于加入和剔除變量而引起的復(fù)相關(guān)系數(shù)平方的變化。,“Descriptives”,輸出變量矩陣、標(biāo)準(zhǔn)差和相關(guān)系數(shù)單側(cè)顯著性水平矩陣。,“Part and partial correlation”,相關(guān)系數(shù)和偏相關(guān)系數(shù)。,“Collinearity diagnostics”,顯示單個(gè)變量和共線性分析的公差。,本例子選擇,“Model fit”,項(xiàng)。,6,）繪圖選項(xiàng),在主對(duì)話框單擊,“Plots”,按鈕，將打開(kāi)如圖所示的對(duì)話框窗口。該對(duì)話框用于設(shè)置要繪制的圖形的參數(shù)。圖中的,“X”,和,“Y”,框用于選擇,X,軸和,Y,軸相應(yīng)的變量。,左上框中各項(xiàng)的意義分別為,：,“DEPENDNT”,因變量。,“ZPRED”,標(biāo)準(zhǔn)化預(yù)測(cè)值。,“ZRESID”,標(biāo)準(zhǔn)化殘差。,“DRESID”,刪除殘差。,“ADJPRED”,調(diào)節(jié)預(yù)測(cè)值。,“SRESID”,學(xué)生氏化殘差。,“SDRESID”,學(xué)生氏化刪除殘差。,“Standardized Residual Plots”,設(shè)置各變量的標(biāo)準(zhǔn)化殘差圖形輸出。其中共包含兩個(gè)選項(xiàng)：,“Histogram”,用直方圖顯示標(biāo)準(zhǔn)化殘差。,“Normal probability plots”,比較標(biāo)準(zhǔn)化殘差與正態(tài)殘差的分布示意圖。,“Produce all partial plot”,偏殘差圖。對(duì)每一個(gè)自變量生成其殘差對(duì)因變量殘差的散點(diǎn)圖。,本例子不作繪圖，不選擇。,7),保存分析數(shù)據(jù)的選項(xiàng),在主對(duì)話框里單擊,“Save”,按鈕，將打開(kāi)如圖所示的對(duì)話框。,“Predicted Values”,預(yù)測(cè)值欄選項(xiàng)：,Unstandardized,非標(biāo)準(zhǔn)化預(yù)測(cè)值。就會(huì)在當(dāng)前數(shù)據(jù)文件中新添加一個(gè)以字符,“PRE_”,開(kāi)頭命名的變量，存放根據(jù)回,歸模型擬合的預(yù)測(cè)值。,Standardized,標(biāo)準(zhǔn)化預(yù)測(cè)值。,Adjusted,調(diào)整后預(yù)測(cè)值。,S.E. of mean predictions,預(yù)測(cè)值的標(biāo)準(zhǔn)誤。,本例選中,“Unstandardized”,非標(biāo)準(zhǔn)化預(yù)測(cè)值。,“Distances”,距離欄選項(xiàng)：,Mahalanobis:,距離。,Cooks”: Cook,距離。,Leverage values:,杠桿值。,“Prediction Intervals”,預(yù)測(cè)區(qū)間選項(xiàng)：,Mean:,區(qū)間的中心位置。,Individual:,觀測(cè)量上限和下限的預(yù)測(cè)區(qū)間。在當(dāng)前數(shù)據(jù)文件中新添加一個(gè)以字符,“LICI_”,開(kāi)頭命名的變量，存放,預(yù)測(cè)區(qū)間下限值；以字符,“UICI_”,開(kāi)頭命名的變量，存放預(yù)測(cè)區(qū)間上限值。,Confidence Interval,：置信度。,本例不選。,“Save to New File”,保存為新文件：,選中,“Coefficient statistics”,項(xiàng)將回歸系數(shù)保存到指定的文件中。本例不選。, “Export model information to XML file”,導(dǎo)出統(tǒng)計(jì)過(guò)程中的回歸模型信息到指定文件。本例不選。,“Residuals”,保存殘差選項(xiàng)：,“Unstandardized”,非標(biāo)準(zhǔn)化殘差。,“Standardized”,標(biāo)準(zhǔn)化殘差。,“Studentized”,學(xué)生氏化殘差。,“Deleted”,刪除殘差。,“Studentized deleted”,學(xué)生氏化刪除殘差。,本例不選。,“Influence Statistics”,統(tǒng)計(jì)量的影響。,“DfBeta(s)”,刪除一個(gè)特定的觀測(cè)值所引起的回歸系數(shù)的變化。,“Standardized DfBeta(s)”,標(biāo)準(zhǔn)化的,DfBeta,值。,“DiFit”,刪除一個(gè)特定的觀測(cè)值所引起的預(yù)測(cè)值的變化。,“Standardized DiFit”,標(biāo)準(zhǔn)化的,DiFit,值。,“Covariance ratio”,刪除一個(gè)觀測(cè)值后的協(xié)方差矩隈的行列式和帶有全部觀測(cè)值的協(xié)方差矩陣的行列式的比率。,本例子不保存任何分析變量，不選擇,。,8,）其它選項(xiàng),在主對(duì)話框里單擊,“Options”,按鈕，將打開(kāi)如圖所示的對(duì)話框,。,“Stepping Method Criteria”,框用于進(jìn)行逐步回歸時(shí)內(nèi)部數(shù)值的設(shè)定。其中各項(xiàng)為：,“Use probability of F”,如果一個(gè)變量的,F,值的概率小于所設(shè)置的進(jìn)入值（,Entry,），那么這個(gè)變量將被選入回歸方程,中；當(dāng)變量的,F,值的概率大于設(shè)置的剔除值（,Removal,），則該變量將從回歸方程中被剔除。由此可見(jiàn)，設(shè)置,“Use probability of F”,時(shí)，應(yīng)使進(jìn)入值小于剔除值。,“Ues F value”,如果一個(gè)變量的,F,值大于所設(shè)置的進(jìn)入值（,Entry,），那么這個(gè)變量將被選入回歸方程中；當(dāng)變量的,F,值小于設(shè)置的剔除值（,Removal,），則該變量將從回歸方程中被剔除。同時(shí)，設(shè)置,“Use F value”,時(shí)，應(yīng)使進(jìn),入值大于剔除值。,本例是全回歸不設(shè)置。,“Include constant in equation”,選擇此項(xiàng)表示在回歸方程中有常數(shù)項(xiàng)。,本例選中,“Include constant in equation”,選項(xiàng)在回歸方程中保留常數(shù)項(xiàng)。,“Missing Values”,框用于設(shè)置對(duì)缺失值的處理方法。其中各項(xiàng)為：,“Exclude cases listwise”,剔除所有含有缺失值的觀測(cè)值。,“Exchude cases pairwise”,僅剔除參與統(tǒng)計(jì)分析計(jì)算的變量中含有缺失值的觀測(cè)量。,“Replace with mean”,用變量的均值取代缺失值。,本例選中,“Exclude cases listwise”,。,9,）提交執(zhí)行,在主對(duì)話框里單擊,“OK”,，提交執(zhí)行，結(jié)果將顯示在輸出窗口中。,10),結(jié)果分析,