回歸分析2回歸方程的檢驗(yàn).ppt

2.4 回歸方程的顯著性檢驗(yàn)及精度估計(jì),回歸方程的顯著性檢驗(yàn) 原因：雜亂無(wú)序，無(wú)相關(guān)關(guān)系的散點(diǎn)也可以擬合成一條直線(xiàn)或曲線(xiàn)，但無(wú)意義。 內(nèi)容：回歸方程擬合度的檢驗(yàn) 回歸方程線(xiàn)性關(guān)系顯著性檢驗(yàn) 回歸變量的顯著性檢驗(yàn), 2.4 回歸方程的顯著性檢驗(yàn)及精度估計(jì),在解決工程實(shí)際問(wèn)題時(shí)，一般說(shuō)來(lái)，事先并不能斷言 與 間一定具有線(xiàn)性關(guān)系。因此，當(dāng)我們按線(xiàn)性回歸模型來(lái)處理后，所得到的 關(guān)于 的線(xiàn)性回歸方程是否能代表實(shí)際問(wèn)題呢?這就是統(tǒng)計(jì)上常說(shuō)的假設(shè)檢驗(yàn)問(wèn)題，即要檢驗(yàn)線(xiàn)性回歸方程是否有顯著意義。如果顯著，我們就可以用線(xiàn)性回歸模型代表實(shí)際問(wèn)題，否則該模型不能代表實(shí)際問(wèn)題。,模型合適嗎？,此外，在檢驗(yàn)得知線(xiàn)性回歸方程是顯著之后，我們還可以進(jìn)一步判斷在線(xiàn)性回歸方程中，哪些變量 是影響 的重要變量，哪些變量是不重要變量，由此分析可對(duì)回歸方程作更進(jìn)一步簡(jiǎn)化，從而得到最優(yōu)回歸方程。這就是所謂的對(duì)每個(gè)變量 要進(jìn)行顯著性檢驗(yàn)問(wèn)題。, 2.4 回歸方程的顯著性檢驗(yàn)及精度估計(jì),設(shè) 是已求得的回歸方程。 是第 個(gè)試驗(yàn)點(diǎn) 代入回歸方程所求的回歸值。 這里稱(chēng)試驗(yàn)值（觀察值） 與其平均值 的離差平方和為總離差平方和。記為, 2.4 回歸方程的顯著性檢驗(yàn)方差分析, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,這里 作為樣本函數(shù)即統(tǒng)計(jì)量，其自由度為 。如果觀測(cè)值給定， 是確定的。現(xiàn)將 進(jìn)行分解。, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,其中， ，事實(shí)上，由式（2.8) 可知, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,又由式（2.5）知，上式最后等式右端每一項(xiàng) 均等于0，于是 因此 式（2.12）中，記 稱(chēng)為回歸平 方和。,（2.12）, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,它反映了自變量 的變化所引起的對(duì) 的波動(dòng)。其自由度為 。 式（2.12）中，記 稱(chēng)為 剩余平方和（或殘差平方和），它是由試驗(yàn)誤差以及其他因素引起的。它的大小反映了試驗(yàn)誤差及其他因素對(duì)試驗(yàn)結(jié)果的影響程度，其自由度為 。, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,于是 由式（2.13），我們可對(duì)所建立的回歸方程能否 代表實(shí)際問(wèn)題作一個(gè)判斷。這是因?yàn)樵谑剑?.13） 中，當(dāng) 確定時(shí)， 越小， 越大，則 就越 接近 。于是，我們可用 是否趨近于1來(lái)判斷回 歸方程的回歸效果好壞。,（2.13）, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,由式（2.13） 定義 為復(fù)相關(guān)系數(shù)，顯然 。 越接近1，回歸效果就越好。, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,然而在實(shí)際工程計(jì)算中，當(dāng)實(shí)驗(yàn)樣本點(diǎn)較 小時(shí)，計(jì)算出的一般都較接近1，這給我們 判斷所建的回歸方程的回歸效果是否顯著 帶來(lái)麻煩，因此在實(shí)際計(jì)算中應(yīng)注意變量 個(gè)數(shù)與樣本個(gè)數(shù)的適當(dāng)比例，一般認(rèn)為樣本個(gè)數(shù)至少應(yīng)是變量個(gè)數(shù)的5到10倍。, 2.4 回歸方程的顯著性檢驗(yàn)方差分析,由于在解決實(shí)際問(wèn)題時(shí)，我們往往不能事先斷言變量 與變量 之間是否確有線(xiàn)性關(guān)系，在建立數(shù)學(xué)模型時(shí)，往往是先假定實(shí)際問(wèn)題可能具有線(xiàn)性性，由此建立起線(xiàn)性回歸模型。顯然在這樣的假設(shè)前提下所建立起的線(xiàn)性回歸模型到底能否代表實(shí)際問(wèn)題，或者通俗地說(shuō)所建立的線(xiàn)性回歸方程能否用于實(shí)際問(wèn)題，需要判定（檢驗(yàn)），該如何檢驗(yàn)?zāi)?這是統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)問(wèn)題。, 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),我們是這樣考慮的，如果線(xiàn)性回歸模型能代表實(shí)際問(wèn)題（也就是線(xiàn)性回歸模型顯著），我們可以認(rèn)為線(xiàn)性回歸模型的系數(shù) 不全為零；如果線(xiàn)性回歸模型不顯著，我們認(rèn)為線(xiàn)性模型系數(shù) 全為零。于是按統(tǒng)計(jì)假設(shè)檢驗(yàn)原則提出假設(shè)：,為此應(yīng)用統(tǒng)計(jì)量,不全為零，( ), 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),對(duì)于給定檢驗(yàn)水平 ，查 分布表可得臨界 值 ，并由 檢驗(yàn)，作出如下判斷： 如果由統(tǒng)計(jì)量 計(jì)算所得的數(shù)值有 ，則表示在檢驗(yàn)水平下，拒絕 ，從而認(rèn)為線(xiàn)性回歸模型有顯著意義，即線(xiàn)性回歸模型能代表實(shí)際問(wèn)題，工程中可大膽使用該模型。 如果 ，則在檢驗(yàn)水平 下，接受 ，即認(rèn)為線(xiàn)性回歸模型不顯著，即線(xiàn)性回歸模型不能代表實(shí)際問(wèn)題，該模型在工程實(shí)際問(wèn)題中不能使用。, 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),在多元線(xiàn)性回歸模型中，我們并不滿(mǎn)足于線(xiàn) 性回歸方程是顯著的這個(gè)結(jié)論。因?yàn)榛貧w方程顯 著并不意味著每個(gè)自變量 對(duì)因變量 的影響都重要，也就是并不能說(shuō)這 個(gè)變量在模 型中都重要。換句話(huà)說(shuō)模型中 個(gè)自變量中有重 要的，也有不重要的自變量，一種自然的想法就 是在模型中保留重要變量，剔除不重要或者可有 可無(wú)的變量，按照這種思想來(lái)建立模型，實(shí)際上 是對(duì)原線(xiàn)性回歸模型進(jìn)行精簡(jiǎn)。, 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),具體操作該如何進(jìn)行呢？我們是這樣考慮的，如果某個(gè)自變量 對(duì) 的作用不顯著，也就是說(shuō) 對(duì) 不重要（或可有可無(wú)），則認(rèn)為它前面的系數(shù) 應(yīng)取零值，因此檢驗(yàn)自變量 是否顯著（重要），就是等價(jià)于檢驗(yàn)假設(shè) 為此，應(yīng)用統(tǒng)計(jì)量, 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),其中， 為式（2.10）中 的對(duì)角線(xiàn)上 第 個(gè)元素。 對(duì)于給定的檢驗(yàn)水平 ，查 分布表可得臨界值 ，并由 檢驗(yàn)作出如下判斷：如果由統(tǒng) 計(jì)量 計(jì)算所得的數(shù)值 則拒絕 ，即認(rèn)為 對(duì) 是重要變量，應(yīng)留在模型中； 如果 ，則在水平 之下接受 ，認(rèn) 為 對(duì) 不重要，可從模型中剔除。 一般一次 檢驗(yàn)只剔除一個(gè)自變量，且這個(gè)自變量 是所有不顯著自變量中 值最小值，然后再建立回歸模 型，并繼續(xù)進(jìn)行檢驗(yàn)，直到建立的回歸模型及各個(gè)自變 量均顯著為止。, 2.4 回歸方程的顯著性檢驗(yàn)F檢驗(yàn),2.5 線(xiàn)性回歸模型預(yù)測(cè)精度估計(jì),通過(guò)對(duì)模型及變量的顯著性檢驗(yàn)后，我們可用所建立的回歸模型進(jìn)行預(yù)測(cè)或控制。但用模型進(jìn)行預(yù)測(cè)，所得結(jié)果的精度如何?即真值（實(shí)際值）與模型預(yù)測(cè)值的誤差有多大?這是我們關(guān)心的問(wèn)題，應(yīng)該作出估計(jì)，為此給出剩余標(biāo)準(zhǔn)差 式中， 為進(jìn)入回歸模型的變量個(gè)數(shù)。,由統(tǒng)計(jì)學(xué)區(qū)間估計(jì)理論知，在隨機(jī)變量服從正態(tài)分布情況下，任一給定的自變量值 ，所對(duì)應(yīng)因變量 的真值 ，以95的概率落在區(qū)間 是 的回歸值，即預(yù)測(cè)值 與真值 之差有95%的概率，使得 ，所以 越小其預(yù)測(cè)精度就越高。,2.5 線(xiàn)性回歸模型預(yù)測(cè)精度估計(jì),YYX代入由B為回歸系數(shù)的方程后得到的因變量矩陣； U回歸平方和； Q剩余平方和； R復(fù)相關(guān)系數(shù)； FF檢驗(yàn)值，即回歸方差與剩余方差之比； SS剩余標(biāo)準(zhǔn)差； Y1,Y2,Y3,f1，f2中間變量。,2Matlab函數(shù)： inv（）矩陣求逆； mean（）求均值； sum（）求和； sqrtm（）開(kāi)方。,2.4.2 程序（略） 2.4.3 例題 例2.2 平爐煉鋼過(guò)程的熔化期中，總的去碳量 與所加的兩種礦料（天然礦石與燒結(jié)礦料）的量 ， 及熔化時(shí)間 有關(guān)，熔化時(shí)間愈長(zhǎng)則去碳量愈多。經(jīng)實(shí)測(cè)某平爐的49組數(shù)據(jù)見(jiàn)表2.2，求 對(duì) 、 、 的線(xiàn)性回歸方程。,表2.2 平爐煉鋼過(guò)程的數(shù)據(jù),預(yù)測(cè),建立回歸模型,解 打開(kāi)數(shù)據(jù)文件dd2data.mat，將因變量數(shù)據(jù)錄入一維數(shù)據(jù)矩陣Y1n中， 將自變量數(shù)據(jù)錄入mn維數(shù)據(jù)矩陣Xmn中，本題中自變量數(shù)m=3，樣本容 量n=49。執(zhí)行程序如下： load dd1data dd1（X,Y,3,49）,計(jì)算機(jī)運(yùn)行結(jié)果如下： B = %回歸方程系數(shù) 0.9838 0.1644 0.1173 0.0279,U = %回歸平方和 14.2843 Q = %剩余平方和 30.8513 R = %復(fù)相關(guān)系數(shù) 0 .5843 F = % F檢驗(yàn)值 6.9451 SS = %剩余標(biāo)準(zhǔn)差 0.8280 所以，回歸方程為： Y=0.9838+0.1644 +0.1173 +0.0279,