廈門(mén)大學(xué)《應(yīng)用多元統(tǒng)計(jì)分析》

第四章 判別分析第一節(jié) 引言 第二節(jié) 距離判別法 第三節(jié) 貝葉斯（Bayes）判別法 第四節(jié) 費(fèi)歇（Fisher）判別法 第五節(jié) 實(shí)例分析與計(jì)算機(jī)實(shí)現(xiàn) 第一節(jié) 引言n在我們的日常生活和工作實(shí)踐中，常常會(huì)遇到判別分析問(wèn)題，即根據(jù)歷史上劃分類別的有關(guān)資料和某種最優(yōu)準(zhǔn)則，確定一種判別方法，判定一個(gè)新的樣本歸屬哪一類。例如，某醫(yī)院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的資料，記錄了每個(gè)患者若干項(xiàng)癥狀指標(biāo)數(shù)據(jù)?，F(xiàn)在想利用現(xiàn)有的這些資料找出一種方法，使得對(duì)于一個(gè)新的病人，當(dāng)測(cè)得這些癥狀指標(biāo)數(shù)據(jù)時(shí)，能夠判定其患有哪種病。又如，在天氣預(yù)報(bào)中，我們有一段較長(zhǎng)時(shí)間關(guān)于某地區(qū)每天氣象的記錄資料（晴陰雨、氣溫、氣壓、濕度等），現(xiàn)在想建立一種用連續(xù)五天的氣象資料來(lái)預(yù)報(bào)第六天是什么天氣的方法。這些問(wèn)題都可以應(yīng)用判別分析方法予以解決。 n把這類問(wèn)題用數(shù)學(xué)語(yǔ)言來(lái)表達(dá)，可以敘述如下：設(shè)有n個(gè)樣本，對(duì)每個(gè)樣本測(cè)得p項(xiàng)指標(biāo)（變量）的數(shù)據(jù)，已知每個(gè)樣本屬于k個(gè)類別（或總體）G1，G2， ，Gk中的某一類，且它們的分布函數(shù)分別為F1(x)，F(xiàn)2(x)， ，F(xiàn)k(x)。我們希望利用這些數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點(diǎn)盡可能地區(qū)別開(kāi)來(lái)，并對(duì)測(cè)得同樣p項(xiàng)指標(biāo)（變量）數(shù)據(jù)的一個(gè)新樣本，能判定這個(gè)樣本歸屬于哪一類。 n 判別分析內(nèi)容很豐富，方法很多。判斷分析按判別的總體數(shù)來(lái)區(qū)分，有兩個(gè)總體判別分析和多總體判別分析；按區(qū)分不同總體所用的數(shù)學(xué)模型來(lái)分，有線性判別和非線性判別；按判別時(shí)所處理的變量方法不同，有逐步判別和序貫判別等。判別分析可以從不同角度提出問(wèn)題，因此有不同的判別準(zhǔn)則，如馬氏距離最小準(zhǔn)則、Fisher準(zhǔn)則、平均損失最小準(zhǔn)則、最小平方準(zhǔn)則、最大似然準(zhǔn)則、最大概率準(zhǔn)則等等，按判別準(zhǔn)則的不同又提出多種判別方法。本章僅介紹常用的幾種判別分析方法：距離判別法、Fisher判別法、Bayes判別法和逐步判別法。 第二節(jié) 距離判別法一 馬氏距離的概念 二 距離判別的思想及方法 三 判別分析的實(shí)質(zhì) n為此，我們引入一種由印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯（Mahalanobis, 1936）提出的“馬氏距離”的概念。n 二、距離判別的思想及方法 1、兩個(gè)總體的距離判別問(wèn)題n 問(wèn)題：設(shè)有協(xié)方差矩陣相等的兩個(gè)總體G1和G2，其均值分別是1和 2，對(duì)于一個(gè)新的樣品X，要判斷它來(lái)自哪個(gè)總體。n 一般的想法是計(jì)算新樣品X到兩個(gè)總體的馬氏距離D2（X，G1）和D2（X，G2），并按照如下的判別規(guī)則進(jìn)行判斷n這個(gè)判別規(guī)則的等價(jià)描述為：求新樣品X到G 1的距離與到G2的距離之差，如果其值為正，X屬于G2；否則X屬于G1。 n我們考慮 n n n n這里我們應(yīng)該注意到： 2、多個(gè)總體的距離判別問(wèn)題n n n n 三、判別分析的實(shí)質(zhì)n我們知道，判別分析就是希望利用已經(jīng)測(cè)得的變量數(shù)據(jù)，找出一種判別函數(shù)，使得這一函數(shù)具有某種最優(yōu)性質(zhì)，能把屬于不同類別的樣本點(diǎn)盡可能地區(qū)別開(kāi)來(lái)。為了更清楚的認(rèn)識(shí)判別分析的實(shí)質(zhì)，以便能靈活的應(yīng)用判別分析方法解決實(shí)際問(wèn)題，我們有必要了解“劃分”這樣概念。n設(shè)R1，R2，Rk是p維空間R p的k個(gè)子集，如果它們互不 相交，且它們的和集為R p，則稱R1，R2， ，Rk為R p的一個(gè)劃分。 n n 這樣我們將會(huì)發(fā)現(xiàn)，判別分析問(wèn)題實(shí)質(zhì)上就是在某種意義上，以最優(yōu)的性質(zhì)對(duì)p維空間R p構(gòu)造一個(gè)“劃分”，這個(gè)“劃分”就構(gòu)成了一個(gè)判別規(guī)則。這一思想將在后面的各節(jié)中體現(xiàn)的更加清楚。 第三節(jié) 貝葉斯（Bayes）判別法一 Bayes判別的基本思想 二 Bayes判別的基本方法 n從上節(jié)看距離判別法雖然簡(jiǎn)單，便于使用。但是該方法也有它明顯的不足之處。第一，判別方法與總體各自出現(xiàn)的概率的大小無(wú)關(guān)；第二，判別方法與錯(cuò)判之后所造成的損失無(wú)關(guān)。Bayes判別法就是為了解決這些問(wèn)題而提出的一種判別方法。 一、Bayes判別的基本思想n n n n 二、Bayes判別的基本方法n n如果已知樣品X來(lái)自總體G i 的先驗(yàn)概率為qi ， ，則在規(guī)則R下，由（4.12）式知，誤判的總平均損失為 ki ,2,1 n n n n 第四節(jié) 費(fèi)歇（Fisher）判別法一 Fisher判別的基本思想 二 Fisher判別函數(shù)的構(gòu)造 三 線性判別函數(shù)的求法 n Fisher判別法是1936年提出來(lái)的，該方法的主要思想是通過(guò)將多維數(shù)據(jù)投影到某個(gè)方向上，投影的原則是將總體與總體之間盡可能的放開(kāi)，然后再選擇合適的判別規(guī)則，將新的樣品進(jìn)行分類判別。 一、Fisher判別的基本思想n 二、Fisher判別函數(shù)的構(gòu)造1、針對(duì)兩個(gè)總體的情形n 2、針對(duì)多個(gè)總體的情形n n 三、線性判別函數(shù)的求法n n n n這里值得注意的是，本書(shū)有幾處利用極值原理求極值時(shí)，只給出了不要條件的數(shù)學(xué)推導(dǎo)，而有關(guān)充分條件的論證省略了，因?yàn)樵趯?shí)際問(wèn)題中，往往根據(jù)問(wèn)題本身的性質(zhì)就能肯定有最大值（或最小值），如果所求的駐點(diǎn)只有一個(gè)，這時(shí)就不需要根據(jù)極值存在的充分條件判定它是極大還是極小而就能肯定這唯一的駐點(diǎn)就是所求的最大值（或最小值）。為了避免用較多的數(shù)學(xué)知識(shí)或數(shù)學(xué)上的推導(dǎo)，這里不追求數(shù)學(xué)上的完整性。n 第五節(jié) 實(shí)例分析與計(jì)算機(jī)實(shí)現(xiàn)n這一節(jié)我們利用SPSS對(duì)Fisher判別法和Bayes判別法進(jìn)行計(jì)算機(jī)實(shí)現(xiàn)。n為研究某地區(qū)人口死亡狀況，已按某種方法將15個(gè)已知地區(qū)樣品分為3類，指標(biāo)含義及原始數(shù)據(jù)如下。試建立判別函數(shù)，并判定另外4個(gè)待判地區(qū)屬于哪類？ 表4.1 各地區(qū)死亡概率表 (一) 操作步驟1. 在SPSS窗口中選擇AnalyzeClassifyDiscriminate，調(diào)出判別分析主界面，將左邊的變量列表中的“group”變量選入分組變量中，將變量選入自變量中，并選擇Enter independents together單選按鈕，即使用所有自變量進(jìn)行判別分析。圖4.2 判別分析主界面 2. 點(diǎn)擊Define Range按鈕，定義分組變量的取值范圍。本例中分類變量的范圍為1到3，所以在最小值和最大值中分別輸入1和3。單擊Continue按鈕，返回主界面。3. 單擊Statistics按鈕，指定輸出的描述統(tǒng)計(jì)量和判別函數(shù)系數(shù)。選中Function Coefficients欄中的Fishers和Unstandardized。這兩個(gè)選項(xiàng)的含義如下：Fishers：給出Bayes判別函數(shù)的系數(shù)。（注意：這個(gè)選項(xiàng)不是要給出Fisher判別函數(shù)的系數(shù)。這個(gè)復(fù)選框的名字之所以為Fishers，是因?yàn)榘磁袆e函數(shù)值最大的一組進(jìn)行歸類這種思想是由Fisher提出來(lái)的。這里極易混淆，請(qǐng)讀者注意辨別。）Unstandardized：給出未標(biāo)準(zhǔn)化的Fisher判別函數(shù)（即典型判別函數(shù)）的系數(shù)（SPSS默認(rèn)給出標(biāo)準(zhǔn)化的Fisher判別函數(shù)系數(shù)）。 n單擊Continue按鈕，返回主界面。圖4.3 Statistics子對(duì)話框輸出Bayes 判別系數(shù)標(biāo)準(zhǔn)化的費(fèi)希爾判別系數(shù) 4. 單擊Classify按鈕，定義判別分組參數(shù)和選擇輸出結(jié)果。選擇Display欄中的Casewise results，輸出一個(gè)判別結(jié)果表，包括每個(gè)樣品的判別分?jǐn)?shù)、后驗(yàn)概率、實(shí)際組和預(yù)測(cè)組編號(hào)等。其余的均保留系統(tǒng)默認(rèn)選項(xiàng)。單擊Continue按鈕。圖4.4 Classify子對(duì)話框各組概率相等根據(jù)各組樣品數(shù)確定先驗(yàn)概率使用聯(lián)合協(xié)方差矩陣，此選項(xiàng)表明各總體協(xié)方差矩陣相等各個(gè)總體協(xié)方差矩陣不等 5. 單擊Save按鈕，指定在數(shù)據(jù)文件中生成代表判別分組結(jié)果和判別得分的新變量，生成的新變量的含義分別為：Predicted group membership：存放判別樣品所屬組別的值； Discriminant scores：存放Fisher判別得分的值，有幾個(gè)典型判別函數(shù)就有幾個(gè)判別得分變量；Probabilities of group membership：存放樣品屬于各組的Bayes后驗(yàn)概率值。n將對(duì)話框中的三個(gè)復(fù)選框均選中，單擊Continue按鈕返回。 6. 返回判別分析主界面，單擊OK按鈕，運(yùn)行判別分析過(guò)程。圖4.5 Save子對(duì)話框各組先驗(yàn)概率未標(biāo)準(zhǔn)化的費(fèi)希爾判別得分成員屬于各組的后驗(yàn)概率 Standardized Canonical Discriminant Function （二） 主要運(yùn)行結(jié)果解釋1. Standardized Canonical Discriminant Function Coefficients（給出標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)）標(biāo)準(zhǔn)化的典型判別函數(shù)是由標(biāo)準(zhǔn)化的自變量通過(guò)Fisher判別法得到的，所以要得到標(biāo)準(zhǔn)化的典型判別得分，代入該函數(shù)的自變量必須是經(jīng)過(guò)標(biāo)準(zhǔn)化的。2. Canonical Discriminant Function Coefficients（給出未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)）未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)由于可以將實(shí)測(cè)的樣品觀測(cè)值直接代入求出判別得分，所以該系數(shù)使用起來(lái)比標(biāo)準(zhǔn)化的系數(shù)要方便一些。見(jiàn)表4.2（a）。 *2*2 *2*1 76543 76543 791.1709.0689.0499.0746.9575.7 100.4284.1173.6232.1969.13268.16 XXXXXXy XXXXXXy Standardized Canonical Discriminant Function 標(biāo)準(zhǔn)化的費(fèi)希爾判別函數(shù) 2 Canonical Discriminant Function Coefficients（給出未標(biāo)準(zhǔn)化的典型判別函數(shù)系數(shù)） 1 1 2 3 4 5 6 2 1 2 3 4 5 6 74.99 1.861 1.656 0.877 0.798 0.098 1.579 29.482 0.867 1.155 0.356 0.089 0.054 0.69 y X X X X X X y X X X X X X 未標(biāo)準(zhǔn)化的費(fèi)希爾判別函數(shù)典型判別函數(shù)并非費(fèi)希爾判別函數(shù)，二者相差一個(gè)常數(shù) )756.0,600.6(,)257.0,194.9(,)013.1,594.2( 321 GGG Functions at Group Centroids（給出組重心處的Fisher判別函數(shù)值）各個(gè)組對(duì)應(yīng)的典型判別函數(shù)的質(zhì)心坐標(biāo)， 即 基于費(fèi)希爾判別函數(shù)的判別規(guī)則本教材只是給出了費(fèi)希爾判別函數(shù)的求法，并未給出具體的判別準(zhǔn)則，以下給出兩個(gè)可行的準(zhǔn)則1. 計(jì)算各個(gè)樣本點(diǎn)到各組質(zhì)心處的歐氏距離， 根據(jù)樣品到各個(gè)總體歐氏距離的大小判定它屬于哪個(gè)總體2. 對(duì)于各個(gè)樣品的費(fèi)希爾判別函數(shù)，以及各個(gè)組的組別，進(jìn)一步進(jìn)行bayes判別。 Bayes 判別函數(shù)系數(shù) Classification Function Coefficients -143.851 -164.691 -134.862 153.137 171.185 144.462 -90.088 -99.976 -85.945 53.009 62.525 49.972 11.008 12.094 10.520 189.261 207.003 181.714 -5317.234 -6202.158 -4982.880 X1 X2 X3 X4 X5 X6 (Constant) 1.00 2.00 3.00 GROUP Fishers linear discriminant functions 111121111 ln)()(F PxSxxxSx 11121 ln- PxSx 其中， S是聯(lián)合協(xié)方差矩陣， P1是G1的先驗(yàn)概率- 4. Classification Function Coefficients（給出Bayes判別函數(shù)系數(shù)）如表4.3所示，GROUP欄中的每一列表示樣品判入相應(yīng)列的Bayes判別函數(shù)系數(shù)。在本例中，各類的Bayes判別函數(shù)如下：第一組：第二組：第三組： 1 1 2 3 4 5 65317.2 143.9 153.1 90.1 53.0 11.0 189.3F X X X X X X 2 1 2 3 4 5 66202.2 164.7 171.2 100.0 62.5 12.1 207.0F X X X X X X 3 1 2 3 4 5 64982.9 134.9 144.5 85.9 50.0 10.5 181.7F X X X X X X 將各樣品的自變量值代入上述三個(gè)Bayes判別函數(shù)，得到三個(gè)函數(shù)值。比較這三個(gè)函數(shù)值，哪個(gè)函數(shù)值比較大就可以判斷該樣品判入哪一類。例如，將第一個(gè)待判樣品的自變量值分別代入函數(shù)，得到： F1=3793.77， F2=3528.32， F3=3882.48比較三個(gè)值，可以看出 F3 最大，據(jù)此得出第一個(gè)待判樣品應(yīng)該屬于第三組。 5. Casewise Statistics（給出個(gè)案觀察結(jié)果）在Casewise Statistics輸出表針對(duì)每個(gè)樣品給出了了大部分的判別結(jié)果，其中包括：實(shí)際類（Actual Group）、預(yù)測(cè)類（Predicted Group）、Bayes判別法的后驗(yàn)概率、與組重心的馬氏距離（Squared Mahalanobis Distance to Centroid）以及Fisher判別法的每個(gè)典型判別函數(shù)的判別得分（Discriminant Scores）。出于排版要求，這里給出結(jié)果表的是經(jīng)過(guò)加工的，隱藏了其中的一些項(xiàng)目，如表4.4所示。從表中可以看出四個(gè)待判樣本依次被判別為第三組、第一組、第二組和第三組。 Casewise Statistics 1 1 1.000 .297 -2.177 1.364 1 1 1.000 .236 -2.270 1.375 1 1 1.000 .117 -2.741 1.323 1 1 .998 .507 -3.199 .638 1 1 1.000 .418 -2.582 .366 2 2 1.000 .469 9.674 .231 2 2 1.000 .868 8.332 -.613 2 2 1.000 5.985 10.128 -2.518 2 2 1.000 4.793 8.342 1.760 2 2 1.000 .101 9.491 -.145 3 3 1.000 .139 -6.687 -.394 3 3 1.000 .322 -7.163 -.685 3 3 1.000 5.365 -8.655 -1.823 3 3 .879 3.384 -4.766 -.608 3 3 .995 .998 -5.727 -.270 ungrouped 3 1.000 361.567 -20.714 -13.498 ungrouped 1 .998 .558 -3.319 .831 ungrouped 2 1.000 28.668 14.008 2.086 ungrouped 3 1.000 1.982 -7.595 -1.752 Case Number 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Actual Group Predicted Group P(G=g | D=d) Squared Mahalanobis Distance to Centroid Highest Group Function 1 Function 2 Discriminant Scores 表4.4 個(gè)案觀察結(jié)果表實(shí)際組預(yù)測(cè)組到距離它最近一組，即到預(yù)測(cè)組的廣義馬氏距離屬于該組的后驗(yàn)概率判別得分，由于我們?cè)O(shè)定非標(biāo)準(zhǔn)化的費(fèi)希爾判別，此處是非標(biāo)準(zhǔn)的費(fèi)希爾判別得分，若無(wú)此選擇，則顯示標(biāo)準(zhǔn)化的費(fèi)希爾判別得分 6. 由于我們?cè)赟ave子對(duì)話框中選擇了生成表示判別結(jié)果的新變量，所以在數(shù)據(jù)編輯窗口中，可以觀察到產(chǎn)生的新變量。其中，變量dis-1存放判別樣品所屬組別的值，變量dis1-1和dis2-1分別代表將樣品各變量值代入第一個(gè)和第二個(gè)判別函數(shù)所得的判別分?jǐn)?shù)，變量dis1-2、dis2-2和dis3-2分別代表樣品分別屬于第1組、第2組和第3組的Bayes后驗(yàn)概率值。 本 章 結(jié) 束