《數(shù)學(xué)建模判別分析》PPT課件.ppt

第五章判別分析,5.1引言5.2距離判別5.3貝葉斯判別5.4費(fèi)希爾判別,5.2距離判別,一、兩組距離判別二、多組距離判別,一、兩組距離判別,設(shè)組和的均值分別為和，協(xié)差陣分別為和，是一個(gè)新樣品(維)，現(xiàn)欲判斷它來(lái)自哪一組。1.時(shí)的判別2.時(shí)的判別,1.時(shí)的判別,判別規(guī)則：令，其中，則上述判別規(guī)則可簡(jiǎn)化為稱(chēng)為兩組距離判別的判別函數(shù)，由于它是的線性函數(shù)，故又可稱(chēng)為線性判別函數(shù)，稱(chēng)為判別系數(shù)。,誤判概率,誤判概率正態(tài)組的誤判概率設(shè)，則其中是兩組之間的馬氏距離。,從上述誤判概率的公式中可以看出，兩個(gè)正態(tài)組越是分開(kāi)（即越大），兩個(gè)誤判概率就越小，此時(shí)的判別效果也就越佳。當(dāng)兩個(gè)正態(tài)組很接近時(shí)，兩個(gè)誤判概率都將很大，這時(shí)作判別分析就沒(méi)有什么實(shí)際意義。,界定組之間是否已過(guò)于接近,我們可對(duì)假設(shè)進(jìn)行檢驗(yàn)，若檢驗(yàn)接受原假設(shè)，則說(shuō)明兩組均值之間無(wú)顯著差異，此時(shí)作判別分析一般會(huì)是徒勞的；若檢驗(yàn)拒絕，則兩組均值之間雖然存在顯著差異，但這種差異對(duì)進(jìn)行有效的判別分析未必足夠大（即此時(shí)作判別分析未必有實(shí)際意義），故此時(shí)還應(yīng)看誤判概率是否超過(guò)了一個(gè)合理的水平。,例5.2.1,抽取樣本估計(jì)有關(guān)未知參數(shù),誤判概率的非參數(shù)估計(jì),若兩組不能假定為正態(tài)組，則和可以用樣本中樣品的誤判比例來(lái)估計(jì)，通常有如下三種非參數(shù)估計(jì)方法：（1）令為樣本中來(lái)自而誤判為的個(gè)數(shù)，為樣本中來(lái)自而誤判為的個(gè)數(shù)，則和可估計(jì)為該方法簡(jiǎn)單、直觀，且易于計(jì)算。但遺憾的是，它給出的估計(jì)值通常偏低，除非和都非常大。,（2）將整個(gè)樣本一分為二，一部分作為訓(xùn)練樣本，用于構(gòu)造判別函數(shù)，另一部分用作驗(yàn)證樣本，用于對(duì)判別函數(shù)進(jìn)行評(píng)估。誤判概率用驗(yàn)證樣本的被誤判比例來(lái)估計(jì)，如此得到的估計(jì)是無(wú)偏的。但是，這種方法有兩個(gè)主要缺陷：（i）需要用大樣本；（ii）在構(gòu)造判別函數(shù)時(shí)，只用了部分樣本數(shù)據(jù)，損失了過(guò)多有價(jià)值的信息。與使用所有的樣本數(shù)據(jù)構(gòu)造判別函數(shù)相比，該方法將使真實(shí)的誤判概率上升。該缺陷隨樣本容量的增大而逐漸減弱，當(dāng)樣本容量相當(dāng)大時(shí)此缺陷基本可忽略。,稱(chēng)為交叉驗(yàn)證法或刀切法。該方法既避免了樣本數(shù)據(jù)在構(gòu)造判別函數(shù)的同時(shí)又被用來(lái)對(duì)該判別函數(shù)進(jìn)行評(píng)價(jià)，造成不合理的信息重復(fù)使用，又幾乎避免了構(gòu)造判別函數(shù)時(shí)樣本信息的損失。,2.時(shí)的判別,可采用(5.2.1)式作為判別規(guī)則的形式。另一種方式是，選擇判別函數(shù)為它是的二次函數(shù)，相應(yīng)的判別規(guī)則為,二、多組距離判別,5.3貝葉斯判別,一、最大后驗(yàn)概率準(zhǔn)則二、最小平均誤判代價(jià)準(zhǔn)則,一、最大后驗(yàn)概率準(zhǔn)則,設(shè)有個(gè)組，且組的概率密度為，樣品來(lái)自組的先驗(yàn)概率為，滿(mǎn)足。則屬于的后驗(yàn)概率為最大后驗(yàn)概率準(zhǔn)則是采用如下的判別規(guī)則：,二、最小平均誤判代價(jià)準(zhǔn)則,（5.3.13）式的一些特殊情形,(1)當(dāng)時(shí)，(5.3.13)式簡(jiǎn)化為實(shí)際應(yīng)用中，如果先驗(yàn)概率未知，則它們通常被取成相等。,(2)當(dāng)時(shí)，(5.3.13)式簡(jiǎn)化為該式等價(jià)于組數(shù)時(shí)的(5.3.2)式。實(shí)踐中，若誤判代價(jià)比無(wú)法確定，則通常取比值為1。(3)當(dāng)時(shí)，(5.3.13)式可進(jìn)一步簡(jiǎn)化為這時(shí)，判別新樣品的歸屬，只需比較在處的兩個(gè)概率密度值和的大小。,5.4費(fèi)希爾判別,費(fèi)希爾判別（或稱(chēng)典型判別）的基本思想是投影（或降維）：用p維向量的少數(shù)幾個(gè)線性組合（稱(chēng)為判別式或典型變量）(一般r明顯小于p）來(lái)代替原始的p個(gè)變量，以達(dá)到降維的目的，并根據(jù)這r個(gè)判別式對(duì)樣品的歸屬作出判別。成功的降維將使判別更為方便和有效，且可對(duì)前兩個(gè)或前三個(gè)判別式作圖，從直觀的幾何圖形上區(qū)別各組。,一個(gè)說(shuō)明性的二維例子,