判別分析-貝葉斯判別.ppt

第五章判別分析,判別分析是多元統(tǒng)計(jì)中用于判別樣品所屬類型的一種統(tǒng)計(jì)分析方法。是一種在一些已知研究對(duì)象用某種方法已經(jīng)分成若干類的情況下，確定新的樣品的觀測數(shù)據(jù)屬于那一類的統(tǒng)計(jì)分析方法。,判別準(zhǔn)則： 用于衡量新樣品與各已知組別接近程度的思路原則。,判別函數(shù)： 基于一定的判別準(zhǔn)則計(jì)算出的用于衡量新樣品與各已知組別接近程度的描述指標(biāo)。,按照判別準(zhǔn)則來分有 距離判別、費(fèi)希爾判別與貝葉斯判別。,距離判別法,判別準(zhǔn)則：對(duì)于任給一次觀測值，若它與第 類的重心距離最近，就認(rèn)為它來自于第 類。,馬氏距離,1、協(xié)方差相等,兩總體的距離判別,先考慮兩個(gè)總體的情況，設(shè)有兩個(gè)協(xié)差陣相同的p維正態(tài)總體 和 ，對(duì)給定的樣本Y，判別一個(gè)樣本Y到底是來自哪一個(gè)總體，一個(gè)最直觀的想法是計(jì)算Y到兩個(gè)總體的距離。我們用馬氏距離來指定判別規(guī)則，有：,因此有,判別函數(shù)：,2、當(dāng)總體的協(xié)方差已知，但不相等,3、當(dāng)總體的協(xié)方差未知時(shí)，用樣本的離差陣代替， 步驟如下： （1）分別計(jì)算各組的離差矩陣 和 ； （2）計(jì)算 （3）計(jì)算類的均值 （4）計(jì)算 （5）計(jì)算 （6）生成判別函數(shù)，將檢驗(yàn)樣本代入，判類。,多總體的距離判別法,則,設(shè)有 個(gè) 元總體 ，分別有均值向量 和協(xié)方差陣 ，對(duì)任給的 元樣品 ，判斷它來自哪個(gè)總體,計(jì)算 到 個(gè)總體的馬氏距離，比較后，把 判歸給距離最小的那個(gè)總體，若,錯(cuò)判概率,由上面的分析可以看出，馬氏距離判別法是合理的，但是這并不意謂著不會(huì)發(fā)生誤判。,設(shè)兩總體 ， 分別服從 其線性判別函數(shù)為：,不妨設(shè) ，則當(dāng) 時(shí)，,當(dāng)兩總體靠得比較近時(shí)，即兩總體的均值差異較小時(shí)，無論用何種判別方法，判錯(cuò)的概率都比較大，這時(shí)的判別分析也是沒有意義的，因此只有當(dāng)兩總體的均值有明顯差異時(shí)，進(jìn)行判別分析才有意義，為此，要對(duì)兩總體的均值差異性進(jìn)行檢驗(yàn).,練習(xí)：P211:5-1,辦公室新來了一個(gè)雇員小王，小王是好人還是壞人大家都在猜測。按人們主觀意識(shí)，一個(gè)人是好人或壞人的概率均為0.5。壞人總是要做壞事，好人總是做好事，偶爾也會(huì)做一件壞事，一般好人做好事的概率為0.9，壞人做好事的概率為0.2，一天，小王做了一件好事，小王是好人的概率有多大，你現(xiàn)在把小王判為何種人。,貝葉斯判別法,一 、標(biāo)準(zhǔn)的Bayes判別,一個(gè)好的判別方法，既要考慮到各個(gè)總體出現(xiàn)的先驗(yàn)概率，又要考慮到錯(cuò)判造成的損失，貝葉斯(Bayes)判別就具有這些優(yōu)點(diǎn)，其判別效果更加理想，應(yīng)用也更廣泛。,貝葉斯公式是一個(gè)我們熟知的公式,距離判別簡單直觀，很實(shí)用，但是距離判別的方法把總體等同看待，沒有考慮到總體會(huì)以不同的概率(先驗(yàn)概率)出現(xiàn)，也沒有考慮誤判之后所造成的損失的差異。,則 判給 ，在正態(tài)的假定下， 為正態(tài)分布的 密度函數(shù)。,設(shè)有總體 ， 具有概率密度函 數(shù) 。并且根據(jù)以往的統(tǒng)計(jì)分析，知道 出現(xiàn)的概率為 。即當(dāng)樣本 發(fā)生時(shí)，求 屬于某類的概率。由貝葉斯公式計(jì)算后驗(yàn)概率，有：,判別規(guī)則,則 判給 。,上式兩邊取對(duì)數(shù),下面討論總體服從正態(tài)分布的情形,問題轉(zhuǎn)化為若 ，則判 。,當(dāng)協(xié)方差陣相等時(shí),去掉與i無關(guān)的項(xiàng)，等價(jià)的判別函數(shù)為：,判別函數(shù)退化為,令,問題轉(zhuǎn)化為若 ，則判 。,令,完全成為距離判別法 。,令,有,問題轉(zhuǎn)化為若 ，則判 。,當(dāng)先驗(yàn)概率相等，即 時(shí),二、 考慮錯(cuò)判損失的Bayes判別分析,設(shè)有總體 ， 具有概率密度函 數(shù) 。并且根據(jù)以往的統(tǒng)計(jì)分析，知道 出現(xiàn)的概率為 ， 。,D1，D2， ，Dk是R(p)的一個(gè)分劃，判別法則為：,關(guān)鍵的問題是尋找D1，D2， ，Dk分劃，這個(gè)分劃應(yīng)該使平均錯(cuò)判率最小。,當(dāng)樣品X落入Di時(shí)，判,【定義】（平均錯(cuò)判損失）,C(j/i)表示相應(yīng)錯(cuò)判所造成的損失。,則平均錯(cuò)判損失為：,使ECM最小的分劃，是Bayes判別分析的解。,用 表示將來自總體Gi的樣品錯(cuò)判到總體Gj的條件概率。,【定理】,且相應(yīng)的密度函數(shù)為 ，損失為 時(shí)， 劃分的貝葉斯解為,若總體G1，G2，Gk的先驗(yàn)概率為,其中,含義是：當(dāng)抽取了一個(gè)未知總體的樣品值x，要判別它屬于哪個(gè)總體，只要先計(jì)算出k個(gè)按先驗(yàn)概率加權(quán)的誤判平均損失 然后比較其大小，選取其中最小的，則判定樣品屬于該總體。,下面在k=2的情形下，計(jì)算作為例子，我們討論。,由此可見，被積函數(shù)在D1是負(fù)數(shù)時(shí)，可使ECM最小，則有分劃,Bayes判別準(zhǔn)則為：,令,特別地，若,則 判給 。與標(biāo)準(zhǔn)Bayes判別等價(jià),當(dāng)錯(cuò)判概率,廣義平方距離法,其中,定義樣品X到總體Gi的廣義平方距離為：,判別準(zhǔn)則：,練習(xí)：設(shè)三個(gè)總體 的分布分別為 按廣義平方距離準(zhǔn)則判斷樣品 應(yīng)判歸哪一類.,