數(shù)學(xué)實(shí)驗(yàn)06判別分析.ppt

判別分析,3.1 判別分析(discriminant analysis),某些昆蟲(chóng)的性別只有通過(guò)解剖才能夠判別 但雄性和雌性昆蟲(chóng)在若干體表度量上有些綜合的差異。人們就根據(jù)已知雌雄的昆蟲(chóng)體表度量（這些用作度量的變量亦稱(chēng)為預(yù)測(cè)變量）得到一個(gè)標(biāo)準(zhǔn)，并以此標(biāo)準(zhǔn)來(lái)判別其他未知性別的昆蟲(chóng)。 這樣雖非100%準(zhǔn)確的判別至少大部分是對(duì)的，而且用不著殺生。此即判別分析。,判別分析(discriminant analysis),判別分析和聚類(lèi)分析有何異同？ 判別分析和聚類(lèi)分析都是分類(lèi). 但判別分析是在已知對(duì)象有若干類(lèi)型和一批已知樣品的觀測(cè)數(shù)據(jù)(訓(xùn)練樣本)后的基礎(chǔ)上根據(jù)某些準(zhǔn)則建立判別式.在聚類(lèi)分析中，人們一般事先并不知道應(yīng)該分成幾類(lèi)及哪幾類(lèi)，全根據(jù)數(shù)據(jù)確定。 可以先聚類(lèi)以得知類(lèi)型,再進(jìn)行判別.,判別分析例子,數(shù)據(jù)disc.txt:企圖用一套打分體系來(lái)描繪企業(yè)的狀況。該體系對(duì)每個(gè)企業(yè)的一些指標(biāo)（變量）進(jìn)行評(píng)分。 指標(biāo)有:企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、利潤(rùn)增長(zhǎng)(prr)、市場(chǎng)份額(ms)、市場(chǎng)份額增長(zhǎng)(msr)、流動(dòng)資金比例(cp)、資金周轉(zhuǎn)速度(cs)等. 另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。,希望根據(jù)這些企業(yè)的上述變量的打分及其已知的類(lèi)別(三個(gè)類(lèi)別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降)找出一個(gè)分類(lèi)標(biāo)準(zhǔn)，以對(duì)尚未被分類(lèi)的企業(yè)進(jìn)行分類(lèi)。 該數(shù)據(jù)有90個(gè)企業(yè)（90個(gè)觀測(cè)值），其中30個(gè)屬于上升型，30個(gè)屬于穩(wěn)定型，30個(gè)屬于下降型。這個(gè)數(shù)據(jù)就是一個(gè)“訓(xùn)練樣本”。,判別分析例子,Disc.sav數(shù)據(jù),1. 根據(jù)距離判別的思想,Disc.txt數(shù)據(jù)有8個(gè)用來(lái)建立判別標(biāo)準(zhǔn)(或判別函數(shù))的(預(yù)測(cè))變量,另一個(gè)(group)是類(lèi)別 每一個(gè)企業(yè)的打分在這8個(gè)變量所構(gòu)成的8維空間中是一個(gè)點(diǎn)。這個(gè)數(shù)據(jù)在8維空間有90個(gè)點(diǎn)， 由于已知所有點(diǎn)的類(lèi)別，可以求得每個(gè)類(lèi)型的中心。這樣只要定義了距離，就可以得到任何給定的點(diǎn)（企業(yè)）到這三個(gè)中心的三個(gè)距離。,最簡(jiǎn)單的辦法就是:某點(diǎn)離哪個(gè)中心距離最近，就屬于哪一類(lèi)。 一個(gè)常用距離是Mahalanobis距離。 用來(lái)比較到各個(gè)中心距離的數(shù)學(xué)函數(shù)稱(chēng)為判別函數(shù)(discriminant function). 這種根據(jù)遠(yuǎn)近判別的思想，原理簡(jiǎn)單，直觀易懂。為判別分析的基礎(chǔ),1. 根據(jù)距離判別的思想,距離判別法,假設(shè)有兩個(gè)總體G1和G2, 如果能夠定義點(diǎn)x到它們的距離D(x,G1)和D(x,G2), 則 如果D(x,G1) < D(x,G2)則 xG1 如果D(x,G2) < D(x,G1)則 xG2 如果D(x,G1) = D(x,G2)則待判,1. 根據(jù)距離判別的思想,Mahalanobis距離,假設(shè)m(1), m(2), S(1), S(2)分別為G1和G2的均值向量和協(xié)差陣,則點(diǎn)x到Gi的馬氏距離定義為 D2(x,Gi)=(x- m(i)(S(i)-1(x- m(i) 其他一些距離為馬氏距離的特殊情況,因此我們著重討論馬氏距離.馬氏距離的好處是可以克服變量之間的相關(guān)性干擾,并且消除各變量量綱的影響.,線性判別函數(shù):當(dāng)S(1)=S(2)=S時(shí),記,如果W(x)0即D(x,G1)D(x,G2)則 xG2 如果W(x)=0即D(x,G1)=D(x,G2)則待判,當(dāng)m(1), m(2), S 已知時(shí), 令a= S-1(m(1)- m(2) ) (a1, ap),則,顯然W(x)為x1, xp的線性函數(shù), 稱(chēng)為線性判別函數(shù); a稱(chēng)為判別系數(shù).,當(dāng)m(1), m(2), S 未知時(shí), 可通過(guò)樣本來(lái)估計(jì):,判別函數(shù)為,為來(lái)自Gi的樣本為(i=1,2),非線性判別函數(shù):當(dāng)S(1) S(2)時(shí),這是x的一個(gè)二次函數(shù), 按照距離最近原則,判別準(zhǔn)則仍然為 如果W(x)0即D(x,G1)D(x,G2)則 xG2 如果W(x)=0即D(x,G1)=D(x,G2)則待判,多總體時(shí)的線性判別函數(shù):當(dāng)S(1)=S(k)=S時(shí),記,相應(yīng)的準(zhǔn)則為: 如果對(duì)一切ji, Wij(x)<0, 則 xGi 如果有某一個(gè)Wij(x)=0, 則待判,非線性判別函數(shù):當(dāng)S(1) , S(k) 不等時(shí),相應(yīng)的準(zhǔn)則為: 如果對(duì)一切ji, Wij(x)0, 則 xGi 如果有某一個(gè)Wij(x)=0, 則待判. 當(dāng)m(i), S(i) 未知時(shí), 可通過(guò)樣本來(lái)估計(jì),2. Fisher判別法(先進(jìn)行投影),Fisher判別法是一種先投影的方法。 考慮只有兩個(gè)(預(yù)測(cè))變量的判別問(wèn)題。 假定只有兩類(lèi)。數(shù)據(jù)中的每個(gè)觀測(cè)值是二維空間的一個(gè)點(diǎn)。見(jiàn)下頁(yè)圖。 這里只有兩種已知類(lèi)型的訓(xùn)練樣本。一類(lèi)有38個(gè)點(diǎn)(用“o”表示),另一類(lèi)有44個(gè)點(diǎn)(用“*”表示)。按原來(lái)變量(橫坐標(biāo)和縱坐標(biāo))，很難將這兩種點(diǎn)分開(kāi)。,-4,-2,0,2,4,6,-4,-3,-2,-1,0,1,2,3,于是就尋找一個(gè)方向，下頁(yè)圖上的虛線方向，沿該方向朝和這個(gè)虛線垂直的一條直線進(jìn)行投影會(huì)使得這兩類(lèi)分得最清楚?？梢钥闯觯绻蚱渌较蛲队?，判別效果不會(huì)比這個(gè)好。 有了投影之后，再用前面講到的距離遠(yuǎn)近的方法得到判別準(zhǔn)則。這種先投影的判別方法就是Fisher判別法。,2. Fisher判別法(先進(jìn)行投影),Fisher判別法的數(shù)學(xué),練習(xí)： 中小企業(yè)的破產(chǎn)問(wèn)題研究 為了研究中小企業(yè)的破產(chǎn)模型，選定4個(gè)經(jīng)濟(jì)指標(biāo)： X1總負(fù)債率（現(xiàn)金收益/總負(fù)債） X2收益性指標(biāo)（純收入/總財(cái)產(chǎn)） X3短期支付能力（流動(dòng)資產(chǎn)/流動(dòng)負(fù)債） X4生產(chǎn)效率性指標(biāo)（流動(dòng)資產(chǎn)/純銷(xiāo)售額） 對(duì)17個(gè)破產(chǎn)企業(yè)（1類(lèi)）和21個(gè)正常運(yùn)行企業(yè)（2類(lèi)）進(jìn)行了調(diào)查，得如下資料：,3.2 判別分析要注意的問(wèn)題,訓(xùn)練樣本中必須包含所有要判別的類(lèi)型，分類(lèi)必須清楚，不能有混雜。 要選擇好可能用于判別的預(yù)測(cè)變量。這是最重要的。當(dāng)然，在應(yīng)用中，選擇余地不見(jiàn)得有多大。 判別分析是為了正確地分類(lèi)，但同時(shí)也要注意對(duì)未知樣本的判定不一定總會(huì)得到正確的結(jié)果。所以我們需要對(duì)錯(cuò)判率進(jìn)行進(jìn)一步的思考和研究。,判別分析的Matlab命令：calssify,附錄,費(fèi)歇(Fisher)判別法,并未要求總體分布類(lèi)型 工作原理就是對(duì)原數(shù)據(jù)系統(tǒng)進(jìn)行坐標(biāo)變換,尋求能夠?qū)⒖傮w盡可能分開(kāi)的方向. 點(diǎn)x在以a為法方向的投影為ax 各組數(shù)據(jù)的投影為,將Gm組中數(shù)據(jù)投影的均值記為 有,記k組數(shù)據(jù)投影的總均值為 有,組間離差平方和為:,這里,組內(nèi)離差平方和為:,這里,希望尋找a使得SSG盡可能大而SSE盡可能小,即,記方程|B-lE|=0的全部特征根為l1 lr0, 相應(yīng)的特征向量為v1,vr. D(a)的大小可以估計(jì)判別函數(shù)yi(x)=vix (= ax)的效果. 記pi為判別能力(效率), 有,最大的值為方程|B-lE|=0的最大特征根l1.,使,m個(gè)判別函數(shù)的判別能力定義為,據(jù)此來(lái)確定選擇多少判別函數(shù)。,