《聚類判別分析》PPT課件

《《聚類判別分析》PPT課件》由會員分享，可在線閱讀，更多相關(guān)《《聚類判別分析》PPT課件（83頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、第14章 聚類分析與判別分析,介紹： 1、聚類分析 2、判別分析 分類學(xué)是人類認(rèn)識世界的基礎(chǔ)科學(xué)。聚類分析和判別分析是研究事物分類的基本方法，廣泛地應(yīng)用于自然科學(xué)、社會科學(xué)、工農(nóng)業(yè)生產(chǎn)的各個領(lǐng)域。,14.1.1 聚類分析,根據(jù)事物本身的特性研究個體分類的方法，原則是同一類中的個體有較大的相似性，不同類中的個體差異很大。 根據(jù)分類對象的不同，分為樣品（觀測量）聚類和變量聚類兩種： 樣品聚類：對觀測量(Case)進行聚類（不同的目的選用不同的指標(biāo)作為分類的依據(jù)，如選拔運動員與分課外活動小組） 變量聚類：找出彼此獨立且有代表性的自變量，而又不丟失大部分信息。在生產(chǎn)活動中不乏有變量聚類的實例，如：衣服

2、號碼（身長、胸圍、褲長、腰圍）、鞋的號碼。變量聚類使批量生產(chǎn)成為可能。,14.1.2 判別分析,判別分析是根據(jù)表明事物特點的變量值和它們所屬的類，求出判別函數(shù)。根據(jù)判別函數(shù)對未知所屬類別的事物進行分類的一種分析方法。 在自然科學(xué)和社會科學(xué)的各個領(lǐng)域經(jīng)常遇到需要對某個個體屬于哪一類進行判斷。如動物學(xué)家對動物如何分類的研究和某個動物屬于哪一類、目、綱的判斷。 不同：判別分析和聚類分析的不同在于判別分析要求已知一系列反映事物特征的數(shù)值變量的值，并且已知各個體的分類（訓(xùn)練樣本）。,14.1.3 聚類分析與判別分析的SPSS過程,在AnalyzeClassify下： K-Means Cluster： 觀

3、測量快速聚類分析過程 Hierarchical Cluster：分層聚類（進行觀測量聚類和變量聚類的過程 Discriminant：進行判別分析的過程,14.2 快速樣本聚類過程(Quick Cluster),使用 k 均值分類法對觀測量進行聚類 可使用系統(tǒng)的默認(rèn)選項或自己設(shè)置選項，如分為幾類、指定初始類中心、是否將聚類結(jié)果或中間數(shù)據(jù)數(shù)據(jù)存入數(shù)據(jù)文件等。 快速聚類實例(P342，data14-01a):使用系統(tǒng)的默認(rèn)值進行：對運動員的分類（分為4類） AnalyzeClassifyK-Means Cluster Variables: x1,x2,x3 Label Case By: no Num

4、ber of Cluster: 4 比較有用的結(jié)果：聚類結(jié)果形成的最后四類中心點(Final Cluster Centers) 和每類的觀測量數(shù)目（Number of Cases in each Cluster） 但不知每個運動員究竟屬于哪一類？這就要用到Save選項,14.2 快速樣本聚類過程(Quick Cluster)中的選項,使用快速聚類的選擇項： 類中心數(shù)據(jù)的輸入與輸出：Centers選項 輸出數(shù)據(jù)選擇項：Save選項 聚類方法選擇項：Method選項 聚類何時停止選擇項：Iterate選項 輸出統(tǒng)計量選擇項：Option選項,14.2 指定初始類中心的聚類方法例題P343,數(shù)據(jù)同上

5、（data14-01a）：以四個四類成績突出者的數(shù)據(jù)為初始聚類中心(種子)進行聚類。類中心數(shù)據(jù)文件data14-01b（但缺一列Cluster_，不能直接使用，要修改）。對運動員的分類（還是分為4類） AnalyzeClassifyK-Means Cluster Variables: x1,x2,x3 Label Case By: no Number of Cluster: 4 Center: Read initial from: data14-01b Save: Cluster membership和Distance from Cluster Center 比較有用的結(jié)果（可將結(jié)果與前面沒有

6、初始類中心比較）： 聚類結(jié)果形成的最后四類中心點(Final Cluster Centers) 每類的觀測量數(shù)目（Number of Cases in each Cluster） 在數(shù)據(jù)文件中的兩個新變量qc1_1（每個觀測量最終被分配到哪一類）和 qc1_2（觀測量與所屬類中心點的距離）,14.3 分層聚類(Hierarchical Cluster),分層聚類方法： 分解法:先視為一大類，再分成幾類 凝聚法:先視每個為一類,再合并為幾大類 可用于觀測量(樣本)聚類(Q型)和變量聚類(R型) 一般分為兩步（自動,可從Paste的語句知道,P359）： Proximities：先對數(shù)據(jù)進行的預(yù)處

7、理(標(biāo)準(zhǔn)化和計算距離等) Cluster：然后進行聚類分析 兩種統(tǒng)計圖：樹形圖(Dendrogram)和冰柱圖(Icicle) 各類型數(shù)據(jù)的標(biāo)準(zhǔn)化、距離和相似性計算P348-354 定距變量、分類變量、二值變量 標(biāo)準(zhǔn)化方法p353：Z Scores、Range -1 to 1、 Range 0 to 1等,14.3.4 用分層聚類法進行觀測量聚類實例P358,對20種啤酒進行分類(data14-02)，變量包括：Beername(啤酒名稱)、calorie(熱量)、sodium(鈉含量)、alcohol(酒精含量)、 cost(價格) AnalyzeClassify Hierarchical

8、Cluster: Variables: calorie,sodium,alcohol, cost 成分和價格 Label Case By: Beername Cluster：Case, Q聚類 Display: 選中Statistics，單擊Statistics Agglomeration Schedule 凝聚狀態(tài)表 Proximity matrix：距離矩陣 Cluster membership：Single solution：4 顯示分為4類時，各觀測量所屬的類 Method: Cluster (Furthest Neighbor), Measure-Interval (Squared

9、Euclidean distance), Transform Value (Range 0-1/By variable (值-最小值)/極差) Plots: (Dendrogram) Icicle(Specified range of cluster, Start-1,Stop-4, by-1), Orientation (Vertical縱向作圖) Save: Cluster Membership(Single solution 4) 比較有用的結(jié)果：根據(jù)需要進行分類，在數(shù)據(jù)文件中的分類新變量clu4_1等,14.3.5 用分層聚類法進行變量聚類,變量聚類，是一種降維的方法，用于在變量眾多時

10、尋找有代表性的變量，以便在用少量、有代表性的變量代替大變量集時，損失信息很少。 與進行觀測量聚類雷同，不同點在于： 選擇Variable而非Case Save選項失效，不建立的新變量,14.3.6 變量聚類實例1 P366,上面啤酒分類問題data14-02。 AnalyzeClassify Hierarchical Cluster: Variables: calorie,sodium,alcohol, cost 成分和價格 Cluster：Variable, R聚類 Method： Cluster Method ：Furthest Neighbor Measure-Interval：Pear

11、son Correlation Transform Values：Z Score （By Variable） Plots: Dendrogram 樹型圖 Statistics：Proximity matrix：相關(guān)矩陣 比較有用的結(jié)果：根據(jù)相關(guān)矩陣和樹型圖，可知calorie(熱量)和alcohol(酒精含量)的相關(guān)系數(shù)最大，首先聚為一類。從整體上看，聚為三類是比較好的結(jié)果。至于熱量和酒精含量選擇哪個作為典型指標(biāo)代替原來的兩個變量，可以根據(jù)專業(yè)知識或測度的難易程度決定。,14.3.6 變量聚類實例2 P368,有10個測試項目，分別用變量X1-X10表示，50名學(xué)生參加測試。想從10個變量中選

12、擇幾個典型指標(biāo)。data14-03 AnalyzeClassify Hierarchical Cluster: Variables: X1-X10 Cluster：Variable, R聚類 Method： Cluster Method ：Furthest Neighbor Measure-Interval：Pearson Correlation Plots: Dendrogram 樹型圖 Statistics：Proximity matrix相關(guān)矩陣 比較有用的結(jié)果：可以從樹型圖中看出聚類過程。具體聚為幾類最為合理，根據(jù)專業(yè)知識來定。而每類中的典型指標(biāo)的選擇，可用p370的相關(guān)指數(shù)公式的計算

13、，然后比較類中各個變量間的相關(guān)指數(shù)，哪個大，就選哪個變量作為此類的代表變量。,14.4 判別分析P374,判別分析的概念：是根據(jù)觀測到的若干變量值，判斷研究對象如何分類的方法。 要先建立判別函數(shù) Y=a1x1+a2x2+.anxn，其中:Y為判別分?jǐn)?shù)(判別值)，x1 x2.xn為反映研究對象特征的變量，a1 a2.an為系數(shù) SPSS對于分為m類的研究對象，建立m個線性判別函數(shù)。對于每個個體進行判別時，把觀測量的各變量值代入判別函數(shù)，得出判別分?jǐn)?shù)，從而確定該個體屬于哪一類，或計算屬于各類的概率，從而判別該個體屬于哪一類。還建立標(biāo)準(zhǔn)化和未標(biāo)準(zhǔn)化的典則判別函數(shù)。 具體見下面吳喜之教授有關(guān)判別分析的

14、講義,補充：聚類分析與判別分析,以下的講義是吳喜之教授有關(guān)聚類分析與判別分析的講義，我覺得比書上講得清楚。 先是聚類分析一章 再是判別分析一章,聚類分析,分類,俗語說，物以類聚、人以群分。 但什么是分類的根據(jù)呢？ 比如，要想把中國的縣分成若干類，就有很多種分類法； 可以按照自然條件來分， 比如考慮降水、土地、日照、濕度等各方面； 也可以考慮收入、教育水準(zhǔn)、醫(yī)療條件、基礎(chǔ)設(shè)施等指標(biāo)； 既可以用某一項來分類，也可以同時考慮多項指標(biāo)來分類。,聚類分析,對于一個數(shù)據(jù)，人們既可以對變量（指標(biāo)）進行分類(相當(dāng)于對數(shù)據(jù)中的列分類)，也可以對觀測值（事件，樣品）來分類（相當(dāng)于對數(shù)據(jù)中的行分類）。 比如學(xué)生成績

15、數(shù)據(jù)就可以對學(xué)生按照理科或文科成績（或者綜合考慮各科成績）分類， 當(dāng)然，并不一定事先假定有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。 本章要介紹的分類的方法稱為聚類分析（cluster analysis）。對變量的聚類稱為R型聚類，而對觀測值聚類稱為Q型聚類。這兩種聚類在數(shù)學(xué)上是對稱的，沒有什么不同。,飲料數(shù)據(jù)（drink.sav ）,16種飲料的熱量、咖啡因、鈉及價格四種變量,如何度量遠(yuǎn)近？,如果想要對100個學(xué)生進行分類，如果僅僅知道他們的數(shù)學(xué)成績，則只好按照數(shù)學(xué)成績來分類；這些成績在直線上形成100個點。這樣就可以把接近的點放到一類。 如果還知道他們的物理成績，這樣數(shù)學(xué)和物理成績就形成二

16、維平面上的100個點，也可以按照距離遠(yuǎn)近來分類。 三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數(shù)據(jù)中，每種飲料都有四個變量值。這就是四維空間點的問題了。,兩個距離概念,按照遠(yuǎn)近程度來聚類需要明確兩個概念：一個是點和點之間的距離，一個是類和類之間的距離。 點間距離有很多定義方式。最簡單的是歐氏距離，還有其他的距離。 當(dāng)然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點越相似度越大，就相當(dāng)于距離越短。 由一個點組成的類是最基本的類；如果每一類都由一個點組成，那么點間的距離就是類間距離。但是如果某一類包含不止一個點，那么就要確定類間距離， 類間距離是基于點間

17、距離定義的：比如兩類之間最近點之間的距離可以作為這兩類之間的距離，也可以用兩類中最遠(yuǎn)點之間的距離作為這兩類之間的距離；當(dāng)然也可以用各類的中心之間的距離來作為類間距離。在計算時，各種點間距離和類間距離的選擇是通過統(tǒng)計軟件的選項實現(xiàn)的。不同的選擇的結(jié)果會不同，但一般不會差太多。,向量x=(x1, xp)與y=(y1, yp)之間的距離或相似系數(shù):,歐氏距離: Euclidean,平方歐氏距離: Squared Euclidean,夾角余弦(相似系數(shù)1) : cosine,Pearson correlation (相似系數(shù)2):,Chebychev: Maxi|xi-yi|,Block(絕對距離):

18、 Si|xi-yi|,Minkowski:,當(dāng)變量的測量值相差懸殊時,要先進行標(biāo)準(zhǔn)化. 如R為極差, s 為標(biāo)準(zhǔn)差, 則標(biāo)準(zhǔn)化的數(shù)據(jù)為每個觀測值減去均值后再除以R或s. 當(dāng)觀測值大于0時, 有人采用Lance和Williams的距離,類Gp與類Gq之間的距離Dpq(d(xi,xj)表示點xi Gp和xj Gq之間的距離),最短距離法:,最長距離法:,重心法:,離差平方和: (Wald),類平均法:,(中間距離, 可變平均法,可變法等可參考各書). 在用歐氏距離時, 有統(tǒng)一的遞推公式 (假設(shè)Gr是從Gp和Gq合并而來):,Lance和Williams給出(對歐氏距離)統(tǒng)一遞推公式: D2(k,r

19、)=apD2(k,p)+aqD2(k,q)+bD2(p,q) +g|D2(k,p)-D2(k,q)| 前面方法的遞推公式可選擇參數(shù)而得: 方法ai (i=p,q) b g 最短距離 0-1/2 最長距離 01/2 重心 ni/nr -apaq 0 類平均 ni/nr 0 0 離差平方和(ni+nk)/ (nr+nk) -nk/ (nr+nk) 0 中間距離 1/2 -1/4 0 可變法 (1-b)/2 b(1) 0 可變平均 (1- b) ni/nr b(1) 0,有了上面的點間距離和類間距離的概念，就可以介紹聚類的方法了。這里介紹兩個簡單的方法。,事先要確定分多少類：k-均值聚類,前面說過，

20、聚類可以走著瞧，不一定事先確定有多少類；但是這里的k-均值聚類（k-means cluster，也叫快速聚類，quick cluster）卻要求你先說好要分多少類。看起來有些主觀，是吧！ 假定你說分3類，這個方法還進一步要求你事先確定3個點為“聚類種子”(SPSS軟件自動為你選種子)；也就是說，把這3個點作為三類中每一類的基石。 然后，根據(jù)和這三個點的距離遠(yuǎn)近，把所有點分成三類。再把這三類的中心（均值）作為新的基石或種子（原來的“種子”就沒用了），重新按照距離分類。 如此疊代下去，直到達(dá)到停止疊代的要求（比如，各類最后變化不大了，或者疊代次數(shù)太多了）。顯然，前面的聚類種子的選擇并不必太認(rèn)真，它

21、們很可能最后還會分到同一類中呢。下面用飲料例的數(shù)據(jù)來做k-均值聚類。,假定要把這16種飲料分成3類。利用SPSS，只疊代了三次就達(dá)到目標(biāo)了（計算機選的種子還可以）。這樣就可以得到最后的三類的中心以及每類有多少點,根據(jù)需要，可以輸出哪些點分在一起。結(jié)果是：第一類為飲料1、10；第二類為飲料2、4、8、11、12、13、14；第三類為剩下的飲料3、5、6、7、9、15、16。,SPSS實現(xiàn)(聚類分析),K-均值聚類 以數(shù)據(jù)drink.sav為例，在SPSS中選擇AnalyzeClassifyK-Menas Cluster， 然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉

22、）、price（價格）選入Variables, 在Number of Clusters處選擇3（想要分的類數(shù)）， 如果想要知道哪種飲料分到哪類，則選Save，再選Cluster Membership等。 注意k-均值聚類只能做Q型聚類，如要做R型聚類，需要把數(shù)據(jù)陣進行轉(zhuǎn)置。,事先不用確定分多少類：分層聚類,另一種聚類稱為分層聚類或系統(tǒng)聚類（hierarchical cluster）。開始時，有多少點就是多少類。 它第一步先把最近的兩類（點）合并成一類，然后再把剩下的最近的兩類合并成一類； 這樣下去，每次都少一類，直到最后只有一大類為止。顯然，越是后來合并的類，距離就越遠(yuǎn)。再對飲料例子來實施分層

23、聚類。,對于我們的數(shù)據(jù)，SPSS輸出的樹型圖為,聚類要注意的問題,聚類結(jié)果主要受所選擇的變量影響。如果去掉一些變量，或者增加一些變量，結(jié)果會很不同。 相比之下，聚類方法的選擇則不那么重要了。因此，聚類之前一定要目標(biāo)明確。 另外就分成多少類來說，也要有道理。只要你高興，從分層聚類的計算機結(jié)果可以得到任何可能數(shù)量的類。但是，聚類的目的是要使各類距離盡可能的遠(yuǎn)，而類中點的距離盡可能的近，而且分類結(jié)果還要有令人信服的解釋。這一點就不是數(shù)學(xué)可以解決的了。,SPSS實現(xiàn)(聚類分析),分層聚類 對drink.sav數(shù)據(jù)在SPSS中選擇AnalyzeClassifyHierarchical Cluster,

24、然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價格）選入Variables, 在Cluster選Cases（這是Q型聚類：對觀測值聚類），如果要對變量聚類（R型聚類）則選Variables, 為了畫出樹狀圖，選Plots，再點Dendrogram等。,啤酒成分和價格數(shù)據(jù)（data14-02),啤酒名熱量鈉含量酒精價格 Budweiser 144.00 19.00 4.70 .43 Schlitz 181.00 19.00 4.90 .43 Ionenbrau 157.00 15.00 4.90 .48 Kronensourc 170.00 7.00

25、5.20 .73 Heineken 152.00 11.00 5.00 .77 Old-milnaukee145.00 23.00 4.60 .26 Aucsberger 175.00 24.00 5.50 .40 Strchs-bohemi149.00 27.00 4.70 .42 Miller-lite 99.00 10.00 4.30 .43 Sudeiser-lich113.00 6.00 3.70 .44 Coors 140.00 16.00 4.60 .44 Coorslicht 102.00 15.00 4.10 .46 Michelos-lich135.00 11.00 4.2

26、0 .50 Secrs 150.00 19.00 4.70 .76 Kkirin 149.00 6.00 5.00 .79 Pabst-extra-l 68.00 15.00 2.30 .36 Hamms 136.00 19.00 4.40 .43 Heilemans-old144.00 24.00 4.90 .43 Olympia-gold- 72.00 6.00 2.90 .46 Schlite-light 97.00 7.00 4.20 .47,StatisticsClassify Hierarchical Cluster: Variables:啤酒名和成分價格等 Cluster(Cas

27、e, Q型聚類) Display: (Statistics)(Agglomeration Schedule凝聚狀態(tài)表), (Proximity matrix), Cluster membership(Single solution, 4) Method: Cluster (Furthest Neighbor), Measure-Interval (Squared Euclidean distance), Transform Value (Range 0-1/By variable (值-最小值)/極差) Plots: (Dendrogram) Icicle(Specified range of

28、 cluster, Start-1,Stop-4, by-1), Orientation (Vertical) Save: Cluster Membership(Single solution 4),啤酒例子,下表(Proximity matrix)中行列交叉點為兩種啤酒之間各變量的歐氏距離平方和,凝聚過程:Coefficients為不相似系數(shù),由于是歐氏距離,小的先合并.,分為四類的聚類結(jié)果,冰柱圖(icicle),聚類樹型圖,學(xué)生測驗數(shù)據(jù)（data14-03) 50個學(xué)生，X1-X10個測驗項目 要對這10個變量進行變量聚類（ R 型聚類），過程和Q型聚類（觀測量聚類，對cases)一樣,

29、StatisticsClassify Hierarchical Cluster: Variables:x1-x10 Cluster(Variable, R型聚類) Display: (Statistics) (Proximity matrix), Cluster membership(Single solution, 2) Method: Cluster (Furthest Neighbor), Measure-Interval (Pearson correlation，用Pearson相關(guān)系數(shù)), Plots: Icicle(All Cluster),學(xué)生測驗例子,下表(Proximity

30、matrix)中行列交叉點為兩個變量之間變量的歐氏距離平方和,分為兩類的聚類結(jié)果,冰柱圖(icicle),判別分析,判別,有一些昆蟲的性別很難看出，只有通過解剖才能夠判別； 但是雄性和雌性昆蟲在若干體表度量上有些綜合的差異。于是統(tǒng)計學(xué)家就根據(jù)已知雌雄的昆蟲體表度量（這些用作度量的變量亦稱為預(yù)測變量）得到一個標(biāo)準(zhǔn)，并且利用這個標(biāo)準(zhǔn)來判別其他未知性別的昆蟲。 這樣的判別雖然不能保證百分之百準(zhǔn)確，但至少大部分判別都是對的，而且用不著殺死昆蟲來進行判別了。,判別分析(discriminant analysis),這就是本章要講的是判別分析。 判別分析和前面的聚類分析有什么不同呢？ 主要不同點就是，在聚

31、類分析中一般人們事先并不知道或一定要明確應(yīng)該分成幾類，完全根據(jù)數(shù)據(jù)來確定。 而在判別分析中，至少有一個已經(jīng)明確知道類別的“訓(xùn)練樣本”，利用這個數(shù)據(jù)，就可以建立判別準(zhǔn)則，并通過預(yù)測變量來為未知類別的觀測值進行判別了。,判別分析例子,數(shù)據(jù)disc.sav:企圖用一套打分體系來描繪企業(yè)的狀況。該體系對每個企業(yè)的一些指標(biāo)（變量）進行評分。 這些指標(biāo)包括：企業(yè)規(guī)模(is)、服務(wù)(se)、雇員工資比例(sa)、利潤增長(prr)、市場份額(ms)、市場份額增長(msr)、流動資金比例(cp)、資金周轉(zhuǎn)速度(cs)等等。 另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。 我們希望根據(jù)這些企業(yè)

32、的上述變量的打分和它們已知的類別（三個類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降）找出一個分類標(biāo)準(zhǔn)，以對沒有被該刊物分類的企業(yè)進行分類。 該數(shù)據(jù)有90個企業(yè)（90個觀測值），其中30個屬于上升型，30個屬于穩(wěn)定型，30個屬于下降型。這個數(shù)據(jù)就是一個“訓(xùn)練樣本”。,Disc.sav數(shù)據(jù),根據(jù)距離的判別（不用投影）,Disc.sav數(shù)據(jù)有8個用來建立判別標(biāo)準(zhǔn)(或判別函數(shù))的（預(yù)測）變量，另一個（group）是類別。 因此每一個企業(yè)的打分在這8個變量所構(gòu)成的8維空間中是一個點。這個數(shù)據(jù)有90個點， 由于已經(jīng)知道所有點的類別了，所以可以求得每個類型的中心。這樣只要

33、定義了如何計算距離，就可以得到任何給定的點（企業(yè)）到這三個中心的三個距離。 顯然，最簡單的辦法就是離哪個中心距離最近，就屬于哪一類。通常使用的距離是所謂的Mahalanobis距離。用來比較到各個中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù)(discriminant function).這種根據(jù)遠(yuǎn)近判別的方法，原理簡單，直觀易懂。,Fisher判別法(先進行投影),所謂Fisher判別法，就是一種先投影的方法。 考慮只有兩個（預(yù)測）變量的判別分析問題。 假定這里只有兩類。數(shù)據(jù)中的每個觀測值是二維空間的一個點。見圖（下一張幻燈片）。 這里只有兩種已知類型的訓(xùn)練樣本。其中一類有38個點（用“o”表示），另一類有

34、44個點（用“*”表示）。按照原來的變量（橫坐標(biāo)和縱坐標(biāo)），很難將這兩種點分開。 于是就尋找一個方向，也就是圖上的虛線方向，沿著這個方向朝和這個虛線垂直的一條直線進行投影會使得這兩類分得最清楚。可以看出，如果向其他方向投影，判別效果不會比這個好。 有了投影之后，再用前面講到的距離遠(yuǎn)近的方法來得到判別準(zhǔn)則。這種首先進行投影的判別方法就是Fisher判別法。,逐步判別法(僅僅是在前面的方法中加入變量選擇的功能),有時，一些變量對于判別并沒有什么作用，為了得到對判別最合適的變量，可以使用逐步判別。也就是，一邊判別，一邊引進判別能力最強的變量， 這個過程可以有進有出。一個變量的判別能力的判斷方法有很多

35、種，主要利用各種檢驗，例如Wilks Lambda、Raos V、The Squared Mahalanobis Distance、Smallest F ratio或The Sum of Unexplained Variations等檢驗。其細(xì)節(jié)這里就不贅述了；這些不同方法可由統(tǒng)計軟件的各種選項來實現(xiàn)。逐步判別的其他方面和前面的無異。,Disc.sav例子,利用SPSS軟件的逐步判別法淘汰了不顯著的流動資金比例(cp)，還剩下七個變量is，se，sa，prr，ms，msr，cs，得到兩個典則判別函數(shù)（Canonical Discriminant Function Coefficients）：

36、0.035IS+3.283SE+0.037SA-0.007PRR+0.068MS-0.023MSR-0.385CS-3.166 0.005IS+0.567SE+0.041SA+0.012PRR+0.048MS+0.044MSR-0.159CS-4.384,這兩個函數(shù)實際上是由Fisher判別法得到的向兩個方向的投影。這兩個典則判別函數(shù)的系數(shù)是下面的SPSS輸出得到的：,Disc.sav例子,根據(jù)這兩個函數(shù)，從任何一個觀測值（每個觀測值都有7個變量值）都可以算出兩個數(shù)。把這兩個數(shù)目當(dāng)成該觀測值的坐標(biāo)，這樣數(shù)據(jù)中的150個觀測值就是二維平面上的150個點。它們的點圖在下面圖中。,Disc.sav例

37、子,從上圖可以看出，第一個投影（相應(yīng)于來自于第一個典則判別函數(shù)橫坐標(biāo)值）已經(jīng)能夠很好地分辨出三個企業(yè)類型了。這兩個典則判別函數(shù)并不是平等的。其實一個函數(shù)就已經(jīng)能夠把這三類分清楚了。SPSS的一個輸出就給出了這些判別函數(shù)（投影）的重要程度：,前面說過，投影的重要性是和特征值的貢獻(xiàn)率有關(guān)。該表說明第一個函數(shù)的貢獻(xiàn)率已經(jīng)是99%了，而第二個只有1%。當(dāng)然，二維圖要容易看一些。投影之后，再根據(jù)各點的位置遠(yuǎn)近算出具體的判別公式（SPSS輸出）：,Disc.sav例子,具體的判別公式（SPSS輸出），由一張分類函數(shù)表給出：,該表給出了三個線性分類函數(shù)的系數(shù)。把每個觀測點帶入三個函數(shù)，就可以得到分別代表三類

38、的三個值，哪個值最大，該點就屬于相應(yīng)的那一類。當(dāng)然，用不著自己去算，計算機軟件的選項可以把這些訓(xùn)練數(shù)據(jù)的每一個點按照這里的分類法分到某一類。當(dāng)然，我們一開始就知道這些訓(xùn)練數(shù)據(jù)的各個觀測值的歸屬，但即使是這些訓(xùn)練樣本的觀測值（企業(yè)）按照這里推導(dǎo)出的分類函數(shù)來分類，也不一定全都能夠正確劃分。,Disc.sav例子,下面就是對我們的訓(xùn)練樣本的分類結(jié)果（SPSS）：,誤判和正確判別率,從這個表來看，我們的分類能夠100%地把訓(xùn)練數(shù)據(jù)的每一個觀測值分到其本來的類。 該表分成兩部分；上面一半（Original）是用從全部數(shù)據(jù)得到的判別函數(shù)來判斷每一個點的結(jié)果（前面三行為判斷結(jié)果的數(shù)目，而后三行為相應(yīng)的百分

39、比）。 下面一半（Cross validated）是對每一個觀測值，都用缺少該觀測的全部數(shù)據(jù)得到的判別函數(shù)來判斷的結(jié)果。 這里的判別結(jié)果是100%判別正確，但一般并不一定。,Disc.sav例子,如果就用這個數(shù)據(jù)，但不用所有的變量，而只用4個變量進行判別：企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、資金周轉(zhuǎn)速度(cs)。結(jié)果的圖形和判別的正確與否就不一樣了。下圖為兩個典則判別函數(shù)導(dǎo)出的150個企業(yè)的二維點圖。它不如前面的圖那么容易分清楚了,原先的圖,Disc.sav例子,下面是基于4個變量時分類結(jié)果表：,這個表的結(jié)果是有87個點（96.7%）得到正確劃分，有3個點被錯誤判別；其中第二

40、類有兩個被誤判為第一類，有一個被誤判為第三類。,判別分析要注意什么？,訓(xùn)練樣本中必須有所有要判別的類型，分類必須清楚，不能有混雜。 要選擇好可能由于判別的預(yù)測變量。這是最重要的一步。當(dāng)然，在應(yīng)用中，選擇的余地不見得有多大。 要注意數(shù)據(jù)是否有不尋常的點或者模式存在。還要看預(yù)測變量中是否有些不適宜的；這可以用單變量方差分析（ANOVA）和相關(guān)分析來驗證。 判別分析是為了正確地分類，但同時也要注意使用盡可能少的預(yù)測變量來達(dá)到這個目的。使用較少的變量意味著節(jié)省資源和易于對結(jié)果進行解釋。,判別分析要注意什么？,在計算中需要看關(guān)于各個類的有關(guān)變量的均值是否顯著不同的檢驗結(jié)果（在SPSS選項中選擇Wilks

41、 Lambda、Raos V、The Squared Mahalanobis Distance或The Sum of Unexplained Variations等檢驗的計算機輸出），以確定是否分類結(jié)果是僅僅由于隨機因素。 此外成員的權(quán)數(shù)（SPSS用prior probability，即“先驗概率”，和貝葉斯統(tǒng)計的先驗概率有區(qū)別）需要考慮；一般來說，加權(quán)要按照各類觀測值的多少，觀測值少的就要按照比例多加權(quán)。 對于多個判別函數(shù)，要弄清各自的重要性。 注意訓(xùn)練樣本的正確和錯誤分類率。研究被誤分類的觀測值，看是否可以找出原因。,SPSS選項,打開disc.sav數(shù)據(jù)。然后點擊AnalyzeClass

42、ifyDiscriminant， 把group放入Grouping Variable，再定義范圍，即在Define Range輸入13的范圍。然后在Independents輸入所有想用的變量；但如果要用逐步判別，則不選Enter independents together，而選擇Use stepwise method， 在方法（Method）中選挑選變量的準(zhǔn)則（檢驗方法；默認(rèn)值為Wilks Lambda）。 為了輸出Fisher分類函數(shù)的結(jié)果可以在Statistics中的Function Coefficient選 Fisher和UnStandardized（點則判別函數(shù)系數(shù)） ，在Matric

43、es中選擇輸出所需要的相關(guān)陣； 還可以在Classify中的Display選summary table, Leave-one-out classification；注意在Classify選項中默認(rèn)的Prior Probability為All groups equal表示所有的類都平等對待，而另一個選項為Compute from group sizes，即按照類的大小加權(quán)。 在Plots可選 Combined-groups, Territorial map等。,14.4.3 判別分析實例P379,鳶尾花數(shù)據(jù)(花瓣,花萼的長寬) 5個變量:花瓣長(slen),花瓣寬(swid), 花萼長(plen

44、), 花萼寬(pwid), 分類號(1:Setosa, 2:Versicolor, 3:Virginica)(data14-04),StatisticsClassify Discriminant: Variables: independent (slen,swid,plen,pwid) Grouping(spno) Define range(min-1,max-3) Classify: prior probability(All group equal) use covariance matrix (Within-groups) Plots (Combined-groups, Separate

45、-groups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fishers, Unstandardized) Matrix (Within-groups correlation, Within-groups covariance, Separate-groups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probabi

46、lity of group membership),鳶尾花數(shù)據(jù)(數(shù)據(jù)分析過程簡明表),鳶尾花數(shù)據(jù)(原始數(shù)據(jù)的描述),鳶尾花數(shù)據(jù)(合并類內(nèi)相關(guān)陣和協(xié)方差陣),鳶尾花數(shù)據(jù)(總協(xié)方差陣),鳶尾花數(shù)據(jù)(特征值表)Eigenvalue:用于分析的前兩個典則判別函數(shù)的特征值, 是組間平方和與組內(nèi)平方和之比值. 最大特征值與組均值最大的向量對應(yīng), 第二大特征值對應(yīng)著次大的組均值向量典則相關(guān)系數(shù)(canonical correlation):是組間平方和與總平方和之比的平方根.被平方的是由組間差異解釋的變異總和的比.,鳶尾花數(shù)據(jù)(Wilks Lambda統(tǒng)計量)檢驗的零假設(shè)是各組變量均值相等. Lambda接

47、近0表示組均值不同,接近1表示組均值沒有不同. Chi-square是lambda的卡方轉(zhuǎn)換, 用于確定其顯著性.,鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),標(biāo)準(zhǔn)化的典則判別函數(shù)系數(shù)(使用時必須用標(biāo)準(zhǔn)化的自變量),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),典則判別函數(shù)系數(shù),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出)這是類均值(重心)處的典則判別函數(shù)值,這是典則判別函數(shù)(前面兩個函數(shù))在類均值(重心)處的值,鳶尾花數(shù)據(jù)(用判別函數(shù)對觀測量分類結(jié)果),先驗概率(沒有給),費歇判別函數(shù)系數(shù) 把自變量代入三個式子,哪個大歸誰.,Territorial Map Canonical Discriminant Function 2

48、-12.0 -8.0 -4.0 .0 4.0 8.0 12.0 趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌 12.0 12 23 12 23 12 23 12 23 12 23 12 23 8.0 12 23 12 23 12 23 12 23 12 23 12 23 4.0 12 23 12 23 12 23 12 23 12 23 12 23 * .0 * 12 23 12 * 23 12 23 12 23 12 23 12 23 -4.0 12 23 12 23 12 23 12 23 12 23 12 23 -8.0 12 23 12 23 12 23 12 23 1

49、2 23 12 23 -12.0 12 23 趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌 -12.0 -8.0 -4.0 .0 4.0 8.0 12.0 Canonical Discriminant Function 1 Symbols used in territorial map Symbol Group Label - - - 1 1 剛毛鳶尾花 2 2 變色鳶尾花 3 3 佛吉尼亞鳶尾花 * Indicates a group centroid,鳶尾花數(shù)據(jù) Territory Map(區(qū)域圖) Canonical Discriminate Function 1 Versus Canonical Discriminate Function 2 三種鳶尾花的典則變量值把一個典則變量組成的坐標(biāo)平面分成三個區(qū)域. *為中心坐標(biāo).,鳶尾花數(shù)據(jù)(預(yù)測分類結(jié)果小結(jié)),可以看出分錯率,