《聚類判別分析》PPT課件

第14章 聚類分析與判別分析,介紹： 1、聚類分析 2、判別分析 分類學(xué)是人類認(rèn)識(shí)世界的基礎(chǔ)科學(xué)。聚類分析和判別分析是研究事物分類的基本方法，廣泛地應(yīng)用于自然科學(xué)、社會(huì)科學(xué)、工農(nóng)業(yè)生產(chǎn)的各個(gè)領(lǐng)域。,14.1.1 聚類分析,根據(jù)事物本身的特性研究個(gè)體分類的方法，原則是同一類中的個(gè)體有較大的相似性，不同類中的個(gè)體差異很大。 根據(jù)分類對(duì)象的不同，分為樣品（觀測(cè)量）聚類和變量聚類兩種： 樣品聚類：對(duì)觀測(cè)量(Case)進(jìn)行聚類（不同的目的選用不同的指標(biāo)作為分類的依據(jù)，如選拔運(yùn)動(dòng)員與分課外活動(dòng)小組） 變量聚類：找出彼此獨(dú)立且有代表性的自變量，而又不丟失大部分信息。在生產(chǎn)活動(dòng)中不乏有變量聚類的實(shí)例，如：衣服號(hào)碼（身長(zhǎng)、胸圍、褲長(zhǎng)、腰圍）、鞋的號(hào)碼。變量聚類使批量生產(chǎn)成為可能。,14.1.2 判別分析,判別分析是根據(jù)表明事物特點(diǎn)的變量值和它們所屬的類，求出判別函數(shù)。根據(jù)判別函數(shù)對(duì)未知所屬類別的事物進(jìn)行分類的一種分析方法。 在自然科學(xué)和社會(huì)科學(xué)的各個(gè)領(lǐng)域經(jīng)常遇到需要對(duì)某個(gè)個(gè)體屬于哪一類進(jìn)行判斷。如動(dòng)物學(xué)家對(duì)動(dòng)物如何分類的研究和某個(gè)動(dòng)物屬于哪一類、目、綱的判斷。 不同：判別分析和聚類分析的不同在于判別分析要求已知一系列反映事物特征的數(shù)值變量的值，并且已知各個(gè)體的分類（訓(xùn)練樣本）。,14.1.3 聚類分析與判別分析的SPSS過程,在AnalyzeClassify下： K-Means Cluster： 觀測(cè)量快速聚類分析過程 Hierarchical Cluster：分層聚類（進(jìn)行觀測(cè)量聚類和變量聚類的過程 Discriminant：進(jìn)行判別分析的過程,14.2 快速樣本聚類過程(Quick Cluster),使用 k 均值分類法對(duì)觀測(cè)量進(jìn)行聚類 可使用系統(tǒng)的默認(rèn)選項(xiàng)或自己設(shè)置選項(xiàng)，如分為幾類、指定初始類中心、是否將聚類結(jié)果或中間數(shù)據(jù)數(shù)據(jù)存入數(shù)據(jù)文件等。 快速聚類實(shí)例(P342，data14-01a):使用系統(tǒng)的默認(rèn)值進(jìn)行：對(duì)運(yùn)動(dòng)員的分類（分為4類） AnalyzeClassifyK-Means Cluster Variables: x1,x2,x3 Label Case By: no Number of Cluster: 4 比較有用的結(jié)果：聚類結(jié)果形成的最后四類中心點(diǎn)(Final Cluster Centers) 和每類的觀測(cè)量數(shù)目（Number of Cases in each Cluster） 但不知每個(gè)運(yùn)動(dòng)員究竟屬于哪一類？這就要用到Save選項(xiàng),14.2 快速樣本聚類過程(Quick Cluster)中的選項(xiàng),使用快速聚類的選擇項(xiàng)： 類中心數(shù)據(jù)的輸入與輸出：Centers選項(xiàng) 輸出數(shù)據(jù)選擇項(xiàng)：Save選項(xiàng) 聚類方法選擇項(xiàng)：Method選項(xiàng) 聚類何時(shí)停止選擇項(xiàng)：Iterate選項(xiàng) 輸出統(tǒng)計(jì)量選擇項(xiàng)：Option選項(xiàng),14.2 指定初始類中心的聚類方法例題P343,數(shù)據(jù)同上（data14-01a）：以四個(gè)四類成績(jī)突出者的數(shù)據(jù)為初始聚類中心(種子)進(jìn)行聚類。類中心數(shù)據(jù)文件data14-01b（但缺一列Cluster_，不能直接使用，要修改）。對(duì)運(yùn)動(dòng)員的分類（還是分為4類） AnalyzeClassifyK-Means Cluster Variables: x1,x2,x3 Label Case By: no Number of Cluster: 4 Center: Read initial from: data14-01b Save: Cluster membership和Distance from Cluster Center 比較有用的結(jié)果（可將結(jié)果與前面沒有初始類中心比較）： 聚類結(jié)果形成的最后四類中心點(diǎn)(Final Cluster Centers) 每類的觀測(cè)量數(shù)目（Number of Cases in each Cluster） 在數(shù)據(jù)文件中的兩個(gè)新變量qc1_1（每個(gè)觀測(cè)量最終被分配到哪一類）和 qc1_2（觀測(cè)量與所屬類中心點(diǎn)的距離）,14.3 分層聚類(Hierarchical Cluster),分層聚類方法： 分解法:先視為一大類，再分成幾類 凝聚法:先視每個(gè)為一類,再合并為幾大類 可用于觀測(cè)量(樣本)聚類(Q型)和變量聚類(R型) 一般分為兩步（自動(dòng),可從Paste的語句知道,P359）： Proximities：先對(duì)數(shù)據(jù)進(jìn)行的預(yù)處理(標(biāo)準(zhǔn)化和計(jì)算距離等) Cluster：然后進(jìn)行聚類分析 兩種統(tǒng)計(jì)圖：樹形圖(Dendrogram)和冰柱圖(Icicle) 各類型數(shù)據(jù)的標(biāo)準(zhǔn)化、距離和相似性計(jì)算P348-354 定距變量、分類變量、二值變量 標(biāo)準(zhǔn)化方法p353：Z Scores、Range -1 to 1、 Range 0 to 1等,14.3.4 用分層聚類法進(jìn)行觀測(cè)量聚類實(shí)例P358,對(duì)20種啤酒進(jìn)行分類(data14-02)，變量包括：Beername(啤酒名稱)、calorie(熱量)、sodium(鈉含量)、alcohol(酒精含量)、 cost(價(jià)格) AnalyzeClassify Hierarchical Cluster: Variables: calorie,sodium,alcohol, cost 成分和價(jià)格 Label Case By: Beername Cluster：Case, Q聚類 Display: 選中Statistics，單擊Statistics Agglomeration Schedule 凝聚狀態(tài)表 Proximity matrix：距離矩陣 Cluster membership：Single solution：4 顯示分為4類時(shí)，各觀測(cè)量所屬的類 Method: Cluster (Furthest Neighbor), Measure-Interval (Squared Euclidean distance), Transform Value (Range 0-1/By variable (值-最小值)/極差) Plots: (Dendrogram) Icicle(Specified range of cluster, Start-1,Stop-4, by-1), Orientation (Vertical縱向作圖) Save: Cluster Membership(Single solution 4) 比較有用的結(jié)果：根據(jù)需要進(jìn)行分類，在數(shù)據(jù)文件中的分類新變量clu4_1等,14.3.5 用分層聚類法進(jìn)行變量聚類,變量聚類，是一種降維的方法，用于在變量眾多時(shí)尋找有代表性的變量，以便在用少量、有代表性的變量代替大變量集時(shí)，損失信息很少。 與進(jìn)行觀測(cè)量聚類雷同，不同點(diǎn)在于： 選擇Variable而非Case Save選項(xiàng)失效，不建立的新變量,14.3.6 變量聚類實(shí)例1 P366,上面啤酒分類問題data14-02。 AnalyzeClassify Hierarchical Cluster: Variables: calorie,sodium,alcohol, cost 成分和價(jià)格 Cluster：Variable, R聚類 Method： Cluster Method ：Furthest Neighbor Measure-Interval：Pearson Correlation Transform Values：Z Score （By Variable） Plots: Dendrogram 樹型圖 Statistics：Proximity matrix：相關(guān)矩陣 比較有用的結(jié)果：根據(jù)相關(guān)矩陣和樹型圖，可知calorie(熱量)和alcohol(酒精含量)的相關(guān)系數(shù)最大，首先聚為一類。從整體上看，聚為三類是比較好的結(jié)果。至于熱量和酒精含量選擇哪個(gè)作為典型指標(biāo)代替原來的兩個(gè)變量，可以根據(jù)專業(yè)知識(shí)或測(cè)度的難易程度決定。,14.3.6 變量聚類實(shí)例2 P368,有10個(gè)測(cè)試項(xiàng)目，分別用變量X1-X10表示，50名學(xué)生參加測(cè)試。想從10個(gè)變量中選擇幾個(gè)典型指標(biāo)。data14-03 AnalyzeClassify Hierarchical Cluster: Variables: X1-X10 Cluster：Variable, R聚類 Method： Cluster Method ：Furthest Neighbor Measure-Interval：Pearson Correlation Plots: Dendrogram 樹型圖 Statistics：Proximity matrix相關(guān)矩陣 比較有用的結(jié)果：可以從樹型圖中看出聚類過程。具體聚為幾類最為合理，根據(jù)專業(yè)知識(shí)來定。而每類中的典型指標(biāo)的選擇，可用p370的相關(guān)指數(shù)公式的計(jì)算，然后比較類中各個(gè)變量間的相關(guān)指數(shù)，哪個(gè)大，就選哪個(gè)變量作為此類的代表變量。,14.4 判別分析P374,判別分析的概念：是根據(jù)觀測(cè)到的若干變量值，判斷研究對(duì)象如何分類的方法。 要先建立判別函數(shù) Y=a1x1+a2x2+.anxn，其中:Y為判別分?jǐn)?shù)(判別值)，x1 x2.xn為反映研究對(duì)象特征的變量，a1 a2.an為系數(shù) SPSS對(duì)于分為m類的研究對(duì)象，建立m個(gè)線性判別函數(shù)。對(duì)于每個(gè)個(gè)體進(jìn)行判別時(shí)，把觀測(cè)量的各變量值代入判別函數(shù)，得出判別分?jǐn)?shù)，從而確定該個(gè)體屬于哪一類，或計(jì)算屬于各類的概率，從而判別該個(gè)體屬于哪一類。還建立標(biāo)準(zhǔn)化和未標(biāo)準(zhǔn)化的典則判別函數(shù)。 具體見下面吳喜之教授有關(guān)判別分析的講義,補(bǔ)充：聚類分析與判別分析,以下的講義是吳喜之教授有關(guān)聚類分析與判別分析的講義，我覺得比書上講得清楚。 先是聚類分析一章 再是判別分析一章,聚類分析,分類,俗語說，物以類聚、人以群分。 但什么是分類的根據(jù)呢？ 比如，要想把中國的縣分成若干類，就有很多種分類法； 可以按照自然條件來分， 比如考慮降水、土地、日照、濕度等各方面； 也可以考慮收入、教育水準(zhǔn)、醫(yī)療條件、基礎(chǔ)設(shè)施等指標(biāo)； 既可以用某一項(xiàng)來分類，也可以同時(shí)考慮多項(xiàng)指標(biāo)來分類。,聚類分析,對(duì)于一個(gè)數(shù)據(jù)，人們既可以對(duì)變量（指標(biāo)）進(jìn)行分類(相當(dāng)于對(duì)數(shù)據(jù)中的列分類)，也可以對(duì)觀測(cè)值（事件，樣品）來分類（相當(dāng)于對(duì)數(shù)據(jù)中的行分類）。 比如學(xué)生成績(jī)數(shù)據(jù)就可以對(duì)學(xué)生按照理科或文科成績(jī)（或者綜合考慮各科成績(jī)）分類， 當(dāng)然，并不一定事先假定有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。 本章要介紹的分類的方法稱為聚類分析（cluster analysis）。對(duì)變量的聚類稱為R型聚類，而對(duì)觀測(cè)值聚類稱為Q型聚類。這兩種聚類在數(shù)學(xué)上是對(duì)稱的，沒有什么不同。,飲料數(shù)據(jù)（drink.sav ）,16種飲料的熱量、咖啡因、鈉及價(jià)格四種變量,如何度量遠(yuǎn)近？,如果想要對(duì)100個(gè)學(xué)生進(jìn)行分類，如果僅僅知道他們的數(shù)學(xué)成績(jī)，則只好按照數(shù)學(xué)成績(jī)來分類；這些成績(jī)?cè)谥本€上形成100個(gè)點(diǎn)。這樣就可以把接近的點(diǎn)放到一類。 如果還知道他們的物理成績(jī)，這樣數(shù)學(xué)和物理成績(jī)就形成二維平面上的100個(gè)點(diǎn)，也可以按照距離遠(yuǎn)近來分類。 三維或者更高維的情況也是類似；只不過三維以上的圖形無法直觀地畫出來而已。在飲料數(shù)據(jù)中，每種飲料都有四個(gè)變量值。這就是四維空間點(diǎn)的問題了。,兩個(gè)距離概念,按照遠(yuǎn)近程度來聚類需要明確兩個(gè)概念：一個(gè)是點(diǎn)和點(diǎn)之間的距離，一個(gè)是類和類之間的距離。 點(diǎn)間距離有很多定義方式。最簡(jiǎn)單的是歐氏距離，還有其他的距離。 當(dāng)然還有一些和距離相反但起同樣作用的概念，比如相似性等，兩點(diǎn)越相似度越大，就相當(dāng)于距離越短。 由一個(gè)點(diǎn)組成的類是最基本的類；如果每一類都由一個(gè)點(diǎn)組成，那么點(diǎn)間的距離就是類間距離。但是如果某一類包含不止一個(gè)點(diǎn)，那么就要確定類間距離， 類間距離是基于點(diǎn)間距離定義的：比如兩類之間最近點(diǎn)之間的距離可以作為這兩類之間的距離，也可以用兩類中最遠(yuǎn)點(diǎn)之間的距離作為這兩類之間的距離；當(dāng)然也可以用各類的中心之間的距離來作為類間距離。在計(jì)算時(shí)，各種點(diǎn)間距離和類間距離的選擇是通過統(tǒng)計(jì)軟件的選項(xiàng)實(shí)現(xiàn)的。不同的選擇的結(jié)果會(huì)不同，但一般不會(huì)差太多。,向量x=(x1, xp)與y=(y1, yp)之間的距離或相似系數(shù):,歐氏距離: Euclidean,平方歐氏距離: Squared Euclidean,夾角余弦(相似系數(shù)1) : cosine,Pearson correlation (相似系數(shù)2):,Chebychev: Maxi|xi-yi|,Block(絕對(duì)距離): Si|xi-yi|,Minkowski:,當(dāng)變量的測(cè)量值相差懸殊時(shí),要先進(jìn)行標(biāo)準(zhǔn)化. 如R為極差, s 為標(biāo)準(zhǔn)差, 則標(biāo)準(zhǔn)化的數(shù)據(jù)為每個(gè)觀測(cè)值減去均值后再除以R或s. 當(dāng)觀測(cè)值大于0時(shí), 有人采用Lance和Williams的距離,類Gp與類Gq之間的距離Dpq(d(xi,xj)表示點(diǎn)xi Gp和xj Gq之間的距離),最短距離法:,最長(zhǎng)距離法:,重心法:,離差平方和: (Wald),類平均法:,(中間距離, 可變平均法,可變法等可參考各書). 在用歐氏距離時(shí), 有統(tǒng)一的遞推公式 (假設(shè)Gr是從Gp和Gq合并而來):,Lance和Williams給出(對(duì)歐氏距離)統(tǒng)一遞推公式: D2(k,r)=apD2(k,p)+aqD2(k,q)+bD2(p,q) +g|D2(k,p)-D2(k,q)| 前面方法的遞推公式可選擇參數(shù)而得: 方法ai (i=p,q) b g 最短距離 0-1/2 最長(zhǎng)距離 01/2 重心 ni/nr -apaq 0 類平均 ni/nr 0 0 離差平方和(ni+nk)/ (nr+nk) -nk/ (nr+nk) 0 中間距離 1/2 -1/4 0 可變法 (1-b)/2 b(<1) 0 可變平均 (1- b) ni/nr b(<1) 0,有了上面的點(diǎn)間距離和類間距離的概念，就可以介紹聚類的方法了。這里介紹兩個(gè)簡(jiǎn)單的方法。,事先要確定分多少類：k-均值聚類,前面說過，聚類可以走著瞧，不一定事先確定有多少類；但是這里的k-均值聚類（k-means cluster，也叫快速聚類，quick cluster）卻要求你先說好要分多少類?？雌饋碛行┲饔^，是吧！ 假定你說分3類，這個(gè)方法還進(jìn)一步要求你事先確定3個(gè)點(diǎn)為“聚類種子”(SPSS軟件自動(dòng)為你選種子)；也就是說，把這3個(gè)點(diǎn)作為三類中每一類的基石。 然后，根據(jù)和這三個(gè)點(diǎn)的距離遠(yuǎn)近，把所有點(diǎn)分成三類。再把這三類的中心（均值）作為新的基石或種子（原來的“種子”就沒用了），重新按照距離分類。 如此疊代下去，直到達(dá)到停止疊代的要求（比如，各類最后變化不大了，或者疊代次數(shù)太多了）。顯然，前面的聚類種子的選擇并不必太認(rèn)真，它們很可能最后還會(huì)分到同一類中呢。下面用飲料例的數(shù)據(jù)來做k-均值聚類。,假定要把這16種飲料分成3類。利用SPSS，只疊代了三次就達(dá)到目標(biāo)了（計(jì)算機(jī)選的種子還可以）。這樣就可以得到最后的三類的中心以及每類有多少點(diǎn),根據(jù)需要，可以輸出哪些點(diǎn)分在一起。結(jié)果是：第一類為飲料1、10；第二類為飲料2、4、8、11、12、13、14；第三類為剩下的飲料3、5、6、7、9、15、16。,SPSS實(shí)現(xiàn)(聚類分析),K-均值聚類 以數(shù)據(jù)drink.sav為例，在SPSS中選擇AnalyzeClassifyK-Menas Cluster， 然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價(jià)格）選入Variables, 在Number of Clusters處選擇3（想要分的類數(shù)）， 如果想要知道哪種飲料分到哪類，則選Save，再選Cluster Membership等。 注意k-均值聚類只能做Q型聚類，如要做R型聚類，需要把數(shù)據(jù)陣進(jìn)行轉(zhuǎn)置。,事先不用確定分多少類：分層聚類,另一種聚類稱為分層聚類或系統(tǒng)聚類（hierarchical cluster）。開始時(shí)，有多少點(diǎn)就是多少類。 它第一步先把最近的兩類（點(diǎn)）合并成一類，然后再把剩下的最近的兩類合并成一類； 這樣下去，每次都少一類，直到最后只有一大類為止。顯然，越是后來合并的類，距離就越遠(yuǎn)。再對(duì)飲料例子來實(shí)施分層聚類。,對(duì)于我們的數(shù)據(jù)，SPSS輸出的樹型圖為,聚類要注意的問題,聚類結(jié)果主要受所選擇的變量影響。如果去掉一些變量，或者增加一些變量，結(jié)果會(huì)很不同。 相比之下，聚類方法的選擇則不那么重要了。因此，聚類之前一定要目標(biāo)明確。 另外就分成多少類來說，也要有道理。只要你高興，從分層聚類的計(jì)算機(jī)結(jié)果可以得到任何可能數(shù)量的類。但是，聚類的目的是要使各類距離盡可能的遠(yuǎn)，而類中點(diǎn)的距離盡可能的近，而且分類結(jié)果還要有令人信服的解釋。這一點(diǎn)就不是數(shù)學(xué)可以解決的了。,SPSS實(shí)現(xiàn)(聚類分析),分層聚類 對(duì)drink.sav數(shù)據(jù)在SPSS中選擇AnalyzeClassifyHierarchical Cluster, 然后把calorie（熱量）、caffeine（咖啡因）、sodium（鈉）、price（價(jià)格）選入Variables, 在Cluster選Cases（這是Q型聚類：對(duì)觀測(cè)值聚類），如果要對(duì)變量聚類（R型聚類）則選Variables, 為了畫出樹狀圖，選Plots，再點(diǎn)Dendrogram等。,啤酒成分和價(jià)格數(shù)據(jù)（data14-02),啤酒名熱量鈉含量酒精價(jià)格 Budweiser 144.00 19.00 4.70 .43 Schlitz 181.00 19.00 4.90 .43 Ionenbrau 157.00 15.00 4.90 .48 Kronensourc 170.00 7.00 5.20 .73 Heineken 152.00 11.00 5.00 .77 Old-milnaukee145.00 23.00 4.60 .26 Aucsberger 175.00 24.00 5.50 .40 Strchs-bohemi149.00 27.00 4.70 .42 Miller-lite 99.00 10.00 4.30 .43 Sudeiser-lich113.00 6.00 3.70 .44 Coors 140.00 16.00 4.60 .44 Coorslicht 102.00 15.00 4.10 .46 Michelos-lich135.00 11.00 4.20 .50 Secrs 150.00 19.00 4.70 .76 Kkirin 149.00 6.00 5.00 .79 Pabst-extra-l 68.00 15.00 2.30 .36 Hamms 136.00 19.00 4.40 .43 Heilemans-old144.00 24.00 4.90 .43 Olympia-gold- 72.00 6.00 2.90 .46 Schlite-light 97.00 7.00 4.20 .47,StatisticsClassify Hierarchical Cluster: Variables:啤酒名和成分價(jià)格等 Cluster(Case, Q型聚類) Display: (Statistics)(Agglomeration Schedule凝聚狀態(tài)表), (Proximity matrix), Cluster membership(Single solution, 4) Method: Cluster (Furthest Neighbor), Measure-Interval (Squared Euclidean distance), Transform Value (Range 0-1/By variable (值-最小值)/極差) Plots: (Dendrogram) Icicle(Specified range of cluster, Start-1,Stop-4, by-1), Orientation (Vertical) Save: Cluster Membership(Single solution 4),啤酒例子,下表(Proximity matrix)中行列交叉點(diǎn)為兩種啤酒之間各變量的歐氏距離平方和,凝聚過程:Coefficients為不相似系數(shù),由于是歐氏距離,小的先合并.,分為四類的聚類結(jié)果,冰柱圖(icicle),聚類樹型圖,學(xué)生測(cè)驗(yàn)數(shù)據(jù)（data14-03) 50個(gè)學(xué)生，X1-X10個(gè)測(cè)驗(yàn)項(xiàng)目 要對(duì)這10個(gè)變量進(jìn)行變量聚類（ R 型聚類），過程和Q型聚類（觀測(cè)量聚類，對(duì)cases)一樣,StatisticsClassify Hierarchical Cluster: Variables:x1-x10 Cluster(Variable, R型聚類) Display: (Statistics) (Proximity matrix), Cluster membership(Single solution, 2) Method: Cluster (Furthest Neighbor), Measure-Interval (Pearson correlation，用Pearson相關(guān)系數(shù)), Plots: Icicle(All Cluster),學(xué)生測(cè)驗(yàn)例子,下表(Proximity matrix)中行列交叉點(diǎn)為兩個(gè)變量之間變量的歐氏距離平方和,分為兩類的聚類結(jié)果,冰柱圖(icicle),判別分析,判別,有一些昆蟲的性別很難看出，只有通過解剖才能夠判別； 但是雄性和雌性昆蟲在若干體表度量上有些綜合的差異。于是統(tǒng)計(jì)學(xué)家就根據(jù)已知雌雄的昆蟲體表度量（這些用作度量的變量亦稱為預(yù)測(cè)變量）得到一個(gè)標(biāo)準(zhǔn)，并且利用這個(gè)標(biāo)準(zhǔn)來判別其他未知性別的昆蟲。 這樣的判別雖然不能保證百分之百準(zhǔn)確，但至少大部分判別都是對(duì)的，而且用不著殺死昆蟲來進(jìn)行判別了。,判別分析(discriminant analysis),這就是本章要講的是判別分析。 判別分析和前面的聚類分析有什么不同呢？ 主要不同點(diǎn)就是，在聚類分析中一般人們事先并不知道或一定要明確應(yīng)該分成幾類，完全根據(jù)數(shù)據(jù)來確定。 而在判別分析中，至少有一個(gè)已經(jīng)明確知道類別的“訓(xùn)練樣本”，利用這個(gè)數(shù)據(jù)，就可以建立判別準(zhǔn)則，并通過預(yù)測(cè)變量來為未知類別的觀測(cè)值進(jìn)行判別了。,判別分析例子,數(shù)據(jù)disc.sav:企圖用一套打分體系來描繪企業(yè)的狀況。該體系對(duì)每個(gè)企業(yè)的一些指標(biāo)（變量）進(jìn)行評(píng)分。 這些指標(biāo)包括：企業(yè)規(guī)模(is)、服務(wù)(se)、雇員工資比例(sa)、利潤(rùn)增長(zhǎng)(prr)、市場(chǎng)份額(ms)、市場(chǎng)份額增長(zhǎng)(msr)、流動(dòng)資金比例(cp)、資金周轉(zhuǎn)速度(cs)等等。 另外，有一些企業(yè)已經(jīng)被某雜志劃分為上升企業(yè)、穩(wěn)定企業(yè)和下降企業(yè)。 我們希望根據(jù)這些企業(yè)的上述變量的打分和它們已知的類別（三個(gè)類別之一：group-1代表上升，group-2代表穩(wěn)定，group-3代表下降）找出一個(gè)分類標(biāo)準(zhǔn)，以對(duì)沒有被該刊物分類的企業(yè)進(jìn)行分類。 該數(shù)據(jù)有90個(gè)企業(yè)（90個(gè)觀測(cè)值），其中30個(gè)屬于上升型，30個(gè)屬于穩(wěn)定型，30個(gè)屬于下降型。這個(gè)數(shù)據(jù)就是一個(gè)“訓(xùn)練樣本”。,Disc.sav數(shù)據(jù),根據(jù)距離的判別（不用投影）,Disc.sav數(shù)據(jù)有8個(gè)用來建立判別標(biāo)準(zhǔn)(或判別函數(shù))的（預(yù)測(cè)）變量，另一個(gè)（group）是類別。 因此每一個(gè)企業(yè)的打分在這8個(gè)變量所構(gòu)成的8維空間中是一個(gè)點(diǎn)。這個(gè)數(shù)據(jù)有90個(gè)點(diǎn)， 由于已經(jīng)知道所有點(diǎn)的類別了，所以可以求得每個(gè)類型的中心。這樣只要定義了如何計(jì)算距離，就可以得到任何給定的點(diǎn)（企業(yè)）到這三個(gè)中心的三個(gè)距離。 顯然，最簡(jiǎn)單的辦法就是離哪個(gè)中心距離最近，就屬于哪一類。通常使用的距離是所謂的Mahalanobis距離。用來比較到各個(gè)中心距離的數(shù)學(xué)函數(shù)稱為判別函數(shù)(discriminant function).這種根據(jù)遠(yuǎn)近判別的方法，原理簡(jiǎn)單，直觀易懂。,Fisher判別法(先進(jìn)行投影),所謂Fisher判別法，就是一種先投影的方法。 考慮只有兩個(gè)（預(yù)測(cè)）變量的判別分析問題。 假定這里只有兩類。數(shù)據(jù)中的每個(gè)觀測(cè)值是二維空間的一個(gè)點(diǎn)。見圖（下一張幻燈片）。 這里只有兩種已知類型的訓(xùn)練樣本。其中一類有38個(gè)點(diǎn)（用“o”表示），另一類有44個(gè)點(diǎn)（用“*”表示）。按照原來的變量（橫坐標(biāo)和縱坐標(biāo)），很難將這兩種點(diǎn)分開。 于是就尋找一個(gè)方向，也就是圖上的虛線方向，沿著這個(gè)方向朝和這個(gè)虛線垂直的一條直線進(jìn)行投影會(huì)使得這兩類分得最清楚?？梢钥闯觯绻蚱渌较蛲队?，判別效果不會(huì)比這個(gè)好。 有了投影之后，再用前面講到的距離遠(yuǎn)近的方法來得到判別準(zhǔn)則。這種首先進(jìn)行投影的判別方法就是Fisher判別法。,逐步判別法(僅僅是在前面的方法中加入變量選擇的功能),有時(shí)，一些變量對(duì)于判別并沒有什么作用，為了得到對(duì)判別最合適的變量，可以使用逐步判別。也就是，一邊判別，一邊引進(jìn)判別能力最強(qiáng)的變量， 這個(gè)過程可以有進(jìn)有出。一個(gè)變量的判別能力的判斷方法有很多種，主要利用各種檢驗(yàn)，例如Wilks Lambda、Raos V、The Squared Mahalanobis Distance、Smallest F ratio或The Sum of Unexplained Variations等檢驗(yàn)。其細(xì)節(jié)這里就不贅述了；這些不同方法可由統(tǒng)計(jì)軟件的各種選項(xiàng)來實(shí)現(xiàn)。逐步判別的其他方面和前面的無異。,Disc.sav例子,利用SPSS軟件的逐步判別法淘汰了不顯著的流動(dòng)資金比例(cp)，還剩下七個(gè)變量is，se，sa，prr，ms，msr，cs，得到兩個(gè)典則判別函數(shù)（Canonical Discriminant Function Coefficients）： 0.035IS+3.283SE+0.037SA-0.007PRR+0.068MS-0.023MSR-0.385CS-3.166 0.005IS+0.567SE+0.041SA+0.012PRR+0.048MS+0.044MSR-0.159CS-4.384,這兩個(gè)函數(shù)實(shí)際上是由Fisher判別法得到的向兩個(gè)方向的投影。這兩個(gè)典則判別函數(shù)的系數(shù)是下面的SPSS輸出得到的：,Disc.sav例子,根據(jù)這兩個(gè)函數(shù)，從任何一個(gè)觀測(cè)值（每個(gè)觀測(cè)值都有7個(gè)變量值）都可以算出兩個(gè)數(shù)。把這兩個(gè)數(shù)目當(dāng)成該觀測(cè)值的坐標(biāo)，這樣數(shù)據(jù)中的150個(gè)觀測(cè)值就是二維平面上的150個(gè)點(diǎn)。它們的點(diǎn)圖在下面圖中。,Disc.sav例子,從上圖可以看出，第一個(gè)投影（相應(yīng)于來自于第一個(gè)典則判別函數(shù)橫坐標(biāo)值）已經(jīng)能夠很好地分辨出三個(gè)企業(yè)類型了。這兩個(gè)典則判別函數(shù)并不是平等的。其實(shí)一個(gè)函數(shù)就已經(jīng)能夠把這三類分清楚了。SPSS的一個(gè)輸出就給出了這些判別函數(shù)（投影）的重要程度：,前面說過，投影的重要性是和特征值的貢獻(xiàn)率有關(guān)。該表說明第一個(gè)函數(shù)的貢獻(xiàn)率已經(jīng)是99%了，而第二個(gè)只有1%。當(dāng)然，二維圖要容易看一些。投影之后，再根據(jù)各點(diǎn)的位置遠(yuǎn)近算出具體的判別公式（SPSS輸出）：,Disc.sav例子,具體的判別公式（SPSS輸出），由一張分類函數(shù)表給出：,該表給出了三個(gè)線性分類函數(shù)的系數(shù)。把每個(gè)觀測(cè)點(diǎn)帶入三個(gè)函數(shù)，就可以得到分別代表三類的三個(gè)值，哪個(gè)值最大，該點(diǎn)就屬于相應(yīng)的那一類。當(dāng)然，用不著自己去算，計(jì)算機(jī)軟件的選項(xiàng)可以把這些訓(xùn)練數(shù)據(jù)的每一個(gè)點(diǎn)按照這里的分類法分到某一類。當(dāng)然，我們一開始就知道這些訓(xùn)練數(shù)據(jù)的各個(gè)觀測(cè)值的歸屬，但即使是這些訓(xùn)練樣本的觀測(cè)值（企業(yè)）按照這里推導(dǎo)出的分類函數(shù)來分類，也不一定全都能夠正確劃分。,Disc.sav例子,下面就是對(duì)我們的訓(xùn)練樣本的分類結(jié)果（SPSS）：,誤判和正確判別率,從這個(gè)表來看，我們的分類能夠100%地把訓(xùn)練數(shù)據(jù)的每一個(gè)觀測(cè)值分到其本來的類。 該表分成兩部分；上面一半（Original）是用從全部數(shù)據(jù)得到的判別函數(shù)來判斷每一個(gè)點(diǎn)的結(jié)果（前面三行為判斷結(jié)果的數(shù)目，而后三行為相應(yīng)的百分比）。 下面一半（Cross validated）是對(duì)每一個(gè)觀測(cè)值，都用缺少該觀測(cè)的全部數(shù)據(jù)得到的判別函數(shù)來判斷的結(jié)果。 這里的判別結(jié)果是100%判別正確，但一般并不一定。,Disc.sav例子,如果就用這個(gè)數(shù)據(jù)，但不用所有的變量，而只用4個(gè)變量進(jìn)行判別：企業(yè)規(guī)模（is）、服務(wù)(se)、雇員工資比例(sa)、資金周轉(zhuǎn)速度(cs)。結(jié)果的圖形和判別的正確與否就不一樣了。下圖為兩個(gè)典則判別函數(shù)導(dǎo)出的150個(gè)企業(yè)的二維點(diǎn)圖。它不如前面的圖那么容易分清楚了,原先的圖,Disc.sav例子,下面是基于4個(gè)變量時(shí)分類結(jié)果表：,這個(gè)表的結(jié)果是有87個(gè)點(diǎn)（96.7%）得到正確劃分，有3個(gè)點(diǎn)被錯(cuò)誤判別；其中第二類有兩個(gè)被誤判為第一類，有一個(gè)被誤判為第三類。,判別分析要注意什么？,訓(xùn)練樣本中必須有所有要判別的類型，分類必須清楚，不能有混雜。 要選擇好可能由于判別的預(yù)測(cè)變量。這是最重要的一步。當(dāng)然，在應(yīng)用中，選擇的余地不見得有多大。 要注意數(shù)據(jù)是否有不尋常的點(diǎn)或者模式存在。還要看預(yù)測(cè)變量中是否有些不適宜的；這可以用單變量方差分析（ANOVA）和相關(guān)分析來驗(yàn)證。 判別分析是為了正確地分類，但同時(shí)也要注意使用盡可能少的預(yù)測(cè)變量來達(dá)到這個(gè)目的。使用較少的變量意味著節(jié)省資源和易于對(duì)結(jié)果進(jìn)行解釋。,判別分析要注意什么？,在計(jì)算中需要看關(guān)于各個(gè)類的有關(guān)變量的均值是否顯著不同的檢驗(yàn)結(jié)果（在SPSS選項(xiàng)中選擇Wilks Lambda、Raos V、The Squared Mahalanobis Distance或The Sum of Unexplained Variations等檢驗(yàn)的計(jì)算機(jī)輸出），以確定是否分類結(jié)果是僅僅由于隨機(jī)因素。 此外成員的權(quán)數(shù)（SPSS用prior probability，即“先驗(yàn)概率”，和貝葉斯統(tǒng)計(jì)的先驗(yàn)概率有區(qū)別）需要考慮；一般來說，加權(quán)要按照各類觀測(cè)值的多少，觀測(cè)值少的就要按照比例多加權(quán)。 對(duì)于多個(gè)判別函數(shù)，要弄清各自的重要性。 注意訓(xùn)練樣本的正確和錯(cuò)誤分類率。研究被誤分類的觀測(cè)值，看是否可以找出原因。,SPSS選項(xiàng),打開disc.sav數(shù)據(jù)。然后點(diǎn)擊AnalyzeClassifyDiscriminant， 把group放入Grouping Variable，再定義范圍，即在Define Range輸入13的范圍。然后在Independents輸入所有想用的變量；但如果要用逐步判別，則不選Enter independents together，而選擇Use stepwise method， 在方法（Method）中選挑選變量的準(zhǔn)則（檢驗(yàn)方法；默認(rèn)值為Wilks Lambda）。 為了輸出Fisher分類函數(shù)的結(jié)果可以在Statistics中的Function Coefficient選 Fisher和UnStandardized（點(diǎn)則判別函數(shù)系數(shù)） ，在Matrices中選擇輸出所需要的相關(guān)陣； 還可以在Classify中的Display選summary table, Leave-one-out classification；注意在Classify選項(xiàng)中默認(rèn)的Prior Probability為All groups equal表示所有的類都平等對(duì)待，而另一個(gè)選項(xiàng)為Compute from group sizes，即按照類的大小加權(quán)。 在Plots可選 Combined-groups, Territorial map等。,14.4.3 判別分析實(shí)例P379,鳶尾花數(shù)據(jù)(花瓣,花萼的長(zhǎng)寬) 5個(gè)變量:花瓣長(zhǎng)(slen),花瓣寬(swid), 花萼長(zhǎng)(plen), 花萼寬(pwid), 分類號(hào)(1:Setosa, 2:Versicolor, 3:Virginica)(data14-04),StatisticsClassify Discriminant: Variables: independent (slen,swid,plen,pwid) Grouping(spno) Define range(min-1,max-3) Classify: prior probability(All group equal) use covariance matrix (Within-groups) Plots (Combined-groups, Separate-groups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fishers, Unstandardized) Matrix (Within-groups correlation, Within-groups covariance, Separate-groups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probability of group membership),鳶尾花數(shù)據(jù)(數(shù)據(jù)分析過程簡(jiǎn)明表),鳶尾花數(shù)據(jù)(原始數(shù)據(jù)的描述),鳶尾花數(shù)據(jù)(合并類內(nèi)相關(guān)陣和協(xié)方差陣),鳶尾花數(shù)據(jù)(總協(xié)方差陣),鳶尾花數(shù)據(jù)(特征值表)Eigenvalue:用于分析的前兩個(gè)典則判別函數(shù)的特征值, 是組間平方和與組內(nèi)平方和之比值. 最大特征值與組均值最大的向量對(duì)應(yīng), 第二大特征值對(duì)應(yīng)著次大的組均值向量典則相關(guān)系數(shù)(canonical correlation):是組間平方和與總平方和之比的平方根.被平方的是由組間差異解釋的變異總和的比.,鳶尾花數(shù)據(jù)(Wilks Lambda統(tǒng)計(jì)量)檢驗(yàn)的零假設(shè)是各組變量均值相等. Lambda接近0表示組均值不同,接近1表示組均值沒有不同. Chi-square是lambda的卡方轉(zhuǎn)換, 用于確定其顯著性.,鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),標(biāo)準(zhǔn)化的典則判別函數(shù)系數(shù)(使用時(shí)必須用標(biāo)準(zhǔn)化的自變量),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出),典則判別函數(shù)系數(shù),鳶尾花數(shù)據(jù)(有關(guān)判別函數(shù)的輸出)這是類均值(重心)處的典則判別函數(shù)值,這是典則判別函數(shù)(前面兩個(gè)函數(shù))在類均值(重心)處的值,鳶尾花數(shù)據(jù)(用判別函數(shù)對(duì)觀測(cè)量分類結(jié)果),先驗(yàn)概率(沒有給),費(fèi)歇判別函數(shù)系數(shù) 把自變量代入三個(gè)式子,哪個(gè)大歸誰.,Territorial Map Canonical Discriminant Function 2 -12.0 -8.0 -4.0 .0 4.0 8.0 12.0 趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌 12.0 12 23 12 23 12 23 12 23 12 23 12 23 8.0 12 23 12 23 12 23 12 23 12 23 12 23 4.0 12 23 12 23 12 23 12 23 12 23 12 23 * .0 * 12 23 12 * 23 12 23 12 23 12 23 12 23 -4.0 12 23 12 23 12 23 12 23 12 23 12 23 -8.0 12 23 12 23 12 23 12 23 12 23 12 23 -12.0 12 23 趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌趄蝌蝌蝌蝌 -12.0 -8.0 -4.0 .0 4.0 8.0 12.0 Canonical Discriminant Function 1 Symbols used in territorial map Symbol Group Label - - - 1 1 剛毛鳶尾花 2 2 變色鳶尾花 3 3 佛吉尼亞鳶尾花 * Indicates a group centroid,鳶尾花數(shù)據(jù) Territory Map(區(qū)域圖) Canonical Discriminate Function 1 Versus Canonical Discriminate Function 2 三種鳶尾花的典則變量值把一個(gè)典則變量組成的坐標(biāo)平面分成三個(gè)區(qū)域. *為中心坐標(biāo).,鳶尾花數(shù)據(jù)(預(yù)測(cè)分類結(jié)果小結(jié)),可以看出分錯(cuò)率,