統(tǒng)計(jì)學(xué)典型相關(guān)分析

2021/6/16 1 第 十 四 章 典 型 相 關(guān) 分 析 2021/6/16 2 14.1兩組變量的相關(guān)問題 我們知道如何衡量兩個(gè)變量之間是否相關(guān)的問題；這是一個(gè)簡單的公式就可以解決的問題(Pearson相關(guān)系數(shù)、 Kendalls t、 Spearman 秩相關(guān)系數(shù))。公式如果我們有兩組變量，如何能夠表明它們之間的關(guān)系呢？ 2021/6/16 3 例子（數(shù)據(jù)tv.txt) 業(yè)內(nèi)人士和觀眾對于一些電視節(jié)目的觀點(diǎn)有什么樣的關(guān)系呢？該數(shù)據(jù)是不同的人群對30個(gè)電視節(jié)目所作的平均評分。觀眾評分來自低學(xué)歷(led)、高學(xué)歷(hed)和網(wǎng)絡(luò)(net)調(diào)查三種,它們形成第一組變量；而業(yè)內(nèi)人士分評分來自包括演員和導(dǎo)演在內(nèi)的藝術(shù)家(arti)、發(fā)行(com)與業(yè)內(nèi)各部門主管(man)三種，形成第二組變量。人們對這樣兩組變量之間的關(guān)系感到興趣。 2021/6/16 4 2021/6/16 5 尋找代表 如直接對這六個(gè)變量的相關(guān)進(jìn)行兩兩分析，很難得到關(guān)于這兩組變量之間關(guān)系的一個(gè)清楚的印象。希望能夠把多個(gè)變量與多個(gè)變量之間的相關(guān)化為兩個(gè)變量之間的相關(guān)?，F(xiàn)在的問題是為每一組變量選取一個(gè)綜合變量作為代表；而一組變量最簡單的綜合形式就是該組變量的線性組合。 2021/6/16 6 14.2 典型相關(guān)分析由于一組變量可以有無數(shù)種線性組合（線性組合由相應(yīng)的系數(shù)確定），因此必須找到既有意義又可以確定的線性組合。典型相關(guān)分析(canonical correlation analysis)就是要找到這兩組變量線性組合的系數(shù)使得這兩個(gè)由線性組合生成的變量（和其他線性組合相比）之間的相關(guān)系數(shù)最大。 2021/6/16 7 典型變量假定兩組變量為X1,X2,Xp和Y1,Y2,Yq，那么，問題就在于要尋找系數(shù)a1,a2,ap和b1,b2,bq，和使得新的綜合變量（亦稱為典型變量(canonical variable)） 1 1 2 21 1 2 2 p pq qV a X a X a XW bY b Y b Y 之間的相關(guān)關(guān)系最大。這種相關(guān)關(guān)系是用典型相關(guān)系數(shù)（canonical correlation coefficient）來衡量的。 2021/6/16 8 典型相關(guān)系數(shù) 這里所涉及的主要的數(shù)學(xué)工具還是矩陣的特征值和特征向量問題。而所得的特征值與V和W的典型相關(guān)系數(shù)有直接聯(lián)系。由于特征值問題的特點(diǎn)，實(shí)際上找到的是多組典型變量(V1, W1), (V2, W2),，其中V1和W1最相關(guān)，而V2和W2次之等等， 2021/6/16 9 典型相關(guān)系數(shù) 而且V1, V2, V3,之間及而且W1, W2, W3,之間互不相關(guān)。這樣又出現(xiàn)了選擇多少組典型變量(V, W)的問題了。實(shí)際上，只要選擇特征值累積總貢獻(xiàn)占主要部分的那些即可。軟件還會輸出一些檢驗(yàn)結(jié)果；于是只要選擇顯著的那些(V, W)。對實(shí)際問題，還要看選取的(V, W)是否有意義，是否能夠說明問題才行。至于得到(V, W)的計(jì)算，則很簡單，下面就tv.txt數(shù)據(jù)進(jìn)行分析。數(shù)學(xué)原理？ 2021/6/16 10 計(jì)算結(jié)果 第一個(gè)表為判斷這兩組變量相關(guān)性的若干檢驗(yàn)，包括Pillai跡檢驗(yàn)，H otelling-Lawley跡檢驗(yàn)，Wilks l檢驗(yàn)和Roy的最大根檢驗(yàn)；它們都是有兩個(gè)自由度的F檢驗(yàn)。該表給出了每個(gè)檢驗(yàn)的F值，兩個(gè)自由度和p值（均為0.000）。 2021/6/16 11 計(jì)算結(jié)果 下面一個(gè)表給出了特征根(Eigenvalue)，特征根所占的百分比(Pct)和累積百分比(Cum. Pct)和典型相關(guān)系數(shù)(Canon Cor)及其平方(Sq. Cor)?？磥?，頭兩對典型變量(V, W)的累積特征根已經(jīng)占了總量的99.427%。它們的典型相關(guān)系數(shù)也都在0.95之上。 2021/6/16 12 計(jì)算結(jié)果 對于眾多的計(jì)算機(jī)輸出挑出一些來介紹。下面表格給出的是第一組變量相應(yīng)于上面三個(gè)特征根的三個(gè)典型變量V1、V2和V3的系數(shù)，即典型系數(shù)(canonical coefficient)。注意，SPSS把第一組變量稱為因變量(dependent variables)，而把第二組稱為協(xié)變量(covariates)；顯然，這兩組變量是完全對稱的。這種命名僅僅是為了敘述方便。這些系數(shù)以兩種方式給出；一種是沒有標(biāo)準(zhǔn)化的原始變量的線性組合的典型系數(shù)(raw canonical coefficient)，一種是標(biāo)準(zhǔn)化之后的典型系數(shù)(standardized canonical coefficient)。標(biāo)準(zhǔn)化的典型系數(shù)直觀上對典型變量的構(gòu)成給人以更加清楚的印象。 2021/6/16 13 可以看出，頭一個(gè)典型變量V1相應(yīng)于前面第一個(gè)（也是最重要的）特征值，主要代表高學(xué)歷變量hed；而相應(yīng)于前面第二個(gè)（次要的）特征值的第二個(gè)典型變量V2主要代表低學(xué)歷變量led和部分的網(wǎng)民變量net，但高學(xué)歷變量在這里起負(fù)面作用。 2021/6/16 14 計(jì)算結(jié)果 類似地，也可以得到被稱為協(xié)變量(covariate)的標(biāo)準(zhǔn)化的第二組變量的相應(yīng)于頭三個(gè)特征值得三個(gè)典型變量W1、W2和W2的系數(shù)： 。 2021/6/16 15 2021/6/16 16 例子結(jié)論 從這兩個(gè)表中可以看出，V1主要和變量hed相關(guān)，而V2主要和led及net相關(guān)；W1主要和變量arti及man相關(guān)，而W2主要和com相關(guān)；這和它們的典型系數(shù)是一致的。由于V1和W1最相關(guān)，這說明V1所代表的高學(xué)歷觀眾和W1所主要代表的藝術(shù)家(arti)及各部門經(jīng)理(man)觀點(diǎn)相關(guān)；而由于V2和W2也相關(guān)，這說明V2所代表的低學(xué)歷(led)及以年輕人為主的網(wǎng)民(net)觀眾和W2所主要代表的看重經(jīng)濟(jì)效益的發(fā)行人(com)觀點(diǎn)相關(guān)，但遠(yuǎn)遠(yuǎn)不如V 1和W1的相關(guān)那么顯著（根據(jù)特征值的貢獻(xiàn)率）。 2021/6/16 17 SPSS的 實(shí) 現(xiàn)對例tv.sav，首先打開例14.1的SPSS數(shù)據(jù)tv.sav，通過FileNewSyntax打開一個(gè)空白文件（默認(rèn)文件名為Syntax1.sps），再在其中鍵入下面命令行：MANOVA led hed net WITH arti com man/DISCRIM ALL ALPHA(1) /PRINT=SIG(EIGEN DIM).再點(diǎn)擊一個(gè)向右的三角形圖標(biāo)(運(yùn)行目前程序，Run current)，就可以得到所需結(jié)果了。還可以把Syntax1.sps另以其他名字（比如tv.sps）存入一個(gè)文件夾。下次使用時(shí)就可以通過FileOpenSyntax來打開這個(gè)文件了。 2021/6/16 18 SPSS的 實(shí) 現(xiàn)注意1：典型相關(guān)分析是本書內(nèi)容中唯一不能用SPSS的點(diǎn)擊鼠標(biāo)的“傻瓜”方式，而必須用寫入程序行來運(yùn)行的模型。讀者不必要再去研究語法的細(xì)節(jié)，只要能夠舉一反三，套用這個(gè)例子的程序即可。當(dāng)然，如果讀者愿意學(xué)習(xí)SPSS的語法，則在處理數(shù)據(jù)時(shí)，肯定會更方便。 2021/6/16 19 SPSS的 實(shí) 現(xiàn)注意2：一些SPSS的輸出很長，這時(shí)輸出窗口截去了一些內(nèi)容沒有顯示（這有些隨意性）。這時(shí)輸出窗口(SPSS Viewer)中結(jié)果的左下角有一個(gè)紅色的三角型。如果想要看全部內(nèi)容，可以先點(diǎn)擊鼠標(biāo)左鍵，選中輸出結(jié)果，然后從點(diǎn)右鍵得到的菜單中選擇Export，就可以把全部結(jié)果（包括截去的部分）存入一個(gè)htm形式的文件了供研究和打印之用。 2021/6/16 20附 錄 2021/6/16 21 兩 個(gè) 變 量 時(shí) ,用 線 性 相 關(guān) 系 數(shù) 研 究 兩個(gè) 變 量 之 間 的 線 性 相 關(guān) 性 : 2 2 ( , )( , ) ( ) ( )( )( )( ) ( )i iixy i ii i Cov X YCorr X Y Var X Var Yx x y yr x x y y 返回 2021/6/16 22 典 型 相 關(guān) 分 析 目 的 :研 究 多 個(gè) 變 量 之 間 的 相 關(guān) 性 方 法 :利 用 主 成 分 思 想 ,可 以 把 多 個(gè)變 量 與 多 個(gè) 變 量 之 間 的 相 關(guān) 化 為 兩個(gè) 變 量 之 間 的 相 關(guān) . 即 找 一 組 系 數(shù)(向 量 )l和 m , 使 新 變 量 U=lX(1)和V=m X(2)有 最 大 可 能 的 相 關(guān) 關(guān) 系 . 2021/6/16 23 數(shù) 學(xué) : 設(shè) 兩 組 隨 機(jī) 變 量而 (1)(2)XX X 1 1 1 2(1) (2)1 1 1 2 1 2( ,., ), ( ,., ), ,p p p pX X X X X X p p p p p 的 協(xié) 方 差 陣 S0,均 值 向 量 m=0, S的 剖 分 為 : 11 1221 22S S S S S 對 于 前 面 的 新 變 量 U=lX(1)和 V=m X(2)Var(U)=Var(lX(1) )=lS11lVar(V)=Var(m X(2) )=m S22mCov(U,V)=lS12m , rUV=lS12m /(lS11l)(m S22m ) 我 們 試 圖 在 約 束 條 件 Var(U)=1, Var(V)=1下 尋 求l和 m 使 r UV= Cov(U,V)=lS12m 達(dá) 到 最 大 . 2021/6/16 24 這 是 Lagrange乘 數(shù) 法 求 下 面 f的 極 大 值經(jīng) 過 求 偏 導(dǎo) 數(shù) 和 解 方 程 , 得 到 ln=lS12m =Cov(U,V), 及2 2 1 1 1 111 12 22 21 22 21 11 12, ,( , )Al l Bm mA Bl l S S S S S S S S12 11 22 ( 1) ( 1)2 2l m l l m m l nf S S S 因 此 l2既 是 A又 是 B的 特 征 值 , 而 相 應(yīng) 的 特 征向 量 為 l,m 2021/6/16 25可 得 到 p1對 線 性 組 合 Ui=l(i)X(1), Vi=m (i)X(2),稱每 一 對 變 量 為 典 型 變 量 . 其 極 大 值稱 為 第 一 典 型 相 關(guān) 系 數(shù) . 一 般 只 取 前 幾 個(gè) 影 響大 的 典 型 變 量 和 典 型 相 關(guān) 系 數(shù) 來 分 析 .1 11 ( ) ( )2 2 2 (1) (1)1 2 0; , ; ,p pp l l m ml l l A和 B的 特 征 根 有 如 下 性 質(zhì) : (1)A和 B有 相 同的 非 零 特 征 根 , (2)其 數(shù) 目 為 p1. A和 B的 特 征根 非 負(fù) . (3) A和 B的 特 征 根 均 在 0和 1之 間 . 我 們 表 示 這 些 稱 為 典 型 相 關(guān) 系 數(shù) 的 非 零 特征 值 和 相 應(yīng) 的 特 征 向 量 為 1 1 1U Vr l 2021/6/16 26 典 型 變 量 的 性 質(zhì) : (1)X(1)和 X(2)中 的 一 切 典 型 變 量 都 不 相 關(guān) . (2) X(1)和 X(2)的 同 一 對 典 型 變 量 Ui和 Vi之 間 的相 關(guān) 系 數(shù) 為 li, 不 同 對 的 Ui和 Vj(ij)之 間 不相 關(guān) . 樣 本 情 況 , 只 要 把 S用 樣 本 協(xié) 差 陣 或 樣 本 相 關(guān) 陣 R代 替 .下 面 回 到 我 們 的 例 子 。 2021/6/16 27 典 型 相 關(guān) 系 數(shù) 的 顯 著 性 檢 驗(yàn) : 首 先 看 X(1)和 X(2)是 否 相 關(guān) ,如 不 相 關(guān) , 就 不 必 討 論 .如 果1 2(1) (2)(1) (2)0 12( , ) ( , ).: ( , ) 0p pX X X NH Cov X X m SS 這 是 為 檢 驗(yàn) 第 1個(gè) 典 型 相 關(guān) 系 數(shù) 的 顯 著 性檢 驗(yàn) 統(tǒng) 計(jì) 量 為 1 21 (1 )p ii l 其 中 為 的 特 征 根 .1 111 12 22 21A R R R R 2il 20 0 1 2 1 2, ln ( ) ( 1)11 ( 1).2under H Q m p p when nm n p p 2021/6/16 28 如 果 H 0為 檢 驗(yàn) 第 r(rk)個(gè) 典 型 相 關(guān) 系 數(shù) 的 顯 著 性檢 驗(yàn) 統(tǒng) 計(jì) 量 為 1 21 (1 )pr ii r l 20 0 1 2 1 2, ln ( ) ( 1)1 ( 1); ( 1)( 1)2under H Q m f when nm n r p p f p r p r 2021/6/16 29 當(dāng)然在實(shí)際例子中一般并不知道S。因此在只有樣本數(shù)據(jù)的情況下, 只要把S用樣本協(xié)差陣或樣本相關(guān)陣代替就行了。但是這時(shí)的特征根可能不在0和1的范圍，因此會出現(xiàn)軟件輸出中的特征根（比如大于1）不等于相關(guān)系數(shù)的平方的情況，這時(shí)，各種軟件會給出調(diào)整后的相關(guān)系數(shù)。 2021/6/16 30 典 型 相 關(guān) 和 回 歸 分 析 的 關(guān) 系把 X(1)和 X(2)換 成 回 歸 中 的 X和 Y, 這 就 是 因 變量 和 自 變 量 之 間 的 相 關(guān) 問 題 . 而 Y在 X上 的投 影 ,就 是 回 歸 了 . 若有不當(dāng)之處，請指正，謝謝！