數據挖掘在學科建設中的應用研究.doc

數據挖掘在學科建設中的應用研究摘要：隨著高校教學改革進程的加快，校園信息的積累越來越豐富，本文結合教學管理具體要求，通過設計學院某門課程的在線答疑建立的一個“隨訪信息庫”，對在線答疑學生進行跟蹤訪問，記錄在線答疑的數據，然后通過設計合適教學管理決策需求的數據倉庫模型設計和數據處理方法，對“隨訪信息庫”進行數據挖掘，建立了完備、正確、無冗余的教學管理系統數據倉庫模型一個有價值和指導意義的“學科建設指導庫”。教師通過查詢“學科建設指導庫”中的信息資料，可以了解某門課中某個問題的解決方式、解決方法或解決方案，并結合教師自己的教學經驗，形成解決問題的切實方案，最終達到便于教學經驗的總結和提高教學質量的目的，對以后的教學改革方案的實施有重要的指導意義，為后期進行決策分析提供有效的支持和依據，從理論和實踐上提供一套行之有效的方法，為高校全面進行數據倉庫建設、數據挖掘研究與開發(fā)提供參考。關鍵詞：數據挖掘； 教改； 教學改革； 數據倉庫模型； 數據倉庫； 教學管理； 學科建設中圖分類號：tp 312.1 文獻標識碼：a 文章編號：1006-3315（2012）09-125-002一、引言數據挖掘技術作為一個多學科交叉的新興學科，在研究領域等得到了越來越多的應用，尤其在需要進行信息分析的領域得到了十分廣泛的應用。隨著科學技術的飛速發(fā)展，如何提高高等學校教學質量，以適應新形式發(fā)展已成為一個刻不容緩的問題，而提高教學質量，改善教學環(huán)境則是改善高等教學的關鍵。高校教學管理中每天都會有海量數據產生，面對如此海量的數據，目前的教學管理系統只是做一些查詢、更新、統計、打印報表等操作，并沒有完全發(fā)揮信息技術的潛能，即沒有從大量數據中挖掘所隱含的規(guī)律，從而應用這些規(guī)律去指導教師的日常工作。因此，如何利用數據挖掘技術從這些數據信息中發(fā)現有益的知識，利用信息化手段來為教師進行決策支持服務，提高教學質量以適應新形勢發(fā)展，不但可以提高教師的教學水平，還可以帶來更多的好處。二、數據挖掘的相關知識1.數據倉庫數據庫系統作為數據管理手段，主要用于事物處理。在目前的計算機處理能力上，直接使用事務處理環(huán)境來支持決策是行不通的。近幾年，隨著數據庫技術的應用和發(fā)展，人們嘗試對數據庫中的數據進行再加工，形成一個綜合的、面向分析的環(huán)境，以更好地支持決策分析，數據倉庫（data warehouse簡稱dw）正是為了構建這種新的分析處理環(huán)境而出現的一種數據存儲和組織技術。數據倉庫彌補了原有數據庫的缺點，將原來以單一數據庫為中心的數據環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。數據庫要建立在一個較全面和完善的信息應用基礎上，用于支持高層決策分析。2.數據挖掘的概念數據挖掘1-2是指從數據庫中提取出隱含的人們事先未知的、潛在的有用信息和知識，所提取的知識可以表示為概念規(guī)則、規(guī)律、模式等形式，它具備有效性、新穎性、潛在有用性及最終可理解性，即發(fā)現的知識可接受、可理解、可運用，最好能用自然語言表達發(fā)現的結果。處理的原始數據可以是結構化的，如關系數據庫中的數據；也可以是半結構化的，如文本、圖形、圖象數據；甚至是分布在網絡上的web數據和異構型數據。獲取的知識可用于信息管理、查詢優(yōu)化、決策支持、過程控制等，還可以用于數據自身的維護。因此，數據挖掘是一個介于統計學、模式識別、人工智能、機器學習、數據庫技術以及高性能并行計算等領域的交叉新學科。我國學者在這個領域也已開展了很多研究，主要來自計算機科學及相關領域。3.數據挖掘的過程4數據挖掘使用一定的算法，從實際應用數據中挖掘出未知、有價值的模式或規(guī)律等知識，整個過程由數據預處理、數據挖掘、模式評估、鞏固知識和運用知識等步驟組成。3.1數據預處理。數據挖掘的處理對象是數據，這些數據一般存儲在數據庫系統中，是長期積累的結果。但是往往不太適合直接對這些數據進行知識挖掘。需要先清除數據噪聲和與挖掘主題明顯無關的數據，其次將來自多數據源中的相關數據源組合并，最后將數據轉換為易于進行數據挖掘的數據存儲形式，這就是數據預處理。數據預處理是數據在進入數據倉庫系統之前的處理過程，在這個過程中，需要將來自關系數據庫、實時數據庫或者文件系統等多個外部數據源的數據進行有效的抽取、清理、轉化和綜合，檢查數據的完整性、一致性等質量指標，對其中的噪音數據、空值等進行處理，最后存入數據倉庫。數據預處理是數據挖掘的第一步，它是整個過程中很重要的一步，數據預處理是否合適將影響到數據挖掘的效率、準確率以及最終模式的有效性。3.2數據挖掘。數據挖掘就是根據數據挖掘的目標，選取相應的算法及參數，分析準備好的數據，產生一個特定的模式或數據集，從而得到可能形成知識的模式模型。學院教學管理數據主要存儲在關系型數據庫中，大量的數據和數據模型都是反映歷屆學生的學習情況和教師的教學任務、教學計劃以及教師教案等，已開發(fā)的數據庫系統基本上是面向事物處理的簡單的管理信息系統。隨著學校對決策信息需求的日益廣泛、復雜和迫切，這些傳統的數據庫系統存在的問題也越來越明顯：（1）原有數據庫系統是面向oltp而不是面向olap的；（2）原有數據庫系統難以適應各類對象數據粒度的不同要求。在數據倉庫中，系統體系結構是關鍵，要成功地實施數據倉庫，首先應該擬訂適合本校特點的數據倉庫系統框架，一個真正實用、有效、靈活的數據倉庫系統體系結構的建立是十分必要的。在對教務系統進行深入調研和需求分析的基礎上，針對教務管理自身的特點，給出一個比較適合本校教務管理的數據倉庫體系結構，該結構由一個集中式數據倉庫（即中央教務數據倉庫）、分布式數據集市（即部門學院級數據倉庫）和個人級數據倉庫相結合。如圖1所示。（1）中央數據倉庫。中央數據倉庫的目標是進行決策支持，它是支持管理決策過程的、面向主題的、集成的、穩(wěn)定的、時變的數據集合，它面向主題組織數據，每個主題對應一個客觀分析領域，它可以為輔助決策分析集成多個部門、不同系統的大量數據。為了滿足不同應用對數據庫的不同處理深度的要求，數據倉庫中的多重粒度是必不可少的，其數據倉庫中的數據組織結構分為四個級別，即早期細節(jié)級、當前細節(jié)級、輕度綜合級和高度綜合級。早期細節(jié)級保存歷史詳細數據，一般保存45年的歷史數據。當前細節(jié)級保存來自集成器的當前細節(jié)數據，為單位當年的詳細數據。詳細數據經進一步匯總，以綜合的數據進入輕度綜合級和高度綜合級。隨著時間的推移，由時間控制機制將當前細節(jié)級的老化數據轉入早期細節(jié)（即轉化為歷史數據）。（2）數據集市。數據集市(data marts)是一種更小、更集中的院、系級數據倉庫（departmental data warehouse），它具有傳統意義上的數據倉庫的四個基本特征，它是按照某一特定的決策支持需求而組織起來的、針對特定主題的數據倉庫。（3）個人倉庫。高層管理的主要任務是進行戰(zhàn)略決策，需要進行復雜的分析加工，個人級數據倉庫面向這一層。針對學校各個院級對數據訪問的局部性，有必要為數據倉庫十分頻繁的關鍵業(yè)務部門建立自己的數據集市，以便節(jié)省開支，提高響應速度；對于一般通用業(yè)務的分析決策應用，建立一個通用的數據集市，并且建立一個學校高層管理人員使用的個人級數據倉庫，以支持學校的宏觀戰(zhàn)略決策。這樣既可以提高解決分析效率，又便于對中央數據倉庫進行有效的維護。3.3模式評估。由挖掘算法產生的模式或規(guī)律，存在無實際意義或無實用價值的情況，也存在不能準確反映數據的真實意義的情況，甚至在某些情況下與事實相反，因此需要對其進行評估，從挖掘結果中篩選出有意義的模式規(guī)律。在此過程中，為了取得更為有效的知識，可能會返回前面的某一處理步驟中以反復提取，從而提取出更有效的知識。3.4鞏固知識。完成對知識的一致性檢查，確保發(fā)現的知識與已知可信的知識不發(fā)生抵觸。3.5運用知識。發(fā)現知識的目的是運用。運用知識有兩種方法：一種是直接運用知識來決策；另一種是要求對新的數據運用知識，由此可能產生新的問題，而需要對知識做進一步的優(yōu)化。三、數據挖掘在學科建設中的應用隨著學科建設工作的開展，隨訪工作量的日益加大，如何設計完善的隨訪系統是科學、準確地做好隨訪工作的前提和保障。根據“原始資料庫”運用適當的算法進行信息的清理，把其中對學科建設無效的數據清理掉，然后通過各種隨訪手段進行隨訪，建立起一個能對隨訪自動處理的“在線隨訪答疑庫”。1.“原始資料庫”的作用本文以電子在線答疑系統的數據為“原始資料庫”，保存在web數據庫中，接收學生們對學科的咨詢，甚至對課題的求解方法、方案及求解步驟；教師們對學科建設的看法及建議、問題的解答等數據，“原始資料庫”還包含學生的基本資料，任課教師信息，授課情況，學生反映情況等數據信息，這些信息可以通過網站的形式收集，然后存取并存儲到相應的學院數據庫中形成“原始資料庫”的一部分。從中挖掘出學生對該學科可能普遍感興趣并遇到的問題，教師如何引導學生正確處理并解決，并將問題及解決方案存到相應的數據倉庫或數據集市。2.“隨訪信息庫”的作用3通過對“原始資料庫”中的數據清理，建立一個“隨訪數據庫”，其建立流程如圖2所示，用于教師、學生等對學科建設的跟蹤調查。將“原始資料庫”中清理后的數據信息納入“隨訪信息庫”中是對教改信息資源的二次開發(fā)，“隨訪信息庫”中主要有學生的基本資料，學生的學習情況，學生的反映情況等數據信息。在“隨訪數據庫”的基礎之上，進一步進行有價值的信息挖掘，建立一個學科建設的“指導信息庫”。3“在線隨訪答疑庫”的作用“在線隨訪答疑庫”的學生的基本資料和“隨訪信息庫”中的學生的基本資料相一致。學院教學信息系統蘊藏著大量數據，全部調用既不可能，也無功效，所以通過現代的數據挖掘技術將“隨訪信息庫”和“原始資料庫”結合，進行數據分析、清理和挖掘，得出一個個具有代表性和指導意義的教學案例，并將其添加到“教學案例庫”中，逐漸形成一個大規(guī)模的、有輔導價值的學院教輔“指導信息庫”，使得日后教師、學生等有所借鑒，最終形成信息的共享。其工作過程如圖3所示：四、結束語如何通過分析原始資料庫中的信息，即在傳統教學管理系統數據庫基礎上，對數據進行清理，消除噪聲和不一致，整合存放在不同數據庫和文件中的數據；設計合理的系統模型，提取相關數據，采用合適的數據挖掘技術和數據預處理算法，建立完備、正確、無冗余的適合教學管理的數據倉庫，基于所建立的數據倉庫，結合學科建設的具體應用要求，設計交互性良好的用戶界面，將分析結果用可視化和知識表示技術表示出來，從中提取對學科建設有用的信息（新知識），發(fā)現教學環(huán)節(jié)中的弱點，制定有益于學科建設的策略和戰(zhàn)術，為以后進行決策分析提供有效的支持和依據，通過本文的研究，從理論和實踐上找出一套行之有效的方法，為高校全面進行數據倉庫建設、數據挖掘研究與開發(fā)提供參考，為教學以及科學研究提供方便和研究價值是本文的研究重點。參考文獻：1范明，孟小峰.數據挖掘概念與技術m，北京：機械工業(yè)出版社，20012康曉東.基于數據倉庫的數據挖掘技術m，北京：機械工業(yè)出版社，20043李雄偉.數據挖掘技術在醫(yī)療中的應用研究，信息化縱橫，2009年第16期4李琳等.數據挖掘在教學質量分析中的應用研究，衡陽師范學院學報，2009年6月，第30卷第3期