數(shù)據(jù)模型基本概念及建模方法論-logic.ppt

《數(shù)據(jù)模型基本概念及建模方法論-logic.ppt》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)模型基本概念及建模方法論-logic.ppt（50頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

數(shù)據(jù)模型的基本概念及建模方法論 2 內(nèi)容安排 數(shù)據(jù)模型相關(guān)術(shù)語 什么是數(shù)據(jù)模型 建模注意事項(xiàng) 數(shù)據(jù)模型方法論 什么是數(shù)據(jù)模型 以數(shù)學(xué)的方式對現(xiàn)實(shí)事物的一種抽象表達(dá) 特征 內(nèi)容 描述了數(shù)據(jù) 及其之間的關(guān)系形式 反映了數(shù)據(jù)的組織與管理形式用途 數(shù)據(jù)倉庫 系統(tǒng)建設(shè)中的數(shù)據(jù)信息的藍(lán)圖 數(shù)據(jù)倉庫 系統(tǒng)建設(shè)的核心業(yè)務(wù)人員與IT人員溝通的語言和工具 3 數(shù)據(jù)模型的分類 數(shù)據(jù)倉庫項(xiàng)目中數(shù)據(jù)模型可以分為以下幾種 ConceptualDataModel CDM 概念數(shù)據(jù)模型LogicalDataModel LDM 邏輯數(shù)據(jù)模型PhysicalDataModel PDM 物理數(shù)據(jù)模型ApplicationDataModel ADM 應(yīng)用數(shù)據(jù)模型 4 概念數(shù)據(jù)模型 ConceptualDataModel CDM 概念數(shù)據(jù)模型從全局上 宏觀上介紹模型設(shè)計(jì)思路 范圍和內(nèi)容 主要組成元素主題主題間關(guān)系主題中的重要實(shí)體實(shí)體間的相互關(guān)系目標(biāo)與用途圈定建模的范圍劃分建設(shè)主題理清主要業(yè)務(wù)關(guān)系構(gòu)造邏輯數(shù)據(jù)模型的框架 5 邏輯數(shù)據(jù)模型 定義 使用邏輯建模語言定義數(shù)據(jù)與數(shù)據(jù)之間的邏輯關(guān)系以圖形化的形式反映客戶的業(yè)務(wù)規(guī)則達(dá)到數(shù)據(jù)組織的設(shè)計(jì)目標(biāo) 6 邏輯數(shù)據(jù)模型 LogicalDataModel LDM 邏輯數(shù)據(jù)模型設(shè)計(jì)人員 業(yè)務(wù)人員 IT人員設(shè)計(jì)目標(biāo)設(shè)計(jì)藍(lán)圖 指導(dǎo)整個數(shù)據(jù)倉庫系統(tǒng)的建設(shè)業(yè)務(wù)語言 業(yè)務(wù)人員與技術(shù)人員溝通的手段和方法業(yè)務(wù)視圖 獨(dú)立于數(shù)據(jù)庫技術(shù)實(shí)現(xiàn)設(shè)計(jì)內(nèi)容 實(shí)體 關(guān)系和屬性建模方法 3NF的設(shè)計(jì)方法后續(xù)工作 物理數(shù)據(jù)模型的輸入 7 物理數(shù)據(jù)模型 PhysicalDataModel PDM 物理數(shù)據(jù)模型設(shè)計(jì)目標(biāo) 面向物理實(shí)施的具體細(xì)節(jié)輸入條件繼承于邏輯數(shù)據(jù)模型依賴于所選擇的數(shù)據(jù)庫決定于業(yè)務(wù)需求和性能之間的平衡設(shè)計(jì)內(nèi)容數(shù)據(jù)庫 表和字段 索引需要作非正則化處理后續(xù)工作 ETL 元數(shù)據(jù)管理和前端應(yīng)用輸入 8 應(yīng)用數(shù)據(jù)模型 ApplicationDataModel ADM 應(yīng)用數(shù)據(jù)模型設(shè)計(jì)目標(biāo)滿足最終用戶對數(shù)據(jù)的訪問 內(nèi)容 形式要求 滿足應(yīng)用系統(tǒng)對數(shù)據(jù)的存取 性能 存儲要求 主要特征面向PowerUser和業(yè)務(wù)人員與具體的應(yīng)用相關(guān)多維分析時一般采用星型結(jié)構(gòu)或者雪花狀結(jié)構(gòu)的設(shè)計(jì)方法是事實(shí)表和維度表的組合 9 邏輯數(shù)據(jù)模型與物理數(shù)據(jù)模型比較 10 邏輯數(shù)據(jù)模型在數(shù)據(jù)倉庫中的定位 11 存儲和管理 采集 回答業(yè)務(wù)問題 析取 清洗 條件 剔除 家庭關(guān)系 加載 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)數(shù)據(jù) 外部數(shù)據(jù) 關(guān)系數(shù)據(jù)庫管理系統(tǒng) 聚集 統(tǒng)計(jì) 人工智能 神經(jīng)網(wǎng)絡(luò) 多維 可視化 EIS DSS 電子表 對象語言 開發(fā) 企業(yè)數(shù)據(jù)倉庫 從屬數(shù)據(jù)集市 業(yè)務(wù)人員 IT用戶 數(shù)據(jù)導(dǎo)入 知識發(fā)現(xiàn)數(shù)據(jù)挖掘 信息存取工具 源數(shù)據(jù) 邏輯數(shù)據(jù)模型 應(yīng)用數(shù)據(jù)模型 12 內(nèi)容安排 數(shù)據(jù)模型相關(guān)術(shù)語 什么是數(shù)據(jù)模型 建模注意事項(xiàng) 數(shù)據(jù)模型方法論 13 邏輯數(shù)據(jù)模型基本術(shù)語 一 模型結(jié)構(gòu)第三范式 3NF 結(jié)構(gòu)星型結(jié)構(gòu) 多星型結(jié)構(gòu) 雪花型結(jié)構(gòu) 模型分類概念數(shù)據(jù)模型邏輯數(shù)據(jù)模型物理數(shù)據(jù)模型應(yīng)用數(shù)據(jù)模型 3NF基礎(chǔ)數(shù)據(jù)模型 StarSchema 匯總數(shù)據(jù) 已知應(yīng)用模型 Snowflake 星型結(jié)構(gòu)的演變 14 實(shí)體獨(dú)立型實(shí)體依賴型實(shí)體子類實(shí)體 主題域?qū)用?核心實(shí)體關(guān)系實(shí)體特征實(shí)體分類實(shí)體 邏輯數(shù)據(jù)模型基本術(shù)語 二 15 屬性 描述真實(shí)或抽象事物相關(guān)聯(lián)的特征或性質(zhì) 主鍵 識別實(shí)體實(shí)例唯一性的屬性 屬性組 可選鍵 能識別實(shí)體實(shí)例唯一性的其他屬性 屬性組 外鍵 通過父實(shí)體到子實(shí)體關(guān)系轉(zhuǎn)移到子實(shí)體的屬性 非鍵屬性 不是實(shí)體主鍵屬性的其他屬性 基礎(chǔ)名 外鍵的原來名稱 角色名 外鍵的新名稱 表明取值是父實(shí)體屬性的子集 鑒別器 取值決定父實(shí)體實(shí)例屬于哪個子類的屬性 邏輯數(shù)據(jù)模型基本術(shù)語 三 16 關(guān)系二元關(guān)系父實(shí)體的一個實(shí)例嚴(yán)格關(guān)系子實(shí)體的0 1或多個實(shí)例的這種關(guān)系是二元關(guān)系基數(shù)父 子實(shí)體實(shí)例的比例 如1 1 1 M識別 型 關(guān)系子實(shí)體實(shí)例唯一性的識別與父實(shí)體相關(guān)聯(lián) 父實(shí)體的主鍵屬性成為子實(shí)體的主鍵屬性非識別 型 關(guān)系子實(shí)體不需要與父實(shí)體的關(guān)系就可以確定實(shí)例唯一性 父實(shí)體的主鍵屬性成為子實(shí)體的非鍵屬性 邏輯數(shù)據(jù)模型基本術(shù)語 四 17 關(guān)系確定關(guān)系父實(shí)體的一個實(shí)例對應(yīng)子實(shí)體的0 1或多個實(shí)例 并且子實(shí)體的一個實(shí)例對應(yīng)0或1個父實(shí)體的實(shí)例非確定關(guān)系多對多關(guān)系子類關(guān)系子類實(shí)體和所屬父實(shí)體的關(guān)系完全子類群所屬父實(shí)體的每個實(shí)例都能夠與子類群的一個實(shí)體實(shí)例相關(guān)聯(lián)不完全子類群所屬父實(shí)體的每個實(shí)例不一定都有子類相關(guān)聯(lián) 邏輯數(shù)據(jù)模型基本術(shù)語 五 LogicalDataModel LDM Example 18 Entity KeyAttribute NonkeyAttribute Relationship CardinalityOne to many1 M BusinessRule onecustomerinvoiceatleastcontainsoneinvoiceitem 邏輯數(shù)據(jù)模型基本術(shù)語 示例 范式理論NormalForm 關(guān)系數(shù)據(jù)庫 原子性第一范式 每個屬性的值唯一第二范式 鍵值依賴非鍵屬性依賴所有的主鍵屬性 不存在部分鍵屬性就決定的非鍵屬性 第三范式 完全鍵值依賴非鍵屬性完全依賴且只依賴與鍵屬性 不存在非主鍵屬性依賴其他非主鍵屬性的情況 BCNF第四范式第五范式 19 關(guān)系數(shù)據(jù)庫理論中對于實(shí)體劃分 實(shí)例 記錄 設(shè)計(jì)的規(guī)則 TheKEY 1stNormalForm 1NF TheWHOLEKey SecondNormalForm 2NF AndNOTHINGBUTtheKey ThirdNormalForm 3NF E F Codd 違反第一范式 20 如果數(shù)Quantity屬性被定義為 不是與Order相關(guān) 就是與Part相關(guān) 例如 在OLTP系統(tǒng)中常見的字段復(fù)用現(xiàn)象 屬此類問題 110 152 違反第二范式 21 依賴了復(fù)合主鍵的一部分 客戶經(jīng)理 地域客戶經(jīng)理編號 違反第三范式 22 依賴了非主鍵屬性 不參與主鍵的外鍵屬性 正則化LDM對數(shù)據(jù)庫物理實(shí)現(xiàn)的優(yōu)勢 保留了更多的業(yè)務(wù)關(guān)系更多的主索引選擇最佳的數(shù)據(jù)分布更少的全表掃描更多的連接選擇增強(qiáng)優(yōu)化器使用更有利于提高性能的合并 聚合連接方法最佳的數(shù)據(jù)分離 耦合度 最佳的底層模型與用戶分離最佳的數(shù)據(jù)控制每行更少的字段最佳的與應(yīng)用分離更小的行最佳的數(shù)據(jù)塊大小減少臨時與永久日志空間減少物理I O 23 要考慮正則化對數(shù)據(jù)庫性能的要求 24 內(nèi)容安排 數(shù)據(jù)模型相關(guān)術(shù)語 什么是數(shù)據(jù)模型 建模注意事項(xiàng) 數(shù)據(jù)模型方法論 NCR數(shù)據(jù)倉庫實(shí)施方法論 25 邏輯數(shù)據(jù)模型設(shè)計(jì)步驟 26 Step1 定義業(yè)務(wù)需求與范圍Step2 定義實(shí)體Step3 定義關(guān)系Step4 定義非鍵屬性Step5 確認(rèn)模型 Step1 定義業(yè)務(wù)需求與范圍 27 確認(rèn)已經(jīng)理解全部業(yè)務(wù)需求什么困難或問題需要解決 一般情況下這些問題主要關(guān)系到增加收入或降低成本等模型必須能夠回答哪些業(yè)務(wù)問題 有哪些業(yè)務(wù)功能必須處理 有哪些業(yè)務(wù)限制存在 是否每一個參與人員都可以共享他們的業(yè)務(wù)需求 決定搜集需求的方法回顧已經(jīng)存在的資料 例如現(xiàn)存的報(bào)表 新的業(yè)務(wù)需求訪談以上兩種混合的方法 Step2 定義實(shí)體 28 制定初始的實(shí)體池 不加區(qū)分的實(shí)體集合 為每一個實(shí)體進(jìn)行定義刪除超出項(xiàng)目范圍的實(shí)體為剩下的每一個實(shí)體定義主鍵為可用的實(shí)體編寫文檔可選 使用帶樣本數(shù)據(jù)的表格形式與用戶進(jìn)行確認(rèn)必須 使用ER圖制定最終版本的交付材料 Step3 定義關(guān)系 29 識別實(shí)體間的關(guān)系對于每一個關(guān)系刪除超出項(xiàng)目范圍的關(guān)系刪除間接的關(guān)系為每一個剩余的關(guān)系進(jìn)行定義識別每一個可用的關(guān)系的基數(shù) 1 1 1 M M M 參照完整性確保每一個關(guān)系 PK FK參照 是完整的 有效的為模型中可用的關(guān)系編寫文檔 使用FK定義關(guān)系可選 使用帶樣本數(shù)據(jù)的表格形式與用戶進(jìn)行確認(rèn)必須 使用ER圖制定最終版本的交付材料 Step4 定義非鍵屬性 30 識別并定義相關(guān)的非鍵屬性刪除超出項(xiàng)目范圍的屬性根據(jù)直覺或經(jīng)驗(yàn)將剩余的可用屬性放入一個表中逐一驗(yàn)證每一個可用屬性的擺放位置為模型中的每一個可用屬性編寫文檔可選 使用帶樣本數(shù)據(jù)的表格形式與用戶進(jìn)行確認(rèn)必須 使用ER圖制定最終版本的交付材料在模型的最終交付文檔中添加業(yè)務(wù)限制條件 Step5 確認(rèn)模型 1 31 根據(jù)需要重復(fù)以上步驟多次反復(fù)經(jīng)常是必須的 需求 業(yè)務(wù)規(guī)則 操作的復(fù)雜性決定 模型中的任何變更都會帶來連鎖反應(yīng) 因此需要非常認(rèn)真的回顧與評審 實(shí)體的變更經(jīng)常影響關(guān)系的定義和屬性的位置擺放關(guān)系的變更經(jīng)常影響屬性的位置擺放屬性的位置的變更可能影響其他屬性的擺放 Step5 確認(rèn)模型 2 32 通過回答以下問題 持續(xù)地對模型的范圍進(jìn)行驗(yàn)證 這一模型組件的含義 與業(yè)務(wù)的關(guān)系是什么 這一模型組件驅(qū)動的業(yè)務(wù)需求是什么 對模型是否已經(jīng)滿足所有業(yè)務(wù)需求 業(yè)務(wù)問題及限制條件等 進(jìn)行驗(yàn)證絕對不要考慮任何與物理實(shí)施相關(guān)的問題 當(dāng)所有回答業(yè)務(wù)需求所必須的數(shù)據(jù)已經(jīng)齊備時 停止對模型進(jìn)行優(yōu)化 主要任務(wù) 轉(zhuǎn)換邏輯數(shù)據(jù)模型 LDM 為物理數(shù)據(jù)模型定義主索引 次索引非正規(guī)化處理 demoralizations 數(shù)據(jù)庫建立設(shè)計(jì)優(yōu)化數(shù)據(jù)庫功能測試使用工具 ERWin交付項(xiàng)目 物理數(shù)據(jù)模型 PDM 物理數(shù)據(jù)模型說明書 數(shù)據(jù)庫描述語言DDL 33 物理數(shù)據(jù)庫設(shè)計(jì) 數(shù)據(jù)倉庫管理 物理數(shù)據(jù)模型 數(shù)據(jù)轉(zhuǎn)換 應(yīng)用開發(fā) 數(shù)據(jù)挖掘服務(wù) 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì) 元數(shù)據(jù)管理 解決方案集成 物理數(shù)據(jù)模型命名規(guī)范 34 35 內(nèi)容安排 數(shù)據(jù)模型相關(guān)術(shù)語 什么是數(shù)據(jù)模型 建模注意事項(xiàng) 數(shù)據(jù)模型方法論 建模注意事項(xiàng) 劃分相應(yīng)的主題 客戶 產(chǎn)品 賬戶 事件 行銷活動 渠道 地理區(qū)域 確定主題與主題之間的關(guān)系客戶購買產(chǎn)品產(chǎn)生賬戶 使用產(chǎn)品觸發(fā)事件運(yùn)營商通過各種渠道 在不同地理區(qū)域進(jìn)行個性化的行銷活動確定每個主題中關(guān)鍵的實(shí)體和實(shí)體間的關(guān)系客戶主題中 如參與人 個人 組織等實(shí)體 以及實(shí)體間的關(guān)系 參與人由個人和組織組成進(jìn)入邏輯數(shù)據(jù)模型 細(xì)化概念數(shù)據(jù)模型設(shè)計(jì) 36 建模注意事項(xiàng) 定義數(shù)據(jù)模型的命名規(guī)則命名規(guī)范意義統(tǒng)一命名 減少歧義防止冗余的實(shí)體或?qū)傩缘漠a(chǎn)生良好的命名規(guī)范有助于業(yè)務(wù)人員與技術(shù)人員間的溝通便于使用邏輯模型實(shí)體和屬性命名方法實(shí)體名 PAR Party 主題域大寫 實(shí)體描述詞采用全稱屬性名 AccountNbr 詞采用全稱 首字母大寫 詞與詞之間使用空格連接 37 38 LDM與PDM的區(qū)別 邏輯數(shù)據(jù)模型 LDM 內(nèi)容業(yè)務(wù)模型記錄業(yè)務(wù)規(guī)則和關(guān)系 與數(shù)據(jù)庫無關(guān)用途 與業(yè)務(wù)人員進(jìn)行溝通和理解的工具用來確認(rèn)可以回答業(yè)務(wù)問題 物理數(shù)據(jù)模型 PDM 內(nèi)容數(shù)據(jù)庫模型表現(xiàn)物理數(shù)據(jù)屬性 數(shù)據(jù)類型 長度 索引與數(shù)據(jù)庫相關(guān)用途 支持業(yè)務(wù)系統(tǒng)運(yùn)行解決數(shù)據(jù)存儲問題解決應(yīng)用處理性能問題 39 LDM實(shí)現(xiàn)為PDM的條件 LDM業(yè)務(wù)規(guī)則 PDM 軟 硬件平臺特性 應(yīng)用開發(fā)策略 進(jìn)行PDM設(shè)計(jì)必須考慮的因素 缺一不可 核心業(yè)務(wù)規(guī)則 軟 硬件平臺個性化 用戶 開發(fā)商個性化 70 10 20 主要考慮因素 輸入內(nèi)容 影響程度 40 LDM業(yè)務(wù)規(guī)則 PDM 業(yè)務(wù)規(guī)則繼承 PDM不應(yīng)違反LDM中界定的業(yè)務(wù)規(guī)則包括 業(yè)務(wù)概念相同業(yè)務(wù)關(guān)系相同核心業(yè)務(wù)要素相同 LDM PDM 41 業(yè)務(wù)規(guī)則繼承 舉例 客戶編碼ABC 用戶編碼客戶編碼XY 業(yè)務(wù)規(guī)則 客戶的定義是XXX 實(shí)體定義 鑒別客戶唯一性的標(biāo)識為客戶編碼 主鍵 客戶核心屬性包括 A B C 屬性 一個客戶可以擁有多個用戶 關(guān)系 識別用戶所屬客戶的標(biāo)識為客戶編碼 外鍵 客戶 用戶 CUST IDABC USER IDCUST IDXY CUST USER 42 軟 硬件平臺特性 考慮平臺特色 PDM應(yīng)考慮實(shí)際數(shù)據(jù)庫平臺的特色包括 不同數(shù)據(jù)庫的數(shù)據(jù)類型 長度不同不同數(shù)據(jù)庫的索引機(jī)制不同不同的數(shù)據(jù)庫處理性能不同不同的硬件平臺 配置處理性能不同 PDM LDM PDM 43 考慮平臺特色 舉例 客戶編碼客戶姓名BC 用戶編碼客戶編碼XY 客戶 用戶 CUST IDChar 8 Cust NameChar 8 BC USER IDCUST IDXY CUST USER Cust IDLongintGuest NameChar 12 BC USER IDCUST IDXY CUST USER 例如 數(shù)據(jù)類型 長度不同等 44 應(yīng)用開發(fā)策略 考慮應(yīng)用開發(fā)策略 PDM應(yīng)考慮應(yīng)用系統(tǒng)的實(shí)施策略包括 表的橫向分割 表的縱向分割 創(chuàng)建匯總表 臨時表 屬性冗余 創(chuàng)建主索引 可能與LDM主鍵不同 PDM LDM PDM 45 考慮應(yīng)用開發(fā)策略 舉例 客戶編碼客戶姓名BC 用戶編碼客戶編碼XY 客戶 用戶 CUST IDCust NameB USER IDCUST IDXY CUST B USER CUST IDC CUST C 橫向分表 CUST IDABC USER IDCUST IDXYA CUST1 USER CUST IDABC CUST2 CUST IDABC CUST3 1類 前1000條 2類 中2000條 3類 后1000條 共3000條 例如 橫向表 縱向分表 子類 屬性冗余等 建模注意事項(xiàng) 設(shè)計(jì)邏輯數(shù)據(jù)模型按照ERA設(shè)計(jì)流程設(shè)計(jì)邏輯數(shù)據(jù)模型確定實(shí)體Entity定義實(shí)體的主鍵KEY定義部分非鍵屬性Non KeyAttribute定義非唯一屬性組 InversionEntry添加相應(yīng)的注釋內(nèi)容 46 建模注意事項(xiàng) 設(shè)計(jì)邏輯數(shù)據(jù)模型確定實(shí)體與實(shí)體之間的關(guān)系Relationship確定實(shí)體間關(guān)系屬于1 1 1 M還是M M通過ForeignKey進(jìn)行體現(xiàn)補(bǔ)充實(shí)體的非鍵值屬性Attribute按照3NF的規(guī)則 判定每添加的一個屬性是否符合3NF的設(shè)計(jì)原則增加的屬性如果違反3NF 確定新的實(shí)體和關(guān)系添加中文注釋部分 47 建模注意事項(xiàng) 物理數(shù)據(jù)模型設(shè)計(jì)物理數(shù)據(jù)模型的輸入邏輯數(shù)據(jù)模型SDA源數(shù)據(jù)分析非正則化方面的需求 如性能和存儲的要求物理數(shù)據(jù)模型的輸出物理數(shù)據(jù)模型物理數(shù)據(jù)模型設(shè)計(jì)說明書生成DDL建表語句作為SDM 源數(shù)據(jù)對應(yīng) 的輸入 SDM將提供ETL數(shù)據(jù)轉(zhuǎn)換規(guī)則 48 建模注意事項(xiàng) 物理數(shù)據(jù)模型設(shè)計(jì)以邏輯數(shù)據(jù)模型作為輸入按照RDBMS的要求對于相應(yīng)的表和字段進(jìn)行簡寫依照物理數(shù)據(jù)模型命名規(guī)范非正則化處理定義索引定義是否允許NULL定義是否可以壓縮定義是否大小寫敏感定義是否需要分區(qū) 49 模型設(shè)計(jì)的后續(xù)工作 模型的驗(yàn)證工作軟驗(yàn)證 業(yè)務(wù)案例硬驗(yàn)證 業(yè)務(wù)數(shù)據(jù)模型設(shè)計(jì)維護(hù)和擴(kuò)展工作數(shù)據(jù)模型是不斷增強(qiáng)的 可擴(kuò)展的 但要保證其相對的穩(wěn)定性前端應(yīng)用中的多維模型的設(shè)計(jì)前端應(yīng)用以及ETL從性能和使用上對于PDM的修改要求業(yè)務(wù)規(guī)則的變化以及新的產(chǎn)品的產(chǎn)生也會對LDM和PDM有修改或者擴(kuò)展的要求模型設(shè)計(jì)要考慮今后的可擴(kuò)展性 以適應(yīng)新的業(yè)務(wù)規(guī)則和業(yè)務(wù)需求 50