CTG-MBOSS EDA-ODS技術規(guī)范

技術規(guī)范 版本 007 年 7 月 范 版權所有，注意保密 i 術規(guī)范 目 錄 1 文檔說明 . 1 制說明 . 1 用范圍 . 2 草單位 . 2 釋權 . 2 權 . 2 2 系統(tǒng)技術架構 . 3 統(tǒng)技術架構 . 3 統(tǒng)技術特點 . 4 量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存 . 4 范式模型、星型模型、寬表模型并存 . 5 粒度數(shù)據(jù)和匯總數(shù)據(jù)并存 . 5 務查詢和統(tǒng)計查詢的并存 . 5 據(jù)保存周期介于生產(chǎn)系統(tǒng)和 . 5 統(tǒng)總體技術要求 . 5 3 系統(tǒng)功能框架 . 7 述 . 7 據(jù)整合域 . 8 . 8 據(jù)更新配置 . 11 據(jù)質(zhì)量管理域 . 12 據(jù)質(zhì)量檢查 . 13 據(jù)質(zhì)量執(zhí)行 . 15 據(jù)共享域 . 19 享配置管理 . 19 范 版權所有，注意保密 術規(guī)范 據(jù) /服務提供 . 19 享權限控制 . 20 據(jù)應用域 . 20 據(jù)查詢 . 20 定報表 . 20 算應用 . 21 態(tài)報表 . 21 共管理域 . 22 統(tǒng)管理 . 22 統(tǒng)監(jiān)控 . 30 數(shù)據(jù)管理 . 32 4 系統(tǒng)技術要求 . 35 據(jù)整合 . 35 術要求 . 35 術建議 . 36 據(jù)存儲 . 37 術要求 . 37 術建議 . 38 據(jù)應用 . 39 術要求 . 39 術建議 . 40 據(jù)共享 . 40 術要求 . 41 術建議 . 41 數(shù)據(jù)管理 . 41 術要求 . 41 范 版權所有，注意保密 術規(guī)范 術建議 . 42 5 系統(tǒng)實施 . 43 施原則 . 43 施建議 . 44 要系統(tǒng)改造建議 . 44 程和崗位調(diào)整建議 . 46 . 46 施步驟 . 47 施進度 . 47 施步驟 . 48 6 系統(tǒng)部署 . 50 統(tǒng)部署的參考因素 . 50 統(tǒng)部署模式 . 51 式一：集團 集中 . 51 式二：集團 集中 地運營數(shù)據(jù)平臺 . 54 式演進 . 56 7 附錄 . 56 制人員 . 56 統(tǒng)物理架構、硬件配置估算及硬件配置示例 . 57 統(tǒng)物理架構圖示例 . 錯誤 !未定義書簽。 統(tǒng)硬件 配置估算方法 . 錯誤 !未定義書簽。 統(tǒng)存儲規(guī)劃 . 錯誤 !未定義書簽。 件配置示例 . 錯誤 !未定義書簽。 三方工具評價標準及產(chǎn)品比較 . 63 . 63 表工具 . 68 范 版權所有，注意保密 術規(guī)范 數(shù)據(jù)管理工具 . 75 范 版權所有，注意保密 1 術規(guī)范 1 文檔說明 制說明 中國電信集團明確提出了客戶品牌統(tǒng)領市場經(jīng)營工作的要求，在市場經(jīng)營的各項具體工作中細化和逐步落實客戶化經(jīng)營思路，適應以“產(chǎn)品”為中心向以“客戶”為中心的轉(zhuǎn)變，要求在市場經(jīng)營的各項具體工作中細化和逐步落實客戶化經(jīng)營思路。市場的轉(zhuǎn)型對于銷策劃、銷售、服務、統(tǒng)計分析等工作提出了更高的要求，需要相關流程的變更和優(yōu)化，需要建立和應用 360度客戶統(tǒng)一視圖信息，在各環(huán)節(jié)中應用客戶統(tǒng)一視圖信息，同時實現(xiàn)信息在各渠道和前后端的進一步共享。在客戶化流程的設計中我們發(fā)現(xiàn) 客戶服務和營銷過程越來越依賴于頻繁地查詢集成的客戶信息，這些都需要跨系統(tǒng)運營數(shù)據(jù)的支撐；同時，由于各系統(tǒng)數(shù)據(jù)標準不一致，存在同樣信息在不同系統(tǒng)中取值不同的現(xiàn)象，帶來了信息的不一致，無法取得一致的統(tǒng)計分析數(shù)據(jù)，不利于企業(yè)的精確化管理，給業(yè)務發(fā)展帶來一定影響。 中國電信 營數(shù)據(jù)倉儲）對于解決以上問題是及時和有效的。 數(shù)據(jù)整合（承載客戶統(tǒng)一視圖 ）、數(shù)據(jù)共享、跨系統(tǒng)數(shù)據(jù)應用和數(shù)據(jù)質(zhì)量檢查。隨著 費、服務開通、資源等核心 其是 費省集中系統(tǒng)的逐步到位以及客戶品牌統(tǒng)領市場經(jīng)營工作對 得 為承載企業(yè)數(shù)據(jù)模型及數(shù)據(jù)標準，并據(jù)此整合各系統(tǒng)數(shù)據(jù)以實現(xiàn)企業(yè)跨系統(tǒng)數(shù)據(jù)共享，提供跨系統(tǒng)數(shù)據(jù)應用，提升數(shù)據(jù)質(zhì)量的最好承載平臺。 因此，作為對中國電信 一各省和系統(tǒng)集成商的認識， 解決 以上 問題， 我們 制定了中國電信運營數(shù)據(jù)倉儲（簡稱 關規(guī)范，主要包含 體規(guī)范 以下簡稱 技術 規(guī)范 以下簡稱 。 范 版權所有，注意保密 2 術規(guī)范 范 主要 介紹了 業(yè)務 目標 、系統(tǒng)目標、 系統(tǒng) 架構、 系統(tǒng)邊界 及系統(tǒng)演進等方面的內(nèi)容，明確指出了中國電信 能及與其它周邊系統(tǒng)的邊界劃分原則。 術 規(guī)范主要介紹了 統(tǒng)技術架構、功能框架、系統(tǒng)總體及各功能域各自的技術特點和技術要求以及 統(tǒng)實施與 系統(tǒng)部署等方面的內(nèi)容。 術規(guī)范從技術和實施角度指導各省 建設。 與此規(guī)范配套下發(fā)的還有中國電信 型 中 部分作為 接作為 用范圍 本規(guī)范適用的范圍為 中國電信集團公司 。 草單位 本規(guī)范起草單位為中國電信集團公司。 （參加編寫 術規(guī)范 的人員名單見附錄一。） 釋權 本規(guī)范的解釋權屬于中國電信集團公司。 權 本規(guī)范的版權屬于中國電信集團公司。 范 版權所有，注意保密 3 術規(guī)范 2 系統(tǒng)技術架構 統(tǒng)技術架 構 遵照 體規(guī)范 對 成統(tǒng)一的企業(yè)運營數(shù)據(jù)。 統(tǒng)一方面承擔提供跨系統(tǒng)運營數(shù)據(jù)的共享職能，另一方面承擔基于運營數(shù)據(jù)的查詢、統(tǒng)計報表和批量計算功能，同時作為數(shù)據(jù)倉庫的主要數(shù)據(jù)來源。 統(tǒng)需實現(xiàn)的功能需要由相應的技術架構實現(xiàn)支撐。 費、網(wǎng)上客服中心、 10000 號等系統(tǒng)通過 過對源數(shù)據(jù)的清洗、轉(zhuǎn)換在 礎數(shù)據(jù)，根據(jù)應用需要， 基于系統(tǒng)中整合與匯總好的數(shù)據(jù)， 統(tǒng)上以 B/表等數(shù)據(jù)應用， 據(jù)視圖、數(shù)據(jù)服務等形式向外圍的生產(chǎn)系統(tǒng)提供共享數(shù)據(jù)，與生產(chǎn)系統(tǒng)配合完成跨域應用支撐。 范 版權所有，注意保密 4 術規(guī)范 圖 2統(tǒng)技術特點 依照 不同于以統(tǒng)計分析為主的數(shù)據(jù)倉庫系統(tǒng)。系統(tǒng)需要支撐跨域數(shù)據(jù)查詢功能，還需要支撐生產(chǎn)系 統(tǒng)對一定周期內(nèi)運營數(shù)據(jù)數(shù)據(jù)統(tǒng)計與計算功能。 系統(tǒng)的定位決定了 量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存 需要從生產(chǎn)系統(tǒng)準實時同步客戶、產(chǎn)品實例、賬戶等數(shù)據(jù)，并對 范 版權所有，注意保密 5 術規(guī)范 范式模型、星型模型、寬表模型并存 口層數(shù)據(jù)和源系統(tǒng)數(shù)據(jù)采用相同的基于 3 了加快外系統(tǒng)查詢 性能，整合數(shù)據(jù)層數(shù)據(jù)需要做部分反范式處理。 整合層數(shù)據(jù)經(jīng)過匯總和整理后，進入?yún)R總數(shù)據(jù)層。匯總數(shù)據(jù)層主要面向報表應用，需要部分采用星型模型設計方法，對于部分復雜查詢應用可以采用寬表設計模型。 粒度數(shù)據(jù)和匯總數(shù)據(jù)并存 要提供面向單個客戶的查詢和統(tǒng)計功能，因此需要保存單個客戶、清單、帳單等細粒度數(shù)據(jù)；同時， 需要保存部分運營匯總數(shù)據(jù)。 務查詢和統(tǒng)計查詢的并存 時需要提供基于渠道經(jīng)理、地域等維度的匯總數(shù)據(jù)的統(tǒng)計查詢應用。 據(jù)保存周期介于生產(chǎn)系統(tǒng)和 間 生產(chǎn)系統(tǒng)不需要支撐大量的分析應用，所以只需要保存當前最新的業(yè)務數(shù)據(jù)；數(shù)據(jù)倉庫需要提供經(jīng)營決策分析功能，所以需要存儲較長周期的業(yè)務數(shù)據(jù)。 統(tǒng)結合了兩者的特點，既需要提供準實時的運營數(shù)據(jù)的查詢，也需要提供基于一定周期運營數(shù)據(jù)的統(tǒng)計報表和批量計算應用。因此， 統(tǒng)總體技術要求 生產(chǎn)系統(tǒng)和 負著客戶統(tǒng)一 視圖、跨域數(shù)據(jù)共享、運營報表展示和查詢統(tǒng)計等功能。從上節(jié)“系統(tǒng)總體技術特點”描述可以看出 統(tǒng)的雙重特征，因 范 版權所有，注意保密 6 術規(guī)范 此系統(tǒng)配置的軟硬件需要兼顧到在線處理的性能和批量數(shù)據(jù)更新、匯總與查詢的效率。另外作為中國電信 撐系統(tǒng)之一，系統(tǒng)的實現(xiàn)應參考國際標準 內(nèi) 結合中國電信 用先進可靠的設備和技術，確保系統(tǒng)的先進性和成熟性，保證投資的有效性和延續(xù)性。 網(wǎng)絡與硬件方面： 1. 采用安全可靠的高速磁盤陣 列設備，支持多機高可用群集系統(tǒng)，磁盤陣列與主機系統(tǒng)采用 2. 采用高速可靠的網(wǎng)絡設備，提供高速的 I/ 3. 主機支持多機群集或海量并行處理技術， 支持分區(qū)技術 ； 4. 主機采用高可用性 (負載均衡的方式， 防止單點故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。 軟件方面： 1. 選擇對 2. 選擇能對數(shù)據(jù)整合過程進行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術； 3. 數(shù)據(jù)質(zhì)量管理是 統(tǒng)承擔的重要任務， 擇的數(shù)據(jù)質(zhì)量管理工具或者自行開發(fā)的數(shù)據(jù)質(zhì)量管理功能需要對進入 統(tǒng)的數(shù)據(jù)實施全程閉環(huán)的數(shù)據(jù)質(zhì)量審核和修正，提高中國電信運營數(shù)據(jù)質(zhì)量； 4. 選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具； 5. 選擇為業(yè)務處理、技術實現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導航功能的元數(shù)據(jù)管理工具，； 6. 采用能對系統(tǒng)內(nèi)的軟硬件節(jié)點進行監(jiān)控和自動預警的系統(tǒng)監(jiān)控軟件； 7. 制定完善的備份與恢復策略，采用成熟的備份軟硬件，提供快速備份與恢復功能； 范 版權所有，注意保密 7 術規(guī)范 8. 由于 同時滿足前端應用的快速響應和后端數(shù)據(jù)的實時及批量更新，因此 模型應該采用分層設計方法，兼容兩類特征，其中 整合層也會做適度的反范式處理來滿足 系統(tǒng)的建設要求； 9. 為了滿足數(shù)據(jù)的高速加載， 系統(tǒng)需進行相關優(yōu)化操作， 優(yōu)化數(shù)據(jù) 抽取調(diào)度策略 ，避免 資源的爭搶 ，設計 良好的數(shù)據(jù)文件 /表空間 /數(shù)據(jù)表存儲規(guī)劃， 保證數(shù)據(jù)在磁盤的優(yōu)化分布； 10. 對于數(shù)據(jù)共享層的訪問應采用獨立接口的原則，將 數(shù)據(jù) 封裝為獨立 接口層 提供外部 訪問， 避免 高數(shù)據(jù)安全性。 3 系統(tǒng)功能框架 述 為了在業(yè)務和 于中國電信 承中國電信 以 定此功能框架，以明確界定 作為 本框架遵循 系統(tǒng)服務對象和支撐對象的角度，將 據(jù)整合域、數(shù)據(jù)共享域、數(shù)據(jù)應用域、數(shù)據(jù)質(zhì)量管理域、公共管理域，如圖 3示： 范 版權所有，注意保密 8 術規(guī)范 圖 3統(tǒng)功能框架 據(jù)整合域 數(shù)據(jù)整合域是 統(tǒng)的關鍵部分， 過多種 技術準實時或?qū)崟r地 從源系統(tǒng)中 抽取 數(shù)據(jù) ，抽取過來的數(shù)據(jù)首先到達 后經(jīng)過轉(zhuǎn)換等 工作到達整合數(shù)據(jù)層，形成 合層的數(shù)據(jù)通過整合、計算、匯總形成匯總層的數(shù)據(jù)。數(shù)據(jù)整合 域 功能主要 包括 合 據(jù)抽取 實施時需要綜合考慮業(yè)務需求、抽取效率、源系統(tǒng)代價等因素確定抽取策略，抽取策略包括抽取方式（增量、全量）、抽取時機、抽取周期等。 范 版權所有，注意保密 9 術規(guī)范 功能要求 1. 支持增量、全量、異步和同步抽取方式； 2. 支持多種不同系統(tǒng)平臺和數(shù)據(jù)類型的數(shù)據(jù)抽取。包括各種關系型數(shù)據(jù)庫系統(tǒng)、各種文件格式的源數(shù)據(jù)等。 據(jù)映射 源系統(tǒng)數(shù)據(jù)通過整合從源系統(tǒng)進 入到 據(jù)的格式和定義都有不同程度的變化，因此需要在數(shù)據(jù)整合過程中通過數(shù)據(jù)映射方式進行轉(zhuǎn)換，數(shù)據(jù)映射主要定義數(shù)據(jù)結構、數(shù)據(jù)定義方面的映射關系。 功能要求 1. 提供圖形化可操作數(shù)據(jù)映射界面； 2. 提供多種關系的數(shù)據(jù)映射方式，如 一對一 、 一對多 、 多對一 、多對多。 據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換包括格式和類型轉(zhuǎn)換、數(shù)據(jù)翻譯、數(shù)據(jù)匹配、數(shù)據(jù)聚合以及其他復雜計算等。多數(shù)情況下，數(shù)據(jù)源到 據(jù)翻譯、數(shù)據(jù)匹配，而數(shù)據(jù)聚合以及其他復雜計算主要在數(shù)據(jù)匯總時出現(xiàn)。 功能要求 1. 支持在不同業(yè)務系統(tǒng)之間數(shù)據(jù)轉(zhuǎn)換。 2. 支持不同的數(shù)據(jù)源系統(tǒng)平臺。 3. 支持數(shù)據(jù)的定義、數(shù)據(jù)結構和錯誤數(shù)據(jù)的轉(zhuǎn)換處理。 據(jù)檢查 對于文件接口的數(shù)據(jù)的檢查，主要從接口數(shù)據(jù)的完整性、及時性和正確性三個方面進行檢查，系統(tǒng)根據(jù)接收文件的時間、入庫是否異常等角度進行分析；對于業(yè)務應用系統(tǒng)的 范 版權所有，注意保密 10 術規(guī)范 數(shù)據(jù)庫接口，系統(tǒng)主要從接口的及時性和一致性方面進行檢查，通過比較源系統(tǒng)的相關指標，分析數(shù)據(jù)的可信度。 功能要求 1. 支持接口文件檢查，包括文件名、記錄數(shù)、實體完整性檢查等； 2. 支持接口數(shù)據(jù)檢查，包括數(shù)據(jù)類型、實體完整性等。 據(jù)加載 數(shù)據(jù)加載 是指將抽取轉(zhuǎn)換后的數(shù)據(jù)加載到 括數(shù)據(jù)行加載和數(shù)據(jù)塊加載。在綜合考慮效率和業(yè)務實現(xiàn)等因素基礎上確定數(shù)據(jù)加載周期和數(shù)據(jù)追加策略。 功能要求 1. 支持批量數(shù)據(jù)的數(shù)據(jù)庫直接加載； 2. 支持多個數(shù)據(jù)庫連接，能夠進行大量數(shù)據(jù)的并行加載； 3. 支持自動與手工預加載的流程。當日常數(shù)據(jù)加載出錯，一般采用人工干預的方式來進行，這時需提供一個數(shù)據(jù)重新接收、加載的操作界面； 4. 支持多種加載數(shù)據(jù)的方式，如直接追加、全部覆蓋、更新追加。 ?？刂?主要通過計數(shù)統(tǒng)計數(shù)平衡、拒絕數(shù)據(jù)量等方便評估數(shù)據(jù)復制、 具體運行情況，以發(fā)現(xiàn)數(shù)據(jù) 整合過程中有關數(shù)據(jù)的問題，并進行必要的處理。 功能要求 1. 支持校驗點。當外部數(shù)據(jù)記錄特別龐大時，如果因為某種原因發(fā)生故障中斷后，可以從最近的校驗點開始處恢復處理； 2. 支持外部數(shù)據(jù)記錄的錯誤限制定義，同時將發(fā)生錯誤的數(shù)據(jù)記錄輸出。 業(yè)管理 業(yè)管理主要包括初始化作業(yè)、日常 業(yè)、日常復制作業(yè)、異常處理作業(yè) 范 版權所有，注意保密 11 術規(guī)范 等，同時要求對并發(fā)作業(yè)、高負載作業(yè)有良好的管理。 對于基于 數(shù)據(jù)質(zhì)量檢查和稽核，應該考慮采用統(tǒng)一的作業(yè)控制工具進行作業(yè)調(diào)度和管理。 功能要求 1. 提供圖形化可操作任務調(diào)度與 管理配置界面； 2. 支持任務屬性配置，可以對各項任務的屬性進行配置，并保存在后臺配置文件中，以備任務調(diào)度按序執(zhí)行； 3. 支持總?cè)蝿盏恼{(diào)度，使其按照設置條件自動按序執(zhí)行任務； 4. 支持分任務的調(diào)度，可按照任務類型、時間、區(qū)域等按照各自設置好的條件進行任務的調(diào)度； 5. 支持任務的回退，需要對某幾項任務進行重新調(diào)度時，可以將任務回退到需要重新調(diào)度的周期。 據(jù)更新配置 需要整合的源系統(tǒng)比較多，其中系統(tǒng)架構、數(shù)據(jù)提供能力、以及提供的源數(shù)據(jù)使用要求各有不同，因此在數(shù)據(jù)更新功能方面需要提供靈活的配置能力，提高數(shù)據(jù)整合的效率和便利。 新規(guī)則 配置 提供多種數(shù)據(jù)更新規(guī)則，根據(jù)規(guī)則特點和業(yè)務需要，進行更新規(guī)則的配置。 功能要求 1. 提供圖形化的操作配置界面； 2. 支持按照源數(shù)據(jù)的生產(chǎn)特性進行有針對性地規(guī)則配置。 范 版權所有，注意保密 12 術規(guī)范 新方式配置 提供多種數(shù)據(jù)更新實現(xiàn)方式，并且針對不同的數(shù)據(jù)源系統(tǒng)和不同的數(shù)據(jù)需要，進行更新方式的配置。 功能要求 1. 提供圖形化的操作配置界面； 2. 支持直接追加方式； 3. 支持全部覆蓋方式； 4. 支持更新追加方式。 新頻度配置 在確定更新方式之后，同樣需要提供更新方式的頻度配置能力，需要從數(shù)據(jù)源系統(tǒng)的生產(chǎn)壓力、系統(tǒng)架構等方面來考慮頻度。 功能要 求 1. 提供圖形化的操作配置界面； 2. 提供不同級別的數(shù)據(jù)更新頻度，如秒級、分鐘級、小時級、天或更長時間（包括周和月）。 據(jù)質(zhì)量管理域 數(shù)據(jù)質(zhì)量管理域的功能是為了解決目前普遍的數(shù)據(jù)質(zhì)量頑疾，通過建立數(shù)據(jù)質(zhì)量管理組織機構，制定質(zhì)量管理規(guī)范，確定相應的工作流程方法，并在系統(tǒng)中實現(xiàn)質(zhì)量檢查、修正、考核功能，形成數(shù)據(jù)質(zhì)量修正閉環(huán)的機制，確保數(shù)據(jù)質(zhì)量問題由發(fā)散狀態(tài)轉(zhuǎn)為收斂狀態(tài)，并隨著時間的積累逐步逼近真實狀態(tài)。數(shù)據(jù)質(zhì)量問題不可能在一夜之間解決，突擊檢查只能短期內(nèi)改善數(shù)據(jù)質(zhì)量，徹底的解決方式是將其作為一項日常的工作由固定的 組織機構來執(zhí)行 。 范 版權所有，注意保密 13 術規(guī)范 據(jù)質(zhì)量檢查 數(shù)據(jù)質(zhì)量檢查是對數(shù)據(jù)本身執(zhí)行合法性等方面檢查的過程，主要通過設置業(yè)務邏輯規(guī)則來實現(xiàn)對數(shù)據(jù)屬性、數(shù)據(jù)屬性關系、數(shù)據(jù)表關系的檢查。 系統(tǒng)數(shù)據(jù)質(zhì)量 檢查 障源系統(tǒng)數(shù)據(jù)質(zhì)量的改進， 如：對客戶名稱進行檢查、帳戶名稱檢查、用戶名稱檢查、客戶地址檢查、身份證號碼檢查等等。 功能要求 1. 支持對質(zhì)量檢查的規(guī)則進行配置，支持按照不同源業(yè)務系統(tǒng)進行配置； 2. 提供按照數(shù)據(jù)質(zhì)量規(guī)則進行數(shù)據(jù)檢查功能； 3. 提供數(shù)據(jù)檢查結果展示功能； 4. 提供數(shù)據(jù)檢查結果分析統(tǒng)計功能。 系統(tǒng) 數(shù)據(jù)質(zhì)量檢查 對不同系統(tǒng)之間的相同屬性數(shù)據(jù)進行一致性進行檢查，實現(xiàn)跨系統(tǒng)數(shù)據(jù)質(zhì)量檢查： 功能要求 1. 提供對一致性的檢查規(guī)則進行配置； 2. 提供按照數(shù)據(jù)一致性檢查規(guī)則進行數(shù)據(jù)質(zhì)量檢查功能； 3. 提供數(shù)據(jù)檢查結果展示功能； 4. 提供數(shù)據(jù)檢查結果進行分析統(tǒng)計功能； 范 版權所有，注意保密 14 術規(guī)范 據(jù)質(zhì)量預警告警 當發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，需要及時地將質(zhì)量問題形成報告，提供相應的預告警信息，便于針對這些預告警信息進行處理。 功能要求 1. 支持對一定時間段 內(nèi)的數(shù)據(jù)質(zhì)量告警 /預警信息進行列表顯示； 2. 告警 /預警信息應包括數(shù)據(jù)質(zhì)量審核問題單相關信息； 3. 針對每條數(shù)據(jù)質(zhì)量檢查規(guī)則可以設置是否作為告警 /預警信息出現(xiàn)在告警 /預警界面。 據(jù) 質(zhì)量評估分析 數(shù)據(jù)質(zhì)量評估分析是指通過配置數(shù)據(jù)質(zhì)量問題分析解決過程中的各項考核指標，對數(shù)據(jù)質(zhì)量問題處理情況進行分析，使管理層能以直觀（報表查詢界面）的方式了解通過 功能要求 1. 支持總量評估功能，以報告模式對連續(xù)幾個周期（或某個固定周期）的需要評估總量的數(shù)據(jù)質(zhì)量檢查 /稽核報告（可配置），統(tǒng)計各類錯誤數(shù)，從總體上對數(shù)據(jù)質(zhì)量的收斂度進行評估 ； 2. 支持源系統(tǒng)數(shù)據(jù)質(zhì)量問題評估功能，以報告模式提供按源系統(tǒng)匯總連續(xù)幾個周期（或某個固定周期）的各數(shù)據(jù)質(zhì)量問題報告，統(tǒng)計各類錯誤，對各源系統(tǒng)的質(zhì)量的收斂度進行評估； 3. 支持專項數(shù)據(jù)質(zhì)量問題評估功能，根據(jù)連續(xù)幾個周期（或某個固定周期）的質(zhì)量問題報告，以報告模式對重點關注的質(zhì)量專題，制定專題規(guī)則進行分析并對結果予以評估。 范 版權所有，注意保密 15 術規(guī)范 務規(guī)則檢查 源系統(tǒng)數(shù)據(jù)質(zhì)量表現(xiàn)出來的問題，可能是業(yè)務規(guī)則設置、業(yè)務理解或?qū)崿F(xiàn)的問題，那么對這些問題的修正，需要源系統(tǒng)修改業(yè)務 處理規(guī)則。系統(tǒng)通過提供業(yè)務規(guī)則檢查功能，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，對該問題進行解決。 功能要求 1. 支持業(yè)務規(guī)則設定，能夠隨著業(yè)務的發(fā)展進行擴展； 2. 支持按照業(yè)務規(guī)則對數(shù)據(jù)進行檢查，并能夠生成檢查報告； 據(jù)閥值監(jiān)控 數(shù)據(jù)閥值監(jiān)控是指 數(shù)據(jù)在 理過程中，對于抽取、轉(zhuǎn)換、加載、匯總等環(huán)節(jié)提供閥值監(jiān)控功能；提供環(huán)節(jié)和數(shù)據(jù)處理方式的不同設定閥值功能，同時根據(jù)設定閥值進行監(jiān)控，并顯示監(jiān)控信息。 功能要求 1. 支持數(shù)據(jù)閥值的設定，閥值的觸發(fā)點可以設置到不同的環(huán)節(jié)，或者不同的數(shù)據(jù)處理方式； 2. 支持閥值觸發(fā)點的擴充，以適應監(jiān)控 的需求擴展； 3. 支持閥值的動態(tài)監(jiān)控，能夠?qū)崟r地顯示監(jiān)控報告。 據(jù)質(zhì)量執(zhí)行 則調(diào)度策略 規(guī)則通過規(guī)則調(diào)度引擎來調(diào)度執(zhí)行，調(diào)度引擎可以是 具，也可以是工作流產(chǎn)品或者單獨開發(fā)的程序，根據(jù)規(guī)則特點和業(yè)務需要，配置對規(guī)則的調(diào)度策略。規(guī)則調(diào)度策略：事件策略、時間策略、頻度策略、控制順序策略等。 功能要求 1. 支持事件策略：只有當某事件發(fā)生時才會調(diào)度執(zhí)行某規(guī)則。比如 程對文件 范 版權所有，注意保密 16 術規(guī)范 檢查規(guī)則、記錄檢查規(guī)則的設定。 2. 支持時間策略：某些規(guī)則執(zhí)行耗時長，資源占用量大，可以考慮安排特殊事件予以調(diào)度執(zhí)行； 3. 支持頻度策略：重要 數(shù)據(jù)重要業(yè)務檢查內(nèi)容，可以安排頻度較高的調(diào)用； 4. 支持控制順序策略：某些規(guī)則之間具有調(diào)用的先后順序，故需要預先設定。 則執(zhí)行日志 對規(guī)則執(zhí)行結果必須通過日志、報告予以詳盡記錄。 規(guī)則執(zhí)行日志是質(zhì)量管理文檔化的一部分，主要記錄異常數(shù)據(jù)的狀況，這些異常數(shù)據(jù)是質(zhì)量分析的主要依據(jù)。 通過規(guī)則執(zhí)行日志，可以把握數(shù)據(jù)質(zhì)量宏觀、微觀、收斂性等各方面情況。比如宏觀上，了解數(shù)據(jù)質(zhì)量匯總后的狀況；微觀上，清楚每一個質(zhì)量問題涉及的記錄；質(zhì)量收斂性方面，把握前后兩次檢查稽核中錯誤重復出現(xiàn)的記錄數(shù)、新增錯誤數(shù)、已改正錯誤數(shù)，以及錯誤 發(fā)展的趨勢狀況。 功能要求 1. 支持定義錯誤類型和錯誤代碼：通過錯誤分類和錯誤代碼，可以更好地描述和理解錯誤； 2. 支持定義源表與目標表映射關系：定義源系統(tǒng)表與 統(tǒng)目標表之間的映射關系，便于跟蹤錯誤； 3. 支持定義滿足日志記錄的錯誤表群：每個錯誤必須能記錄到記錄級，并且能詳盡記錄稽核時間、批次等信息。如：執(zhí)行批次表、錯誤匯總表、錯誤記錄表、錯誤比對表等； 4. 支持記錄每次規(guī)則執(zhí)行的匯總信息，作為稽核報告的數(shù)據(jù)基礎：規(guī)則執(zhí)行結束后，適時對執(zhí)行結果進行匯總記錄，并形成對應執(zhí)行報告。規(guī)則的每次執(zhí)行，都必須有詳盡的記錄， 必須滿足對執(zhí)行結果的分析。 范 版權所有，注意保密 17 術規(guī)范 常通知機制 異常通知機制是指對于數(shù)據(jù)在處理過程中，對于抽取、轉(zhuǎn)換、加載、匯總等各個環(huán)節(jié)中產(chǎn)生的異常進行通知功能。 功能要求 1. 支持處理多種異常的觸發(fā)方式，主要包括數(shù)據(jù)異常、操作異常等； 2. 支持多種異常通知方式：支持通過瀏覽器方式顯示異常信息，支持通過郵件方式發(fā)送異常信息，支持通過短信方式發(fā)送異常信息。 常數(shù)據(jù)報告 異常數(shù)據(jù)報告是指對于數(shù)據(jù)在 理過程中，對于抽取、整合、加載、匯總等各個環(huán)節(jié)中產(chǎn)生的異常數(shù)據(jù)提供分類統(tǒng)計功能。 功能要求 1. 支持按照產(chǎn)品、業(yè)務、時間等多個維度 進行異常數(shù)據(jù)分類統(tǒng)計和分析； 2. 支持按照產(chǎn)品、業(yè)務、時間等多個維度進行異常數(shù)據(jù)分類展現(xiàn)功能。 量管理流程 數(shù)據(jù)質(zhì)量管理總體上來說，是遵循發(fā)現(xiàn)問題、分析問題、制定解決方案、解決問題的閉環(huán)循環(huán)過程。逐步地提高數(shù)據(jù)質(zhì)量。 功能要求 1. 要求提供流程工具來支持質(zhì)量管理流程的實現(xiàn)； 2. 支持質(zhì)量管理流程模板的制定，能夠按照質(zhì)量問題分類、源系統(tǒng)等屬性進行配置； 3. 支持數(shù)據(jù)質(zhì)量管理流程閉環(huán)，保證各種質(zhì)量問題有對應的處理機制； 4. 要向源系統(tǒng)提供異常數(shù)據(jù)清單； 5. 支持質(zhì)量問題發(fā)現(xiàn)、分析、解決、確認的持續(xù) 改進過程； 范 版權所有，注意保密 18 術規(guī)范 6. 提供各個環(huán)節(jié)的監(jiān)控和操作功能。 則庫管理 規(guī)則庫是一系列規(guī)則的集合，每一個規(guī)則的制定都是為了完成一個特定的數(shù)據(jù)稽核 /檢查任務，通過執(zhí)行規(guī)則可以找出數(shù)據(jù)質(zhì)量存在的問題。規(guī)則根據(jù)需要而制定，既可以是技術規(guī)則，也可以是業(yè)務規(guī)則；既可以針對數(shù)據(jù)總量（總量級規(guī)則），也可以針對具體記錄（記錄級規(guī)則）。 功能要求 1. 支持在統(tǒng)一的模塊中，能夠?qū)崿F(xiàn)多種業(yè)務規(guī)則、技術規(guī)則的配置； 2. 支持規(guī)則的版本管理。 據(jù)修正考核 數(shù)據(jù)問題是指數(shù)據(jù)記錄個體的問題，是由于歷史原因、操作失誤、或信息不全等導致的，如： 不正確數(shù)據(jù)： 數(shù)據(jù)無效或錯誤，違反數(shù)據(jù)約束規(guī)則、業(yè)務規(guī)則等； 不完整數(shù)據(jù)：某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運轉(zhuǎn)，但這些信息的缺失會影響 不一致數(shù)據(jù)：源系統(tǒng)彼此間信息存在沖突和差異，或者同一源系統(tǒng)內(nèi)部的冗余信息之間存在沖突。 數(shù)據(jù)問題需在源系統(tǒng)中對問題數(shù)據(jù)進行補錄、修改，數(shù)據(jù)問題修正后就能得到改進，避免重復發(fā)生，可提升源系統(tǒng)的數(shù)據(jù)質(zhì)量。 夠?qū)υ聪到y(tǒng)數(shù)據(jù)修正情況進行考核。 功能要求 1. 支持對不同源系統(tǒng)數(shù)據(jù)問題修正率的分析與展示。 范 版權所有，注意保密 19 術規(guī)范 據(jù)共享域 數(shù)據(jù)共享域的功能是基于數(shù)據(jù)整合域所形成的統(tǒng)一數(shù)據(jù) 視圖，通過集中的數(shù)據(jù) /服務提供功能，為各業(yè)務應用系統(tǒng)提供非自有數(shù)據(jù)的共享，優(yōu)化目前各業(yè)務應用系統(tǒng)間網(wǎng)狀的數(shù)據(jù)流轉(zhuǎn)方式，簡化數(shù)據(jù)共享邏輯，降低數(shù)據(jù)不一致的風險。數(shù)據(jù)共享域的功能包括共享配置管理、數(shù)據(jù) /服務提供和共享權限控制。 享配置管理 共享配置管理對共享數(shù)據(jù)的內(nèi)容和共享接口規(guī)則進行配置。 功能要求 1. 支持對使用共享數(shù)據(jù)的系統(tǒng)范圍進行配置，定制對其他系統(tǒng)提供的接口數(shù)據(jù)的數(shù)據(jù)結構和語義描述； 2. 支持對共享數(shù)據(jù)訪問頻率和訪問允許時間段進行配置管理； 3. 支持對數(shù)據(jù)直接提供、數(shù)據(jù)服務提供、界面集成等各種共享數(shù)據(jù)的發(fā)布 方式的配置管理。 據(jù) /服務提供 據(jù)庫物理共享、接口表、視圖、數(shù)據(jù)高級復制等技術手段向外部系統(tǒng)直接提供數(shù)據(jù)。 功能要求 1. 支持通過服務調(diào)用實現(xiàn) 跨平臺應用程序之間 的 應用到應用 (成。 包括 應用程序接口 ( 端方法調(diào)用 (面向消息的中間件以及 務等多 種技術 手段； 2. 要求提供數(shù)據(jù)服務定義、數(shù)據(jù)服務目錄、服務參數(shù)定義的功能； 3. 支持業(yè)務應用系統(tǒng)直接 集成 統(tǒng)的界面 ，以 建立一 些 跨 系統(tǒng)的綜合應用 。 在界面構件的合理規(guī)劃和設計下，通過界面集成可以提高開發(fā) 部署效率、提高構件的重用性、有利于系統(tǒng)的健壯性和穩(wěn)定性。 范 版權所有，注意保密 20 術規(guī)范 享權限控制 作為企業(yè)運營數(shù)據(jù)的共享中心， 是，不同的業(yè)務應用系統(tǒng)所需訪問的數(shù)據(jù)內(nèi)容不同，這就要求根據(jù)共享數(shù)據(jù)的 制各個業(yè)務應用系統(tǒng)對共享數(shù)據(jù)的訪問權限。 功能要求 1. 支持共享域中提供的數(shù)據(jù)和數(shù)據(jù)服務的授權訪問機制，支持對用戶 /角色權限的定制和對數(shù)據(jù) /數(shù)據(jù)服務的使用權限的限制； 2. 支持訪問的日志記錄機制。 據(jù)應用域 數(shù)據(jù)應用域通過基于 供查詢、固定報表、動態(tài)報表和批量計算 等應用。 據(jù)查詢 數(shù)據(jù)查詢是一種條件不固定、不可預見、格式靈活的動態(tài)查詢功能，是按需查詢，與預定義的常用查詢相對。用戶可以選擇任意維度（一或多個）進行查詢，它的使用人員無需了解數(shù)據(jù)庫和 需通過系統(tǒng)提供的各種向?qū)浇缑婧吐?lián)機幫助，按照業(yè)務邏輯規(guī)則即可快速、簡潔的定義查詢需求，系統(tǒng)自動完成連接操作、條件定義等 功能要求 1. 支持客戶統(tǒng)一視圖查詢功能； 2. 等。 定報表 固定報表是基于指標型的報表，對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開 銷兩方面的考慮，應采用后臺通過作業(yè) 范 版權所有，注意保密 21 術規(guī)范 的方式先自動生成，在需要時可以立即展現(xiàn)結果。報表展現(xiàn)應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數(shù)據(jù)導出為其他文件類型，如 持報表精確打印控制。 功能要求 1. 支持客戶品牌統(tǒng)計； 2. 企業(yè)數(shù)據(jù)應用門戶的部分報表 ； 3. 支持 4. 等。 算應用 此可以支撐跨系統(tǒng)的數(shù)據(jù)計算方面的業(yè)務要求。但是 是專注于數(shù)據(jù)方面的計算過程。 功能要求 1. 支持客戶 評價的計算； 2. 支持客戶品牌的標簽； 3. 支持代理商等級計算； 4. 支持代理商傭金計算； 5. 等。 態(tài)報表 基于 以利用報表工具對數(shù)據(jù)進行各主題性的統(tǒng)計。 功能要求 1. 報表參數(shù)化的定制，針對報表主題可以進行指定條件的內(nèi)容定制，使管理人員能根據(jù)自己的需要生成各種報表，提高應用支撐的靈活性； 2. 支持市場計劃類的統(tǒng)計與監(jiān)控； 3. 支持營銷類活動統(tǒng)計； 范 版權所有，注意保密 22 術規(guī)范 4. 支持商機類分析統(tǒng)計與監(jiān)控； 5. 支持訂單統(tǒng)計與監(jiān)控； 6. 支持銷售活動統(tǒng)計； 7. 支持 8. 支持合作伙伴考評； 9. 支持客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務收入、欠費、競 爭統(tǒng)計； 10. 等。 共管理域 公共管理域是屬于系統(tǒng)公用的功能，作為其他功能模塊的支撐。 包括三塊功能： 1. 系統(tǒng)管理：系統(tǒng)管理是為保證 統(tǒng)正常運行所需要的基本功能，主要包括系統(tǒng)用戶管理、角色管理、權限管理、組織管理、備份與恢復、系統(tǒng)日志管理等方面。 2. 系統(tǒng)監(jiān)控：系統(tǒng)監(jiān)控提供一種通用的機制與服務，監(jiān)視組成系統(tǒng)各部件的運行狀態(tài)，當發(fā)生異常時能夠主動地向特定目標通知異常。 3. 元數(shù)據(jù)管理： 數(shù)據(jù)管理為用戶正確理解和操作數(shù)據(jù)提供支撐，它貫穿 行和維護的整個生命周期。 統(tǒng)管理 統(tǒng)用戶管理、權限管理、角色管理等，確保 統(tǒng)用戶管理 用戶是指授權訪問 戶管理用來記錄用戶相關信息，如賬戶、密碼等。用戶要擁有對某個主題的操作權限，必須通過角色去關聯(lián)。 范 版權所有，注意保密 23 術規(guī)范 1. 用戶名稱（ 全企業(yè)唯一，缺省為員工工號； 2. 用戶的初始密碼由安全管理員設置，統(tǒng)一在系統(tǒng)管理的個人資料錄入中完成； 3. 安全管理員能夠修改用戶的密碼，統(tǒng)一在系統(tǒng)管理的個人資料修改中完成； 4. 各級管理員在本人權限范圍內(nèi)能夠?qū)τ脩暨M行增加、刪除、修改等操作； 5. 各級管理員在本人權限范圍 內(nèi)能夠?qū)τ脩裘艽a進行修改； 6. 用戶缺省能夠修改本人的密碼；用戶首次登錄后，系統(tǒng)提示用戶必須進行密碼的修改； 7. 對密碼的要求： ； 長度要求： 6 1. 創(chuàng)建角色：當用戶所需的角色不在系統(tǒng)原有 角色中時，可由系統(tǒng)管理員創(chuàng)建新的角色，以滿足用戶的需要； 2. 授予用戶角色：當用戶建立好后，要給用戶授予適當?shù)慕巧@取一定的權限； 3. 修改用戶角色：可以對用戶的角色進行重新分配，即修改。角色具有以下主要屬性： 編號：在系統(tǒng)中唯一； 名稱：在系統(tǒng)中唯一； 注釋：描述角色信息。 4. 可以刪除角色； 5. 可以根據(jù)角色進行查詢統(tǒng)計。 限管理 權限指訪問 統(tǒng)的用戶根據(jù)角色獲得對系統(tǒng)某些功能的操作，例如讀、寫、修改和刪除等功能。 授權管理的基本操作：進行系統(tǒng)管理員身份認證后，為角色分配相應的權限，修改角色的權限等操作，相關的 操作結果存入角色 _權限表中；并可以在模塊對象發(fā)生變化后，創(chuàng)建對象權限，相關的操作結果存入權限表中。 1. 能夠創(chuàng)建對象權限：當增加系統(tǒng)對象時，應創(chuàng)建該對象的權限； 2. 能夠分配角色權限：給不同的角色分配相應的權限； 3. 能夠修改角色權限：根據(jù)需要，可以修改角色的權限； 4. 權限設置必須由被授權的系統(tǒng)管理員完成，管理員不能設置大于自身權限的權 范 版權所有，注意保密 25 術規(guī)范 限；權限管理采用分級的管理方式。上一級可以設置下一級的管理權限； 5. 權限具有以下主要屬性： 編號，在系統(tǒng)中唯一； 名稱，在系統(tǒng)中唯一； 注釋，描述權限信息。 6. 權限、角色、用戶之 間具有如下關系： 1）用戶與角色的多對多關系 一個用戶可以隸屬于多個角色，一個角色組也可擁有多個用戶，用戶角色就是用來描述它們之間隸屬關系的對象。用戶通過角色關聯(lián)所擁有對某種資源的權限。 2）權限與角色的多對多關系 權限是一個二元組關系，包括對象和對對象的操作。對象包括用戶操作的系統(tǒng)模塊和數(shù)據(jù)對象，通過權限與角色的關系來設定角色操作對象的權限。一個角色可以擁有多個權限，同樣一個權限可分配給多個角色。 織管理 組織機構包括省、市、縣（區(qū)）各級各類部門、班、組等。組織管理完成對其按組織結構進行統(tǒng)一編碼和維護。 1. 系統(tǒng)按照組織結構對省、市、縣（區(qū)）各級各類部門、班、組等進行統(tǒng)一編碼，按人員的組織結構從上往下進行管理，具體編碼方式和位長可根據(jù)實際情況進行編排； 2. 具有相應權限的用戶可對省、市、縣（區(qū)）各級各類部門、班、組等進行編碼并進行增加、修改、刪除等操作，并對上下級關系等進行增加、修改、刪除； 3. 系統(tǒng)支持組織機構的樹狀層次管理，一個組織機構可以有多個子節(jié)點； 范 版權所有，注意保密 26 術規(guī)范 4. 可以對編碼和組織結構進行查詢統(tǒng)計。 份與恢復 統(tǒng)中的數(shù)據(jù)按既定的策略備份到指定介質(zhì)上。 期或不定期的系統(tǒng)備份，對可能出現(xiàn)的系統(tǒng)故障或錯誤操作有足夠的恢復能力。 數(shù)據(jù)備份系統(tǒng)應以不影響 質(zhì)損壞、人為誤操作等原因引起數(shù)據(jù)丟失后，備份系統(tǒng)應能提供快速的數(shù)據(jù)恢復手段。 1. 數(shù)據(jù)備份要求 數(shù)據(jù) 備份包括操作系統(tǒng)備份、應用系統(tǒng)備份和業(yè)務數(shù)據(jù)備份；