中國(guó)電信ODS規(guī)范培訓(xùn)

2017/10/26,1,ODS規(guī)范培訓(xùn)-技術(shù)分冊(cè)與ODS應(yīng)用,中國(guó)電信股份有限公司廣州研究院廣東省電信有限公司研究院10/26/2017,2017/10/26,2,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,3,系統(tǒng)技術(shù)架構(gòu),使用者,其他應(yīng)用,HTML,Web服務(wù),業(yè)務(wù)組件,數(shù)據(jù)訪問(wèn),用戶界面,界面組件,ETL/EAI組件,生產(chǎn)系統(tǒng)數(shù)據(jù),界面生成框架,規(guī)則配置,數(shù)據(jù)服務(wù)組件,數(shù)據(jù)處理組件,匯總層,匯總數(shù)據(jù)區(qū)域,數(shù)據(jù)整合,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)共享,數(shù)據(jù)應(yīng)用,外部訪問(wèn),數(shù)據(jù)源,ODS系統(tǒng),REPORT,2017/10/26,4,系統(tǒng)技術(shù)特點(diǎn),批量數(shù)據(jù)加載和實(shí)時(shí)數(shù)據(jù)更新并存,三范式模型、星型模型、寬表模型并存,細(xì)粒度數(shù)據(jù)和匯總數(shù)據(jù)并存,事務(wù)型查詢和分析型查詢的并存,數(shù)據(jù)保存周期介于生產(chǎn)系統(tǒng)和EDW之間,ODS系統(tǒng)不同于事務(wù)處理為主的生產(chǎn)系統(tǒng)，也不同于統(tǒng)計(jì)分析為主的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。系統(tǒng)需要支撐跨域數(shù)據(jù)查詢,數(shù)據(jù)共享等功能，還需要支撐生產(chǎn)系統(tǒng)對(duì)一定周期內(nèi)運(yùn)營(yíng)數(shù)據(jù)數(shù)據(jù)的統(tǒng)計(jì)監(jiān)控等功能,2017/10/26,5,系統(tǒng)總體技術(shù)要求,網(wǎng)絡(luò)與硬件方面采用安全可靠的高速磁盤陣列設(shè)備，支持多機(jī)高可用群集系統(tǒng)，磁盤陣列與主機(jī)系統(tǒng)采用SAN方式連接；采用高速可靠的網(wǎng)絡(luò)設(shè)備，提供高速的I/O能力；主機(jī)支持多機(jī)群集或海量并行處理技術(shù)，支持分區(qū)技術(shù)；主機(jī)采用高可用性(HA)和負(fù)載均衡的方式，防止單點(diǎn)故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。,軟件方面選擇對(duì)OLTP和OLAP應(yīng)用都具備穩(wěn)定處理性能的數(shù)據(jù)庫(kù)引擎；選擇能對(duì)數(shù)據(jù)整合過(guò)程進(jìn)行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術(shù)；選擇提供各種接入方式的報(bào)表查詢和統(tǒng)計(jì)分析功能的報(bào)表工具；選擇為業(yè)務(wù)處理、技術(shù)實(shí)現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導(dǎo)航功能的元數(shù)據(jù)管理工具，； 采用能對(duì)系統(tǒng)內(nèi)的軟硬件節(jié)點(diǎn)進(jìn)行監(jiān)控和自動(dòng)預(yù)警的系統(tǒng)監(jiān)控軟件；制定完善的備份與恢復(fù)策略，采用成熟的備份軟硬件，提供快速備份與恢復(fù)功能；為了滿足數(shù)據(jù)的高速加載，系統(tǒng)需進(jìn)行相關(guān)優(yōu)化操作，優(yōu)化數(shù)據(jù)抽取調(diào)度策略，避免CPU、Memory、IO等資源的爭(zhēng)搶，設(shè)計(jì)良好的數(shù)據(jù)文件/表空間/數(shù)據(jù)表存儲(chǔ)規(guī)劃，保證數(shù)據(jù)在磁盤的優(yōu)化分布。,2017/10/26,6,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,7,數(shù)據(jù)加載,系統(tǒng)技術(shù)要求數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)要求,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,數(shù)據(jù)抽取接口設(shè)計(jì)應(yīng)充分考慮ODS系統(tǒng)接口的開放性、可擴(kuò)展性；接口數(shù)據(jù)傳輸控制策略應(yīng)可靠且完善；具有可靠的接口數(shù)據(jù)出錯(cuò)處理機(jī)制；支持不同的數(shù)據(jù)源系統(tǒng)平臺(tái)。支持對(duì)多種不同系統(tǒng)平臺(tái)和數(shù)據(jù)類型的源系統(tǒng)數(shù)據(jù)抽取與轉(zhuǎn)換。包括各種關(guān)系型、層次型、文件型數(shù)據(jù)庫(kù)系統(tǒng)及各種文件格式等源數(shù)據(jù)；數(shù)據(jù)抽取盡量減少對(duì)源系統(tǒng)的性能影響；支持多種數(shù)據(jù)裝載方式；數(shù)據(jù)抽取接口應(yīng)支持實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)抽取，例如接口表、FTP、中間件、WEB-SERVICE等；ETL工具支持二次開發(fā)，并通過(guò)對(duì)內(nèi)嵌腳本語(yǔ)言、存儲(chǔ)過(guò)程、插件及外部程序來(lái)處理復(fù)雜的處理，提供調(diào)試、跟蹤功能；ETL過(guò)程支持多個(gè)數(shù)據(jù)庫(kù)連接，數(shù)據(jù)轉(zhuǎn)換與加載處理過(guò)程應(yīng)支持并行處理；對(duì)于用戶資料、客戶資料等核心數(shù)據(jù)加載要求逐步實(shí)現(xiàn)實(shí)時(shí)更新，最終目標(biāo)控制在秒級(jí)；對(duì)于除了核心數(shù)據(jù)以外的ODS日批量數(shù)據(jù)抽取加載應(yīng)在3小時(shí)內(nèi)完成；對(duì)于帳單等月批量數(shù)據(jù)抽取加載應(yīng)控制在5小時(shí)內(nèi)完成；對(duì)于加載到系統(tǒng)的日數(shù)據(jù)以及月數(shù)據(jù)要及時(shí)整合匯總，應(yīng)控制在4小時(shí)內(nèi)完成；數(shù)據(jù)轉(zhuǎn)換處理過(guò)程支持各種字符集的轉(zhuǎn)換。,數(shù)據(jù)整合過(guò)程,2017/10/26,8,數(shù)據(jù)加載,系統(tǒng)技術(shù)建議數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)建議,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,實(shí)時(shí)抽取接口建議采用自行開發(fā)的WEB-SERVICE接口或成熟消息中間件產(chǎn)品；批量數(shù)據(jù)抽取建議源系統(tǒng)提供文本格式文件并FTP到ODS；數(shù)據(jù)轉(zhuǎn)換與加載建議采用成熟ETL工具；對(duì)數(shù)據(jù)表比較大，建議采用增量數(shù)據(jù)抽取方式，定期進(jìn)行全量更新，對(duì)源系統(tǒng)表沒(méi)有增量時(shí)間標(biāo)志的，由源系統(tǒng)方進(jìn)行必要的改造，增加時(shí)間戳等；在數(shù)據(jù)整合過(guò)程中先進(jìn)行單一系統(tǒng)內(nèi)數(shù)據(jù)整合，然后再進(jìn)行跨系統(tǒng)的數(shù)據(jù)整合；對(duì)于小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置數(shù)據(jù)等，可以采用全量抽取方式進(jìn)行抽?。唤ㄗh數(shù)據(jù)抽取周期可根據(jù)接口對(duì)象不同和實(shí)際的數(shù)據(jù)獲取需求不同而采取有針對(duì)性的設(shè)計(jì)；建議批量抽取操作盡可能在相關(guān)生產(chǎn)系統(tǒng)空閑的時(shí)段執(zhí)行；批量數(shù)據(jù)轉(zhuǎn)換與加載，建議在應(yīng)用設(shè)計(jì)時(shí)考慮加載轉(zhuǎn)換的并行化，建議采用內(nèi)存處理技術(shù)；源生產(chǎn)系統(tǒng)可采用改造業(yè)務(wù)邏輯、數(shù)據(jù)庫(kù)觸發(fā)器、數(shù)據(jù)庫(kù)日志觸發(fā)等不同的方式來(lái)實(shí)現(xiàn)實(shí)時(shí)向ODS系統(tǒng)提供需實(shí)時(shí)提供的源數(shù)據(jù)。,數(shù)據(jù)整合過(guò)程,2017/10/26,9,系統(tǒng)技術(shù)要求數(shù)據(jù)存儲(chǔ),數(shù)據(jù)模型技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,對(duì)于接口層數(shù)據(jù)模型應(yīng)貼近源系統(tǒng)數(shù)據(jù)模型；整合數(shù)據(jù)層中的數(shù)據(jù)模型遵循中國(guó)電信企業(yè)數(shù)據(jù)模型，作為企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)外圍系統(tǒng)逐步統(tǒng)一數(shù)據(jù)模型；ODS各層數(shù)據(jù)模型的設(shè)計(jì)需要考慮ODS需同時(shí)支持OLTP和OLAP類型應(yīng)用的特點(diǎn)；模型設(shè)計(jì)需要考慮高速批量加載及高并發(fā)查詢的快速響應(yīng)；模型能夠支持不同粒度的查詢與報(bào)表需求，綜合考慮業(yè)務(wù)需要，具備適應(yīng)性；通過(guò)數(shù)據(jù)模型的規(guī)范化設(shè)計(jì)，減少不必要的數(shù)據(jù)冗余；模型具有良好的擴(kuò)展能力。,數(shù)據(jù)分層存儲(chǔ),2017/10/26,10,系統(tǒng)技術(shù)要求數(shù)據(jù)存儲(chǔ)（續(xù)）,數(shù)據(jù)存儲(chǔ)技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,能夠存儲(chǔ)海量數(shù)據(jù)，滿足TB級(jí)以上數(shù)據(jù)存儲(chǔ)要求；應(yīng)能夠支持實(shí)時(shí)數(shù)據(jù)快速插入更新，也可以支持批量數(shù)據(jù)快速加載； 應(yīng)保證物理數(shù)據(jù)存儲(chǔ)的安全性，避免硬件損壞造成數(shù)據(jù)丟失；應(yīng)支持過(guò)期數(shù)據(jù)的清理功能，節(jié)省存儲(chǔ)空間；日增量接口層數(shù)據(jù)保存1天，月增量接口層數(shù)據(jù)保存1個(gè)月；整合層三戶數(shù)據(jù)長(zhǎng)久保存；詳單數(shù)據(jù)保存13個(gè)月；其他整合層數(shù)據(jù)保存13月；匯總層數(shù)據(jù)保存3年；數(shù)據(jù)存儲(chǔ)能夠很好地支持OLTP和OLAP相結(jié)合的混合型數(shù)據(jù)操作；數(shù)據(jù)存儲(chǔ)能夠滿足在大數(shù)據(jù)量、大并發(fā)量下的快速數(shù)據(jù)操作，支持?jǐn)?shù)據(jù)行級(jí)鎖、多CPU并行、多服務(wù)器并行；數(shù)據(jù)存儲(chǔ)具備開放性，支持主流的硬件平臺(tái)、軟件技術(shù)、網(wǎng)絡(luò)協(xié)議、開發(fā)技術(shù)標(biāo)準(zhǔn)；數(shù)據(jù)存儲(chǔ)具備可管理性，提供管理工具對(duì)數(shù)據(jù)操作過(guò)程進(jìn)行監(jiān)控，支持設(shè)置相應(yīng)的閥值告警；數(shù)據(jù)存儲(chǔ)具備數(shù)據(jù)存取的高可用性，避免單點(diǎn)故障，實(shí)現(xiàn)實(shí)時(shí)故障切換；數(shù)據(jù)存儲(chǔ)具備良好的可擴(kuò)展性，包括數(shù)據(jù)存儲(chǔ)容量、處理性能的擴(kuò)展，能夠?qū)崿F(xiàn)在線的擴(kuò)展操作；數(shù)據(jù)存儲(chǔ)具備高安全性，對(duì)系統(tǒng)權(quán)限、數(shù)據(jù)權(quán)限、角色權(quán)限有明確的定義和管理，并對(duì)數(shù)據(jù)操作提供審計(jì)功能。,數(shù)據(jù)分層存儲(chǔ),接口數(shù)據(jù)層,數(shù)據(jù)分層存儲(chǔ),2017/10/26,11,系統(tǒng)技術(shù)建議數(shù)據(jù)存儲(chǔ),數(shù)據(jù)模型技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,接口數(shù)據(jù)層數(shù)據(jù)模型可以采用平面表，表結(jié)構(gòu)可以根據(jù)需要做無(wú)索引、無(wú)主鍵、無(wú)外鍵設(shè)計(jì)；整合數(shù)據(jù)層數(shù)據(jù)模型應(yīng)采用第三范式的模型設(shè)計(jì)，考慮到ODS的特點(diǎn)和需要，數(shù)據(jù)模型可進(jìn)行適度地不規(guī)范化處理；匯總數(shù)據(jù)層模型設(shè)計(jì)可以采用寬表、星型模型，也可以進(jìn)行適度地不規(guī)范化處理。,數(shù)據(jù)分層存儲(chǔ),2017/10/26,12,系統(tǒng)技術(shù)建議數(shù)據(jù)存儲(chǔ)（續(xù)）,數(shù)據(jù)存儲(chǔ)技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,建議采用成熟的企業(yè)級(jí)數(shù)據(jù)庫(kù)，支持OLTP和OLAP類型數(shù)據(jù)混合型操作，滿足海量數(shù)據(jù)的存儲(chǔ)和大并發(fā)性操作；建議使用成熟的數(shù)據(jù)建模工具，能夠支持主流的數(shù)據(jù)庫(kù)；建議數(shù)據(jù)庫(kù)采用表分區(qū)技術(shù)，提高數(shù)據(jù)的訪問(wèn)性能和可操作性；建議使用集群技術(shù)/并行處理技術(shù)，提高數(shù)據(jù)操作的性能、穩(wěn)定性和可擴(kuò)展性；建議提供數(shù)據(jù)庫(kù)的自動(dòng)診斷和調(diào)優(yōu)功能，提供各種優(yōu)化建議：內(nèi)存參數(shù)、表結(jié)構(gòu)、索引、SQL語(yǔ)句等；建議數(shù)據(jù)庫(kù)支持在線備份恢復(fù)機(jī)制；建議支持災(zāi)備解決方案，實(shí)現(xiàn)同城或異地?cái)?shù)據(jù)保護(hù)。,數(shù)據(jù)分層存儲(chǔ),2017/10/26,13,計(jì)算應(yīng)用,系統(tǒng)技術(shù)要求數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)要求,動(dòng)態(tài)報(bào)表,固定報(bào)表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng)用分類,90%查詢應(yīng)在10秒以內(nèi)返回，99%查詢?cè)?0秒以內(nèi)返回。固定報(bào)表等前端業(yè)務(wù)響應(yīng)時(shí)間要求小于10秒，動(dòng)態(tài)報(bào)表響應(yīng)時(shí)間要求小于30秒；查詢功能和報(bào)表工具支持大用戶量的高并發(fā)訪問(wèn)；應(yīng)用程序能監(jiān)控查詢的運(yùn)行進(jìn)程，并停止長(zhǎng)時(shí)間未響應(yīng)的查詢，控制資源使用效率。提供查詢時(shí)間預(yù)估功能；查詢功能和報(bào)表工具提供高效的數(shù)據(jù)緩存機(jī)制，對(duì)重復(fù)操作無(wú)需再次直接查詢數(shù)據(jù)庫(kù)；應(yīng)用支持?jǐn)?shù)據(jù)級(jí)安全性，報(bào)表工具支持應(yīng)用級(jí)安全性； 報(bào)表工具應(yīng)具有良好的易用性以及快速開發(fā)環(huán)境；報(bào)表工具支持各種復(fù)雜報(bào)表，報(bào)表能迅速以所見即所得方式進(jìn)行顯示；報(bào)表工具應(yīng)提供二次開發(fā)的接口；報(bào)表展示界面友好，便于界面集成；其他系統(tǒng)通過(guò)界面集成訪問(wèn)ODS系統(tǒng)時(shí)，應(yīng)保證ODS系統(tǒng)與接入系統(tǒng)的統(tǒng)一認(rèn)證；報(bào)表工具支持報(bào)表的定時(shí)生成與發(fā)布；計(jì)算應(yīng)用支持圖形化、向?qū)У确绞蕉ㄖ聘鞣N計(jì)算規(guī)則；計(jì)算應(yīng)用支持復(fù)雜規(guī)則的腳本定義；計(jì)算應(yīng)用提供高效的規(guī)則計(jì)算引擎。,2017/10/26,14,計(jì)算應(yīng)用,系統(tǒng)技術(shù)建議數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)建議,動(dòng)態(tài)報(bào)表,固定報(bào)表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng)用分類,對(duì)查詢SQL進(jìn)行優(yōu)化，對(duì)大數(shù)據(jù)量輸出的查詢進(jìn)行分頁(yè)顯示，減少網(wǎng)絡(luò)傳輸，全面提高查詢性能；建議使用連接池、負(fù)載均衡、集群等技術(shù)提高查詢的并發(fā)性；使用成熟的第三方報(bào)表工具；對(duì)復(fù)雜應(yīng)用建議利用第三方報(bào)表工具的二次開發(fā)接口自行進(jìn)行開發(fā)；對(duì)數(shù)據(jù)量大、規(guī)則復(fù)雜的計(jì)算應(yīng)用建議使用自主開發(fā)的程序完成；對(duì)業(yè)務(wù)邏輯簡(jiǎn)單的計(jì)算應(yīng)用建議采用ETL工具完成；對(duì)數(shù)據(jù)量小的計(jì)算應(yīng)用建議采用數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程等處理方法。,2017/10/26,15,系統(tǒng)技術(shù)要求數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)要求,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),支持?jǐn)?shù)據(jù)視圖、FTP文件和Web服務(wù)等方式對(duì)外提供接口服務(wù)；支持高并發(fā)性訪問(wèn)；Web服務(wù)響應(yīng)時(shí)間應(yīng)控制在5秒以內(nèi)；FTP文件單文件不超過(guò)2GB，超過(guò)2GB時(shí)分割成多個(gè)文件。,數(shù)據(jù)共享訪問(wèn),2017/10/26,16,系統(tǒng)技術(shù)建議數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)建議,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),對(duì)共享數(shù)據(jù)的提供時(shí)間進(jìn)行控制并可靈活配置。建議一般在營(yíng)業(yè)時(shí)間只允許實(shí)時(shí)查詢服務(wù)的訪問(wèn)（特殊情況除外），在非營(yíng)業(yè)時(shí)段進(jìn)行準(zhǔn)實(shí)時(shí)批量數(shù)據(jù)共享操作。同時(shí)在進(jìn)行ETL操作時(shí)也應(yīng)該避免同時(shí)進(jìn)行準(zhǔn)實(shí)時(shí)批量數(shù)據(jù)共享操作；通過(guò)連接池、負(fù)載均衡、集群等技術(shù)提高訪問(wèn)的并發(fā)性；對(duì)大量并發(fā)的準(zhǔn)實(shí)時(shí)批量數(shù)據(jù)共享操作可以按資源占用和所需時(shí)間進(jìn)行合理調(diào)度。,數(shù)據(jù)共享訪問(wèn),2017/10/26,17,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,18,實(shí)施原則,ODS系統(tǒng)實(shí)施原則,整體規(guī)劃分步實(shí)施,統(tǒng)一模型統(tǒng)一接口,保護(hù)投資講究實(shí)效,穩(wěn)健推進(jìn)平滑過(guò)渡,加強(qiáng)管控有序?qū)嵤?2017/10/26,19,數(shù)據(jù)倉(cāng)庫(kù),其他系統(tǒng),計(jì)費(fèi)系統(tǒng),實(shí)施建議,CRM系統(tǒng),流程和管控,周邊系統(tǒng)改造建議,1、業(yè)務(wù)系統(tǒng)增加相關(guān)的數(shù)據(jù)質(zhì)量修改流程和環(huán)節(jié) 2、源生產(chǎn)系統(tǒng)增加數(shù)據(jù)質(zhì)量負(fù)責(zé)等崗位3 、ODS系統(tǒng)的上線后需要增加相關(guān)的信息管理、數(shù)據(jù)稽核等崗位,流程和崗位調(diào)整建議,ODS系統(tǒng)承擔(dān)著數(shù)據(jù)質(zhì)量管理的重要任務(wù)，同時(shí)系統(tǒng)和周邊生產(chǎn)系統(tǒng)存在大量的準(zhǔn)實(shí)時(shí)訪問(wèn)接口，客觀上要求加大IT管控的力度，提高系統(tǒng)建設(shè)質(zhì)量，減少系統(tǒng)風(fēng)險(xiǎn),IT管控支撐建議,1、完善客戶統(tǒng)一視圖信息查詢2、完善客戶銷售服務(wù)流程3、移植運(yùn)營(yíng)分析報(bào)表和批量計(jì)算4、接口改造,1、移植運(yùn)營(yíng)分析報(bào)表和批量計(jì)算2、移植清單、帳單對(duì)外提供查詢3、接口改造,1、其他系統(tǒng)改由ODS獲取共享信息2、接口改造,1、EDW從ODS抽取整合后數(shù)據(jù)2、EDW把營(yíng)銷派單和客戶洞察等數(shù)據(jù)發(fā)送給ODS 3、接口改造,2017/10/26,20,實(shí)施進(jìn)度,數(shù)據(jù)整合階段（2007年8月2008年6月）,應(yīng)用開發(fā)階段（2008年6月2009年12月）,完善提升階段（2009年12月以后不斷完善）,建立初步的ODS體系架構(gòu)，整合BSS域的全部核心數(shù)據(jù)、OSS域中的工單與112故障單及商務(wù)領(lǐng)航平臺(tái)的訂購(gòu)相關(guān)數(shù)據(jù)；形成客戶統(tǒng)一視圖，解決客戶品牌經(jīng)營(yíng)亟需的運(yùn)營(yíng)需求；建立初步的數(shù)據(jù)共享中心，為對(duì)數(shù)據(jù)實(shí)時(shí)性要求相對(duì)不高的系統(tǒng)提供數(shù)據(jù)共享服務(wù)；完成部分其它生產(chǎn)系統(tǒng)未實(shí)現(xiàn)的批量計(jì)算功能；實(shí)現(xiàn)初步的數(shù)據(jù)質(zhì)量管理功能，建立起初步的數(shù)據(jù)質(zhì)量管理閉環(huán)流程。,完善ODS體系架構(gòu)；完善業(yè)務(wù)運(yùn)營(yíng)過(guò)程中的統(tǒng)計(jì)、監(jiān)控應(yīng)用；建成企業(yè)級(jí)的運(yùn)營(yíng)數(shù)據(jù)共享平臺(tái)，為BSS、OSS系統(tǒng)提供更全面的數(shù)據(jù)共享；為國(guó)家公安與安全機(jī)構(gòu)、金融機(jī)構(gòu)等外部機(jī)構(gòu)提供其所需的中國(guó)電信運(yùn)營(yíng)數(shù)據(jù)；提供完善的數(shù)據(jù)質(zhì)量管理體系。,擴(kuò)展ODS體系架構(gòu)，整合BSS市場(chǎng)營(yíng)銷域等數(shù)據(jù)、OSS的開通和故障數(shù)據(jù)、業(yè)務(wù)平臺(tái)數(shù)據(jù)；擴(kuò)展與完善企業(yè)經(jīng)營(yíng)報(bào)表，承接生產(chǎn)系統(tǒng)對(duì)外報(bào)表提供，實(shí)現(xiàn)企業(yè)經(jīng)營(yíng)關(guān)鍵績(jī)效指標(biāo)與經(jīng)營(yíng)風(fēng)險(xiǎn)的監(jiān)控，滿足管理層至客戶經(jīng)理的及時(shí)看數(shù)需求，提升運(yùn)營(yíng)支撐能力；為CRM、計(jì)費(fèi)、10000號(hào)、網(wǎng)廳、服務(wù)開通、業(yè)務(wù)平臺(tái)、資源管理等系統(tǒng)提供跨域數(shù)據(jù)共享；擴(kuò)展ODS上的批量計(jì)算功能；完善數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)與體系。,2017/10/26,21,實(shí)施步驟,2017/10/26,22,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,23,模式一：集團(tuán)ODS省集中ODS,1、省集中業(yè)務(wù)支撐系統(tǒng)建設(shè)比較成熟的中小用戶規(guī)模的省 2、CRM、計(jì)費(fèi)等核心系統(tǒng)都已經(jīng)實(shí)現(xiàn)省集中部署 3、本地網(wǎng)暫時(shí)沒(méi)有大量個(gè)性化的業(yè)務(wù)需求,1、省集中ODS集中存儲(chǔ)全省的運(yùn)營(yíng)數(shù)據(jù)2、本地網(wǎng)不設(shè)置單獨(dú)的運(yùn)營(yíng)分析中心3、本地網(wǎng)直接訪問(wèn)省集中ODS系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù),計(jì)費(fèi)系統(tǒng),省集中ODS,CRM,服務(wù)開通,集團(tuán)ODS,本地網(wǎng)層面,省公司層面,集團(tuán)層面,10000,計(jì)費(fèi)系統(tǒng),CRM,數(shù)據(jù)倉(cāng)庫(kù),其他系統(tǒng),其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,數(shù)據(jù)流向,應(yīng)用訪問(wèn),2017/10/26,24,模式二：集團(tuán)ODS省集中ODS本地運(yùn)營(yíng)數(shù)據(jù)中心,1、本模式適用于計(jì)費(fèi)和CRM系統(tǒng)按照省集中模式建設(shè)2、本地網(wǎng)個(gè)性化業(yè)務(wù)查詢和分析需求比較強(qiáng)，對(duì)性能要求較高的中等以上規(guī)模省,1、本地運(yùn)營(yíng)中心數(shù)據(jù)來(lái)源于省集中ODS系統(tǒng)，只是省集中ODS系統(tǒng)在本地網(wǎng)的延伸，本地運(yùn)營(yíng)中心本身不承擔(dān)業(yè)務(wù)流程和協(xié)同應(yīng)用的功能2、省中心的ODS運(yùn)營(yíng)分析數(shù)據(jù)按照定時(shí)同步的方式進(jìn)入本地運(yùn)營(yíng)數(shù)據(jù)中心，本地運(yùn)營(yíng)中心對(duì)數(shù)據(jù)只有只讀權(quán)限，可針對(duì)這些數(shù)據(jù)開發(fā)個(gè)性化的分析和查詢應(yīng)用3、這種模式能充分發(fā)揮本地網(wǎng)業(yè)務(wù)分析人員的主觀能動(dòng)性，給本地網(wǎng)業(yè)務(wù)人員以更方便和靈活的支撐，支持本地網(wǎng)業(yè)務(wù)人員更好實(shí)現(xiàn)業(yè)務(wù)監(jiān)控與精確化營(yíng)銷 4、隨著本地網(wǎng)個(gè)性化業(yè)務(wù)需求擴(kuò)大，當(dāng)ODS中的運(yùn)營(yíng)數(shù)據(jù)的范圍和時(shí)間周期無(wú)法滿足本地網(wǎng)全部個(gè)性化業(yè)務(wù)需求時(shí)，本地運(yùn)營(yíng)數(shù)據(jù)中心同時(shí)還可從省集中的EDW獲取ODS無(wú)法提供的其他生產(chǎn)數(shù)據(jù)。,數(shù)據(jù)倉(cāng)庫(kù),計(jì)費(fèi)系統(tǒng),省集中ODS,CRM,服務(wù)開通,集團(tuán)ODS,本地網(wǎng)層面,省公司層面,集團(tuán)層面,10000,計(jì)費(fèi)系統(tǒng),CRM,數(shù)據(jù)倉(cāng)庫(kù),其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,本地運(yùn)營(yíng)數(shù)據(jù)中心,其他系統(tǒng),數(shù)據(jù)流向,應(yīng)用訪問(wèn),推薦,2017/10/26,25,模式演進(jìn),前面兩種建設(shè)模式中，模式二是推薦的目標(biāo)部署模式。模式一需要逐步向第二種模式演進(jìn)，演進(jìn)說(shuō)明如下：,2017/10/26,26,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,27,系統(tǒng)物理架構(gòu)示意圖,2017/10/26,28,主機(jī)配置的估算方法,ODS數(shù)據(jù)庫(kù)服務(wù)器性能估算方法 用戶數(shù)據(jù)交易量每日用戶數(shù)據(jù)變動(dòng)量*高峰時(shí)段占比/60分鐘=XX筆/分鐘定單數(shù)據(jù)交易量每日定單數(shù)據(jù)變化量*高峰時(shí)段占比/60分鐘=XX筆/分鐘查詢交易量并發(fā)用戶數(shù)量/分鐘=XX筆/分鐘帳單加載量用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量/要求加載完成的時(shí)間（分鐘）=XX筆/分鐘，每月一次，可以不做為峰值計(jì)算清單加載量每日清單平均數(shù)/要求加載完成的時(shí)間（分鐘）=XX筆/分鐘ETL服務(wù)器性能估算方法I/O方面：消費(fèi)清單的數(shù)據(jù)量（G）平均每日CDR總量*0.5K，要求在2小時(shí)完成。處理能力方面消費(fèi)清單抽取轉(zhuǎn)換量=平均每日清單總量/要求處理完成的時(shí)間（分鐘）=筆/分鐘,2017/10/26,29,存儲(chǔ)的估算方法,客戶資料數(shù)據(jù)： 三戶資料數(shù)據(jù)總?cè)萘?= 用戶數(shù)*(1+0.7+0.7) * 每條客戶資料的數(shù)據(jù)量 其他數(shù)據(jù) 服務(wù)數(shù)據(jù)、定單數(shù)據(jù)等我們按客戶資料數(shù)據(jù)的20冗余計(jì)算 對(duì)于客戶數(shù)據(jù)及其他類數(shù)據(jù)數(shù)據(jù)所需存儲(chǔ) 建立數(shù)據(jù)庫(kù)索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時(shí)表空間等，系數(shù)為1.2。 考慮報(bào)表數(shù)據(jù)20的冗余。 根據(jù)業(yè)務(wù)需求，客戶數(shù)據(jù)及其他類數(shù)據(jù)采用RAID 0 +1，硬盤利用率（主要考慮到 磁盤的最佳使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按50%計(jì)算。客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的可用磁盤陣列存儲(chǔ)容量= (客戶數(shù)據(jù)容量+其他數(shù)據(jù)容量) * 1.2 * 1.2 *1.2 / 0.5,2017/10/26,30,存儲(chǔ)的估算方法（續(xù)）,清單數(shù)據(jù) CDR總?cè)萘勘Ａ舻脑路?每月CDR總數(shù)*0.5K帳單數(shù)據(jù) 帳單數(shù)據(jù)容量保留的月份*用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量*每條數(shù) 據(jù)的數(shù)據(jù)量（K） 對(duì)于帳單清單數(shù)據(jù)所需存儲(chǔ) 建立數(shù)據(jù)庫(kù)索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時(shí)表空間等，系數(shù)為1.2。 根據(jù)業(yè)務(wù)需求，帳單清單數(shù)據(jù)采用RAID 5，硬盤利用率（主要考慮到磁盤的最佳 使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按75%計(jì)算。帳單清單需要的可用磁盤陣列存儲(chǔ)容量= （帳單數(shù)據(jù)總?cè)萘?+ CDR總?cè)萘浚?* 1.2 * 1.2 * / 0.75 ODS共需磁盤陣列存儲(chǔ)容量客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的存儲(chǔ)容量帳單清單磁盤存儲(chǔ)容量。,2017/10/26,31,低端配置建議（900萬(wàn)左右用戶規(guī)模）,2017/10/26,32,中端配置建議（1400萬(wàn)左右用戶規(guī)模）,2017/10/26,33,高端配置建議（2300萬(wàn)左右用戶規(guī)模）,2017/10/26,34,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,35,第三方工具對(duì)比,ETL工具對(duì)比報(bào)表工具對(duì)比 元數(shù)據(jù)管理工具對(duì)比,2017/10/26,36,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,37,數(shù)據(jù)共享,查詢,ODS業(yè)務(wù)應(yīng)用藍(lán)圖,ODS應(yīng)用,計(jì)算應(yīng)用,動(dòng)態(tài)報(bào)表,固定報(bào)表,數(shù)據(jù)整合階段：,應(yīng)用開發(fā)階段 ：,完善提升階段 ：,2017/10/26,38,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,39,ODS數(shù)據(jù)共享,數(shù)據(jù)共享說(shuō)明,數(shù)據(jù)共享業(yè)務(wù)功能,ODS提供良種數(shù)據(jù)共享方式：一種是準(zhǔn)實(shí)時(shí)批量數(shù)據(jù)提供；另一種是實(shí)時(shí)查詢服務(wù)。 1、ODS系統(tǒng)可將獲取到的某個(gè)單個(gè)生產(chǎn)系統(tǒng)的數(shù)據(jù)以準(zhǔn)實(shí)時(shí)地方式批量提供給其它需要此數(shù)據(jù)且對(duì)數(shù)據(jù)實(shí)時(shí)性要求相對(duì)不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口，例如ODS可向號(hào)碼百事通提供用戶號(hào)碼信息等；同時(shí)ODS還可將整合好的跨系統(tǒng)數(shù)據(jù)以準(zhǔn)實(shí)時(shí)批量數(shù)據(jù)提供方式提供給外系統(tǒng)，以配合外系統(tǒng)支撐部分客戶銷售服務(wù)流程等。 2、ODS系統(tǒng)還可通過(guò)實(shí)時(shí)查詢服務(wù)方式將ODS系統(tǒng)內(nèi)整合好的跨系統(tǒng)數(shù)據(jù)向外系統(tǒng)提供，以配合外系統(tǒng)支撐統(tǒng)一客戶視圖查詢等功能 。,統(tǒng)一客戶視圖部分?jǐn)?shù)據(jù)提供、可選銷售品的過(guò)濾數(shù)據(jù)支撐、推薦銷售品數(shù)據(jù)支撐、號(hào)百等系統(tǒng)數(shù)據(jù)提供等,2017/10/26,40,應(yīng)用示例統(tǒng)一客戶視圖數(shù)據(jù)提供,2017/10/26,41,應(yīng)用示例銷售品推薦的數(shù)據(jù)支撐,2017/10/26,42,應(yīng)用示例號(hào)碼百事通等系統(tǒng)數(shù)據(jù)提供,2017/10/26,43,提綱,ODS規(guī)范技術(shù)分冊(cè) 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實(shí)施 系統(tǒng)部署 硬件評(píng)估方法示例 第三方工具評(píng)價(jià)標(biāo)準(zhǔn)及產(chǎn)品比ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,44,ODS應(yīng)用,ODS應(yīng)用分類說(shuō)明,ODS應(yīng)用業(yè)務(wù)功能,1、查詢：ODS實(shí)現(xiàn)查詢條件不固定的按需查詢功能。用戶根據(jù)關(guān)心的維度查詢ODS中整合好的360度業(yè)務(wù)全貌數(shù)據(jù)；2、固定報(bào)表 ：固定報(bào)表是統(tǒng)計(jì)維度和指標(biāo)固定的分析結(jié)果的展示，對(duì)于實(shí)時(shí)性要求高的報(bào)表采用即時(shí)生成的模式，而對(duì)于實(shí)時(shí)性要求不高的報(bào)表，把這些報(bào)表放在ODS系統(tǒng)實(shí)現(xiàn)；3、動(dòng)態(tài)報(bào)表 ：基于ODS整合好的數(shù)據(jù)，利用分析工具按關(guān)心的維度和指標(biāo)對(duì)數(shù)據(jù)進(jìn)行主題性的分析，動(dòng)態(tài)分析應(yīng)用中維度和指標(biāo)不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)任意變換；4、計(jì)算應(yīng)用 ：ODS系統(tǒng)可基于整合好的數(shù)據(jù)按照設(shè)定好的業(yè)務(wù)規(guī)則進(jìn)行部分屬性數(shù)據(jù)計(jì)算，計(jì)算結(jié)果并不在ODS系統(tǒng)中直接更新，而是由ODS返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后再通過(guò)數(shù)據(jù)抽取、加載過(guò)程進(jìn)入ODS之后更新。,1、查詢：統(tǒng)一客戶視圖查詢 、客戶帳單查詢等； 2、固定報(bào)表：客戶品牌統(tǒng)計(jì)、企業(yè)數(shù)據(jù)應(yīng)用門戶的部分報(bào)表、KPI考核固定報(bào)表；3、動(dòng)態(tài)報(bào)表：市場(chǎng)計(jì)劃統(tǒng)計(jì)與監(jiān)督、銷售活動(dòng)統(tǒng)計(jì)、內(nèi)部渠道KPI考核和監(jiān)控、營(yíng)銷活動(dòng)監(jiān)控、訂單統(tǒng)計(jì)與監(jiān)控、商機(jī)統(tǒng)計(jì)和監(jiān)控、網(wǎng)上客服行為統(tǒng)計(jì)與監(jiān)控、客戶接觸信息統(tǒng)計(jì)、跟蹤并統(tǒng)計(jì)客戶響應(yīng)、團(tuán)隊(duì)績(jī)效考核和監(jiān)控、客戶QoS/SLA事后統(tǒng)計(jì)、客戶服務(wù)請(qǐng)求問(wèn)題處理統(tǒng)計(jì)、工單統(tǒng)計(jì)與監(jiān)控、增值業(yè)務(wù)平臺(tái)業(yè)務(wù)量統(tǒng)計(jì)、合作伙伴考評(píng)、10000熱線接入統(tǒng)計(jì)、客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務(wù)收入、欠費(fèi)、競(jìng)爭(zhēng)統(tǒng)計(jì)分析；4、計(jì)算應(yīng)用：客戶品牌標(biāo)簽的標(biāo)識(shí)、客戶等級(jí)計(jì)算、客戶積分計(jì)算、客戶信用度計(jì)算、評(píng)估客戶忠誠(chéng)度、確定挽留與贏回目標(biāo)客戶群、代理商的傭金計(jì)算、代理商等級(jí)計(jì)算。,2017/10/26,45,應(yīng)用示例客戶積分計(jì)算,2017/10/26,46,數(shù)據(jù)質(zhì)量管控流程示例,2017/10/26,47,Q&A,Q&A！,