見(jiàn)微知著 - 海量運(yùn)維數(shù)據(jù)分析的價(jià)值 講座課件PPT

G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站見(jiàn)微知著 - 海量運(yùn)維數(shù)據(jù)分析的價(jià)值亞當(dāng) 擎創(chuàng)信息G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4夏洛克SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站運(yùn)營(yíng)數(shù)據(jù)在高速增長(zhǎng)企業(yè)的數(shù)字化轉(zhuǎn)型運(yùn)維規(guī)模爆發(fā)式增長(zhǎng)服務(wù)器數(shù)量：“萬(wàn)”級(jí)每日運(yùn)營(yíng)數(shù)據(jù)：“TB” 級(jí)運(yùn)維指標(biāo)： “百萬(wàn)”級(jí)典型的大型企業(yè)：G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站運(yùn)維管理的需求與焦點(diǎn)轉(zhuǎn)向敏捷與簡(jiǎn)潔海量監(jiān)控告警篩選生成Incident故障管理嚴(yán)重等級(jí)故障處理監(jiān)監(jiān)控系控系統(tǒng)統(tǒng)篩選篩選過(guò)濾過(guò)濾知識(shí)庫(kù)升級(jí)知識(shí)庫(kù)歷史經(jīng)驗(yàn)外部資源告警規(guī)則ITSMG O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站運(yùn)維管理的需求與焦點(diǎn)轉(zhuǎn)向敏捷與簡(jiǎn)潔當(dāng)今IT運(yùn)維是一種大數(shù)據(jù)挑戰(zhàn)典型的大型企業(yè): 每天產(chǎn)生大約1TB 的可用性和性能管理數(shù)據(jù)Web及移動(dòng)應(yīng)用所要求的研發(fā)與敏捷開發(fā)，產(chǎn)生的數(shù)據(jù)量則大到難以統(tǒng)計(jì)APM文摘2012： 75%的高級(jí)IT總監(jiān)對(duì)傳統(tǒng)的管理方式感到不滿意, 30%表示他們無(wú)法預(yù)測(cè)潛在的宕機(jī)威脅可用性?性能?使用率?關(guān)鍵業(yè)務(wù)指標(biāo)?實(shí)際用戶體驗(yàn)?大數(shù)據(jù)和機(jī)器學(xué)習(xí)的發(fā)展帶來(lái)運(yùn)維轉(zhuǎn)型的機(jī)遇企業(yè)數(shù)據(jù)的類型和數(shù)量正在以指數(shù)級(jí)速度增長(zhǎng)IT系統(tǒng)的復(fù)雜性不斷增加大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)的日趨成熟和商業(yè)化數(shù)據(jù)分析, 已越來(lái)越成為業(yè)務(wù)關(guān)注的重點(diǎn) 運(yùn)維和業(yè)務(wù)線需要洞察 G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4夏洛克SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站運(yùn)用數(shù)據(jù)破案 G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站破案的方法論9機(jī)器數(shù)據(jù)采集搜索和索引可視化/關(guān)聯(lián)分析根本原因分析故障定位及修復(fù)讓監(jiān)控具備名偵探的洞察力已有，并把服務(wù)狀態(tài)、問(wèn)題影響分析等自動(dòng)并理解故障的和 自動(dòng)服務(wù)或依賴環(huán)境的 G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4夏洛克SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站海量運(yùn)維數(shù)據(jù)分析所需具備的能力ITOA可視化展現(xiàn)全局搜索多樣的數(shù)據(jù)采集快速提取關(guān)聯(lián)分析預(yù)測(cè),機(jī)器學(xué)習(xí)G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站取得洞察力 提供洞察力大數(shù)據(jù)運(yùn)維首先需要通過(guò)利用所有數(shù)據(jù)（結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）來(lái)全面了解 IT 運(yùn)維活動(dòng)，其中包括： 事件、日志、拓?fù)浣Y(jié)構(gòu)和任何指標(biāo)。全數(shù)據(jù)采集關(guān)鍵能力:1.全平臺(tái)支持能力 主流操作系統(tǒng)，數(shù)據(jù)庫(kù)，中間件，WEB容器，存儲(chǔ)，備份系統(tǒng)以及硬件監(jiān)控2.海量數(shù)據(jù)實(shí)時(shí)，高頻采集能力(秒采)3.自助監(jiān)控能力擴(kuò)展能力 自定義腳本/模塊化的方式擴(kuò)展監(jiān)控能力4.容錯(cuò)，流量控制，以及采集端健康狀況以及數(shù)據(jù)完整性檢查。服務(wù)請(qǐng)求故障通知單變更記錄CMDB與資產(chǎn)用戶文檔與技術(shù)文檔網(wǎng)絡(luò)流量與事務(wù)處理日志文件警告/報(bào)警與事件性能指標(biāo)核心文件與內(nèi)存痕跡配置文件G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站海量全局搜索大數(shù)據(jù)運(yùn)維需要具備通過(guò)內(nèi)置的智能機(jī)制實(shí)時(shí)收集、搜索數(shù)以百萬(wàn)計(jì)的數(shù)據(jù)字段，并為這些數(shù)據(jù)字段編制索引。需要像Google那樣搜索你的數(shù)據(jù) 接近與自然語(yǔ)言的搜尋 搜索結(jié)果能在海量數(shù)據(jù)中快速獲取 Schema on Read在搜索過(guò)程中提取字段 既時(shí)的在線查詢，立即產(chǎn)生長(zhǎng)時(shí)間結(jié)果 用交互比對(duì)查詢，縮小事件范圍 用時(shí)間、關(guān)鍵詞與統(tǒng)計(jì)函數(shù)，進(jìn)行事件統(tǒng)計(jì)和分析G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站多維度報(bào)表14對(duì)各類運(yùn)營(yíng)數(shù)據(jù)（如，應(yīng)用日志，交易日志，系統(tǒng)日志）進(jìn)行多維度、多角度深入分析及可視化展現(xiàn)，以業(yè)務(wù)視角實(shí)時(shí)展示各種業(yè)務(wù)指標(biāo), 以及幫助關(guān)聯(lián)分析報(bào)表可從搜索結(jié)果中快速提煉G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站15快速發(fā)現(xiàn)故障, 精準(zhǔn)告警精細(xì)化告警，避免傳統(tǒng)監(jiān)控工具因一故障而導(dǎo)致的告警風(fēng)暴，生成告警噪音大大量告警數(shù)據(jù)量告警數(shù)據(jù)精準(zhǔn)告警精準(zhǔn)告警關(guān)關(guān)聯(lián)分析聯(lián)分析關(guān)聯(lián)關(guān)聯(lián)分析分析，根本原因分析，及故障定位合并合并機(jī)機(jī)器學(xué)習(xí)器學(xué)習(xí)，通過(guò)歷史數(shù)據(jù)的挖掘找出一類故障的告警，并合并合并的告警合并的告警信息信息動(dòng)態(tài)基線動(dòng)態(tài)基線機(jī)機(jī)器學(xué)習(xí)，器學(xué)習(xí)，運(yùn)維人員標(biāo)注異常，從基于規(guī)則到基于學(xué)習(xí)G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站關(guān)聯(lián)分析及故障定位業(yè)務(wù)場(chǎng)景模型庫(kù)雜亂不規(guī)整的各系統(tǒng)原始數(shù)據(jù)生成特定場(chǎng)景的數(shù)據(jù)模型具有最優(yōu)的模型性能 告警關(guān)聯(lián)分析 拓?fù)潢P(guān)聯(lián)分析 統(tǒng)計(jì)模式分析 文本模式分析 配置模式分析G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站故障預(yù)測(cè)學(xué)習(xí)各指標(biāo)數(shù)據(jù)間的正常算法關(guān)系一旦正常歷史規(guī)律被破壞，異常預(yù)警信號(hào)立即發(fā)出業(yè)務(wù)服務(wù)質(zhì)量仍處于“好”的區(qū)間時(shí)，問(wèn)題被發(fā)現(xiàn)業(yè)務(wù)響應(yīng)時(shí)間壞好用戶請(qǐng)求時(shí)間業(yè)務(wù)響應(yīng)時(shí)間異常事件業(yè)務(wù)影響早期警告監(jiān)控?cái)?shù)據(jù)正常| 沒(méi)問(wèn)題？G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站自動(dòng)服務(wù)或依賴環(huán)境的 CMDB配置管理數(shù)據(jù)庫(kù)依賴關(guān)系發(fā)現(xiàn)方式：1、基于網(wǎng)絡(luò)層的TCP連接2、基于配置文件參數(shù)3、基礎(chǔ)CMDB發(fā)現(xiàn)依賴關(guān)系加載G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站ITOA下的IT運(yùn)維方式消除噪音，精細(xì)化告警*關(guān)聯(lián)分析，故障定位ITSM日志數(shù)據(jù)故障管理問(wèn)題管理變更管理組織過(guò)程資產(chǎn)動(dòng)態(tài)規(guī)則及基線IT服務(wù)數(shù)據(jù)性能數(shù)據(jù)機(jī)器學(xué)習(xí)歷史數(shù)據(jù)運(yùn)維標(biāo)注從基于規(guī)則到基于學(xué)習(xí)知識(shí)庫(kù)故障診斷樹ITOA系統(tǒng)系統(tǒng)預(yù)警G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4夏洛克SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站IT運(yùn)營(yíng)大數(shù)據(jù)平臺(tái)框架應(yīng)用性能管理（APM）事件/變更/配置管理應(yīng)用 | 系統(tǒng) | 工作負(fù)載 | 無(wú)線 | 網(wǎng)絡(luò) | 機(jī)房 | 安全 | 主機(jī) | 存儲(chǔ) | 資產(chǎn)系統(tǒng)監(jiān)控 & 日志管理IT運(yùn)營(yíng)大數(shù)據(jù)分析平臺(tái)業(yè)務(wù)成果能力現(xiàn)有ITOM平臺(tái)ITOA大數(shù)據(jù)平臺(tái)運(yùn)維環(huán)境全局搜索可視化儀表盤數(shù)據(jù)建模知識(shí)庫(kù)機(jī)器學(xué)習(xí)主動(dòng)避免服務(wù)中斷預(yù)判故障快速解決問(wèn)題快速搜索應(yīng)用深度監(jiān)控決策支持能力G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站技術(shù)示意圖結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)緩存Stream EngineData queue數(shù)據(jù)采集Agent文件,telnet,rsyslog/syslog,wmi ,http,database,第三方軟件日志服務(wù)器監(jiān)控?cái)?shù)據(jù)所在服務(wù)器流程數(shù)據(jù)所在服務(wù)器配置數(shù)據(jù)所在服務(wù)器數(shù)據(jù)持久化數(shù)據(jù)處理數(shù)據(jù)采集查詢引擎分析引擎告警引擎展現(xiàn)引擎平臺(tái)管理查詢語(yǔ)義映射引擎(非結(jié)構(gòu)化數(shù)據(jù)查詢補(bǔ)充)查詢語(yǔ)法解釋器AST分析模型預(yù)警模型業(yè)務(wù)模型機(jī)器學(xué)習(xí)告警生成器條件管理圖表組件展現(xiàn)語(yǔ)法解釋器AST數(shù)據(jù)歸檔采集/處理配置健康管理G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站夏洛克SharpLook ITOA夏洛克ITOA預(yù)設(shè)豐富行業(yè)指標(biāo)分析TB級(jí)數(shù)據(jù)實(shí)時(shí)處理運(yùn)營(yíng)到運(yùn)維五大數(shù)據(jù)全覆蓋機(jī)器學(xué)習(xí)生成動(dòng)態(tài)基線自然語(yǔ)言+SQL智能識(shí)別排障助手解決各種疑難雜癥G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站目錄復(fù)雜環(huán)境運(yùn)維的挑戰(zhàn)1什么是海量運(yùn)維數(shù)據(jù)分析2運(yùn)維數(shù)據(jù)分析能力和價(jià)值3運(yùn)維數(shù)據(jù)分析平臺(tái)的框架4夏洛克SharpLook ITOA5ITOA on the World6G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站 來(lái)源: http:/www.itoa-landscape.org/IT Operations Analytics (ITOA) on the WorldG O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站 To be the ngine f nnovation 人工智能（機(jī)器深度學(xué)習(xí)）IT運(yùn)維大數(shù)據(jù)夏洛克智能運(yùn)維分析平臺(tái)創(chuàng)造具備分析和思考能力的軟件解決方案IT 運(yùn)維管理的G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站Thanks高效運(yùn)維社區(qū)開發(fā)運(yùn)維聯(lián)盟榮譽(yù)出品榮譽(yù)出品G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站G O P S 2016 全 球 運(yùn) 維 大 會(huì) 上 海 站GOPS2016 全球運(yùn)維大會(huì)更多精彩