阿里數據庫架構變遷與展望

《阿里數據庫架構變遷與展望》由會員分享，可在線閱讀，更多相關《阿里數據庫架構變遷與展望（38頁珍藏版）》請在裝配圖網上搜索。

1、阿里數據庫架構變遷與展望 2015中國數據庫技術大會 DATABASE TECHNOLOGY CONFERENCE CHINA 201 5 大數據技術探索和價值發(fā)現 ⑥ ChinaUmx ST^UB ?S! 阿里數據庫體系的四個時代 用ys 房應M 機個機 4n- 4H- 異地雙活 單元化 AliSQL 異地多活 云化 自研 OceanBase 同城多機房 垂直拆分 商業(yè)IOE 無冕之王 新機遇新挑戰(zhàn) 輝煌麗弋 曲JO3 -

2、 2 必 淘寶初創(chuàng) 淘寶初創(chuàng) U ? JLEfl - H 堡古島-ML - Sfc N A Auction Member Search 復制 Apache Mo Mod_php4 P€ MySQL Slave MySQL Slave MySQL Master 復制 問題： ＞單機MyS

3、QL數據庫迅速達到瓶頸 解法： ＞ MySQL遷移到Oracle ,并逐步升級硬件，到小型機, 高端存儲，最終形成IOE架構 效果： ＞支撐了淘寶2004到2009發(fā)展高峰 輝煌時代TO E Of：療矯 UMtS EM irx/i irx*7 問題： 擴展性、可用性 ?垂直擴展走到了極限 ?集中式，穩(wěn)定性的挑戰(zhàn) 掌控力 ?閉源的Oracle ?封閉的小機/存儲 回首往事-從10E架構走向AliSQL分布式架構 第

4、一次推動中國數據庫產業(yè)變革 ＞獲得無限掌控力 ? 數據庫限流-第一次自己的命運自己掌握 ? 熱點更新優(yōu)化--定制優(yōu)化熱點商品減庫存業(yè)務場景 ? 線程池特性優(yōu)化-定制優(yōu)化高連接數并發(fā)場景 ? 專場7數據庫調優(yōu)，阿里巴巴章穎強 無限可能，盡在掌握 無冕之王一AliSQL 12年歷程回顧 淘寶網創(chuàng)建 1應用Java化改造 垂直拆分完成 支付寶完成去IE 硬件不斷升級 A 去IOE啟動 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 201

5、4 商品庫完成 IOE _引入小型機 引入Oracle 一 水平拆分完成 開始嘗試MySQL 淘寶全網完成去IOE 支付寶交易完成OB改造 新挑戰(zhàn)新機遇 >全網架構 ?資源限制,一個城市已經不能滿足需求 單元化 ?容災,單地域機房風險 >AliSQL ?分表數量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務開發(fā)復雜度 ?路由，關聯，聚合，訂正 新挑戰(zhàn)新機遇--單元化 cdnN 按用戶分流 單元1 單元2 單元N 中心 -接入層 I同步調用 中心服務層 I異步

6、消息 接入層 接入層 接入層 服務層 服務層 ［服務層］ 單元化 新挑戰(zhàn)新機遇--單元化 對應用挑戰(zhàn)的及解法 單元內封閉 A延遲同步調用的影響 ,同一機房0.2 ms ?同一城市l(wèi)~5ms ?跨城市5ms~ 100 ms ?幾百次調用吞吐量下降 ?數據復制延遲問題 新挑戰(zhàn)新機遇--單元化 對數據庫的挑戰(zhàn)及解法 ＞中心及各個單元間數據拆分原則 數據買家維度拆分 數據質量保障 _ ? 數據多點寫入風險 單元間D RC數據復制 ?

7、數據復制一致性，正確性保障 ? 專場13阿里巴巴錢在晨 單元化效益 穩(wěn)定性 ?變更范圍 ?故障恢復時間 伸縮能力 ?擺脫機房限制 ?伸縮規(guī)模再次增強 新挑戰(zhàn)新機遇■ 橫跨三年的項目 探索 [ 項目啟動 I I 2013-08 I 2013-05 ? 同城兩單元? -單元化 攻堅 收尾 多地域，更遠距離 異地雙活 雙11洗禮 新挑戰(zhàn)新機遇 >全網架構 ?資源限制,一個城市已經不能滿足需求 單元化 ?容

8、災,單地域機房風險 >AliSQL ?分表數量龐大 > OceanBase ?集群拆分接近極限 A業(yè)務開發(fā)復雜度 ?路由，關聯，聚合，訂正 新挑戰(zhàn)新機遇—OceanBase Data （固態(tài)盤） 數據存儲：多機磁盤 修改增量：單機內存 增刪改 Query 修改增量 （內存） =基線數據中 SQL IJ SQL | SQL SQL SQL SQL SQL SQL aorg—erv、r Qr ^

9、kServe MergeServer Chunkserver Root Server Update Server MergeServer Chunkserver 修改增量 基線數據 MergeServer Chunkserver IV erjc!?erver ChunkJerver 應用接口 MergeServer Chunkserver ＞基于Paxos的高可用方案 ?以不可靠部件提供可靠服 ?小于半數的分區(qū)容忍性 ?較高的可用性（最大35s不可用） ?強一致性 RootServer 宕機/程序異常退出 35S/不可用 UpdateSe

10、rver 宕機/程序異常退出 25s左右/不nJ用 MergeServer 宕機/程序異常退出 1分鐘/少量讀超時 ChunkServer 宕機/程序異常退出 1分鐘/少量讀超時 主集群不可用 如出現機房斷網情況 35s/不nJ用 角色 異常描述 時間/影響 OceanBase^ ■ ■■wrf ri Spat r0 ? 20142(v0.5) 2010 2011 2012 s I 013 2014 015 2016 017 Vl.x全面覆蓋