面向交易系統(tǒng)的低延遲和容錯復制技術框架的研究與實現(xiàn).pdf

1、互聯(lián)網的快速發(fā)展對交易系統(tǒng)的要求越來越高,低延遲和高可用性已經成為衡量一個交易系統(tǒng)的重要指標。交易系統(tǒng)不僅需要滿足數(shù)據的一致性和完整性,而且還要考慮交易延遲對用戶體驗的重要影響。同時,交易系統(tǒng)對數(shù)據的實時分析也是 IT廠商關注的重點問題。如何對海量的結構化數(shù)據和非結構化數(shù)據做實時分析,如何保證交易數(shù)據的穩(wěn)定性,是大數(shù)據時代的共同挑戰(zhàn)。
　　本文先介紹交易系統(tǒng)延遲相關的各個技術:網絡技術、聯(lián)機事務處理系統(tǒng)和聯(lián)機分析處理系統(tǒng)。網絡技術

2、中重點對比了萬兆以太網和 Infiniband,萬兆以太網是應用于高層網絡通信(比如TCP/IP)的技術,傳輸距離很遠,而InfiniBand傳輸距離很近,是用于底層輸入/輸出通信的技術,可用來提高服務器端輸入/輸出的性能。交易系統(tǒng)是典型的聯(lián)機事務處理系統(tǒng),聯(lián)機事務處理系統(tǒng)也稱為實時系統(tǒng),因為它的重要特點就是快速響應客戶請求,即實時性高。響應時間就是衡量一個聯(lián)機事務處理系統(tǒng)的重要指標。交易產生的數(shù)據處理,是基于一個分布式系統(tǒng)上的數(shù)據管理

3、技術,也稱為聯(lián)系分析處理技術,在云計算和大數(shù)據快速發(fā)展的今天,Hadoop成為主流的框架平臺。而Google在2010年發(fā)布新的信息查詢技術Dremel,可以實現(xiàn)3秒內查詢1PB數(shù)據。
　　針對實時交易系統(tǒng)和實時數(shù)據處理系統(tǒng),本文設計了整體的系統(tǒng)框架,并針對各個模塊進行了詳細的介紹。在實時交易系統(tǒng)中,重點解決系統(tǒng)的低延遲和容錯能力,提出了基于Paxos算法的內存復制解決方案。在實時數(shù)據處理系統(tǒng)中,運用Hadoop架構技術進行部署,

4、Hadoop是一個在大型集群設備上部署分布式系統(tǒng)的應用框架,由 HDFS和MapReduce兩部分組成;同時介紹了最新的數(shù)據處理技術Dremel,可對存儲在HDFS內和MapReduce產生的結果集進行處理。系統(tǒng)整體部署中用到的核心技術有Paxos算法,Hadoop架構技術和Dremel數(shù)據處理技術。由于Hadoop架構技術比較成熟,只對其做了簡單的闡述,Dremel數(shù)據處理技術中,詳細地介紹了它的工作原理和優(yōu)勢。重點介紹核心的Paxo