SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化研究.pdf

1、ResearchOnOptimizationofSQLtoMapreduce●。一_1ranslatorAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYMaXnSupervisedbyAssociateProfessorSongAiboSchoolofComputerScience&EngineeringSoutheastUn

2、iversityNanjingCHINAJune2014摘要摘要隨著電子商務、社交網絡以及物聯網等新一代大規(guī)?；ヂ摼W應用的快速發(fā)展，企業(yè)需要存儲與處理的數據規(guī)模己發(fā)展到TB級甚至PB級。云計算數據處理系統(tǒng)Hadoop采用了數據并行計算的思想處理大數據，其提供的編程模型MapReduce近年來被廣泛用于企業(yè)信息處理、科學實驗統(tǒng)計、生物計算等領域。使用MapReduce進行復雜數據分析處理時，查詢請求都是通過翻譯工具翻譯成MapReduce

3、作業(yè)流進行處理，然而目前通過翻譯工具生成的MapReduce作業(yè)流存在作業(yè)數量過多，作業(yè)代碼冗長等問題，導致查詢執(zhí)行效率低下，已經不能很好的適應人們的需求。本文針對MapReduce上層的高級查詢工具存在的問題，對類SQL查詢到MapReduce作業(yè)流的翻譯優(yōu)化技術進行了研究。本文分析了當前MapReduce上層的高級查詢工具對查詢語句的翻譯優(yōu)化過程，結合Hadoop在掃描數據時采用暴力掃描，并且將計算結果保存到本地磁盤及HDFS的特性

4、，確定了作業(yè)之間最基礎的輸入數據相關性和前驅相關性，根據作業(yè)相關性，設計了作業(yè)之間的合并規(guī)則，解決了作業(yè)流優(yōu)化中如何判斷作業(yè)是否可以合并以及如何合并的問題，為作業(yè)流優(yōu)化提供支撐。針對作業(yè)流包含作業(yè)數量過多、無法快速找出最優(yōu)合并方案的問題，提出了自底向上和自頂向下兩種合并策略，實現作業(yè)流中作業(yè)的快速合并。同時本文分析了MapReduce作業(yè)的執(zhí)行過程，建立了計算作業(yè)執(zhí)行代價的數學模型，解決了預估作業(yè)流執(zhí)行代價的問題。最后將合并策略與代價模

5、型結合，設計了基于代價的相關性敏感的作業(yè)合并算法，利用該算法可以在作業(yè)合并時，選擇執(zhí)行代價較小的作業(yè)流作為最終的合并結果，從而保證類SQL查詢被翻譯為高效的作業(yè)流。本文設計并開發(fā)了SQLMR系統(tǒng)，實現上述功能，并搭建了實驗平臺，通過基準測試集TPCH生成測試數據，將SQLMR系統(tǒng)與Hive和YSmart進行了性能對比。實驗結果表明，SQLMR與Hive、YSmart相比，翻譯得到的作業(yè)流可以有效減少磁盤I／0開銷、網絡傳輸開銷，具有明顯