海量車載信息的存儲和挖掘方法的研究與應用.pdf

1、當今社會的信息量飛速增長，迫切需要解決大數據相關問題，通常用于分析企業(yè)數據的傳統數據庫和一些商業(yè)智能工具難以滿足需求。Hadoop起源于Apache基金會，隨著逐漸增加的用戶數量及進一步的開發(fā)和完善，Hadoop已成為海量數據分析的最佳解決方案之一。Hadoop的應用也逐漸拓展到了電信、電子商務、銀行等行業(yè)，而物流行業(yè)存在著海量的車輛行駛數據，Hadoop在儲存并分析這些數據時必定有其用武之地。越來越多的配送車輛安裝了車載設備，通過GP

2、S定位、內嵌計算模塊等監(jiān)控車輛運輸過程，這些數據可以給各廠商提供監(jiān)管依據，同時能夠挖掘出其中有用的商業(yè)價值信息。
　　Hadoop平臺的功能之一是實現了傳統數據庫向分布式存儲方法的轉換，可以把現有數據或者關系型數據庫數據導入HBase。由于HBase產生不久，開源資料缺少高效的導入方式，現有資料多是介紹了HBase shell命令或者簡單API，不能滿足批量快速導入的需求，即使提到了一些有效改進方法也沒有給出具體操作和實現。本文研

3、究了海量數據快速導入HBase數據庫，根據集群的各方面性能、HBase運行的內部機制并結合了配置參數的功能，修改了部分參數；為了節(jié)省空間、提高索引效率以及提升入庫效率，優(yōu)化了rowkey的設計；為均衡HReginSever的負載，實現了預分區(qū)方案并給出了詳細的實現方法，通過實驗測試得到了最佳分區(qū)方案；結合MapReduce模型實現了批量導入功能，給出了實現方法及改進；另外在程序中直接利用sqoop源碼將shell命令嵌入到程序中，提高了

4、程序控制的靈活性。最后綜合以上方法進行測試并分析了實驗結果。
　　針對某幾個客戶公司的需求，本文挖掘海量GPS車輛數據中的有價值信息，基于MapReduce框架設計并實現了三個算法。第一，利用MapReduce模型設計并實現了各區(qū)域中車輛密度的統計，在定位地理位置時設計了兩種方法，包括在sqlserver生成空間數據庫和建立地理信息四叉樹索引。第二，設計了各加油站經過車流量統計算法，其中定制了Writable類實現了value值按