基于Xen的虛擬機間MPI通信機制的研究與實現.pdf

1、虛擬化技術能夠有效降低系統(tǒng)和應用軟件的維護和管理成本，增強系統(tǒng)可靠性以及優(yōu)化資源配置，基于虛擬化環(huán)境構建的大規(guī)模集群日趨流行。然而虛擬化技術尚未在性能關鍵的應用系統(tǒng)中得到廣泛應用，特別是高性能計算領域。MPI是當今高性能計算環(huán)境中最主流的并行計算模型。在并行計算中，MPI進程需要頻繁地通信，而I/O虛擬化所產生的額外開銷，會顯著地降低虛擬機間MPI進程的通信性能。大量已有工作對改善虛擬機間通信性能或MPI結點內通信性能進行了研究，然而同

2、時結合兩者的研究工作并不多。一個通用的虛擬機間通信框架往往沒有針對MPI應用做特殊優(yōu)化，而結點內MPI通信框架則無法在虛擬化環(huán)境中使用。
　　本文在同時考慮了虛擬化環(huán)境的特點以及MPI應用的通信特征的基礎上，通過改進虛擬機間通信模型，對同一臺物理機上的不同虛擬機內的MPI進程間的通信性能進行了優(yōu)化。改進后的模型將通信任務代理給一個隔離的后端通信模塊，通信虛擬機內部的開銷大幅降低，而進程的通信與計算重疊能力也得到提升。同時，該模型更

3、有利于MPI長消息傳輸與集合通信的優(yōu)化，能夠有效減少拷貝次數，并均衡系統(tǒng)中虛擬機的通信負載。此外，該模型保留了原生環(huán)境下利用硬件加速技術的能力，存在進一步優(yōu)化通信性能的潛力。在改進模型的基礎上，我們進一步給出了基于Xen的虛擬機間MPI通信框架XNEM的設計和實現。XNEM前后端驅動以內核模塊的形式運行在隔離的虛擬機中，不需要對操作系統(tǒng)或虛擬機監(jiān)視器做任何修改?？蚣芴峁┝撕唵味`活的編程接口，能夠方便快速地將框架移植到已有的MPI庫中。

4、同時，我們?yōu)镸PICH庫編寫了XNEM LMT模塊，將XNEM通信框架與MPICH庫整合。使用MPICH庫的MPI進程可以在虛擬環(huán)境下將XNEM LMT模塊作為高性能的虛擬機間通信通道。選取了多個微基準程序和HPC基準程序對XNEM框架進行實驗驗證。NetPIPE測試結果顯示，對于MPI長消息傳輸，XNEM的通信吞吐率和延遲顯著優(yōu)于Xen虛擬網絡以及基于共享緩沖的通信模型。IMB基準測試結果顯示12個被測MPI集合操作在XNEM框架下的