基于網格的聚類PSE及調度研究.pdf

1、聚類分析是數據挖掘的核心技術之一，但現有的多種聚類算法在編程語言的選用、對外提供的接口上存在著很大差異，這些差異給應用聚類方法分析問題的研究人員帶來了不便。問題求解環(huán)境(Problem Solving Environment，PSE)，目前計算機應用領域的研究熱點技術之一，它以一致的接口提供研究某類問題的多種技術和方法。為提高聚類分析的研究效率，便于應用人員研究及使用各類聚類方法，本文提出將聚類算法集成在統一的環(huán)境內，構建聚類PSE。<

2、br>　　 然而，在構建聚類PSE的過程中，我們發(fā)現現有技術難以滿足聚類過程所需的計算資源，而網格技術能夠有效積聚資源，可以滿足聚類過程對資源的要求。因此，作者提出將網格與聚類PSE相結合，構建基于網格的聚類PSE(PSE for Clustering，PSE-C)，實現網格與PSE二者優(yōu)勢互補，以滿足大規(guī)模數據處理的要求。
　　 本文的主要工作和創(chuàng)新性成果如下：
　　 (1)本文提出一種基于參考點并具有分離性的快速聚

3、類算法CURS。CURS算法主要思想是：采用多個參考點來有效地表示一個聚類區(qū)域和形狀，并基于相似參考點進行小簇合并，通過引入聚類有效性指標評價新簇的質量，重新劃分低質量的新簇，避免低質量簇向高層擴散。實驗結果表明，CURS算法可以處理任意形狀的聚類簇，而且由于在聚類過程中引人了質量評價指標及簇分裂機制，該算法還能有效地處理噪聲干擾，確保聚類結果具有較強的魯棒性。
　　 (2)對CURS層次聚類算法和基于SVM的聚類算法進行了分布

4、性擴展研究。作為PSE-C底層對外提供的聚類服務：CURS聚類服務和基于SVM的聚類服務，我們對這兩種聚類算法集成到PSE平臺上的可行性進行了分析。CURS層次聚類算法因具有較好的分布性對其進行適當封裝就可較好地部署在網格環(huán)境中實現分布式聚類功能，但對于不具分布性的SVM聚類算法在集成前必須先進行算法分布性擴展。本文第三章詳細地就如何對基于SVM聚類算法進行分布性擴展作了分析，并在此基礎上設計了各節(jié)點上的分布式SVM聚類器模型。

5、　　 (3)本文提出并實現了四層網格架構的PSE-C，以統一的接口對外提供服務。在PSE-C中，作者在參考PDE.Mart三層網格架構的基礎上增加了中間件層Agent，該層封裝了底層網格服務，屏蔽了不同網格服務提供者問的差異并以統一的接口對外提供服務。另外，該層還提供了大量數據傳輸的新方式和執(zhí)行用戶定義的工作流的功能，該層采用基于XML的SOAP協議進行通信，以Apache AXIS作為SOAP協議的實現。四層的網格架構使得PSE-C

6、的靈活性、擴展性以及適應性都比PDE.Mart有所增強。
　　 (4)對PSE-C中任務調度問題的研究。就試驗中遇到用戶提交大量任務導致系統性能明顯下降問題進行了分析，借鑒現有的網格調度算法研究成果，提出了一種改進蟻群算法的PSE-C服務調度策略。該策略主要通過引入新型信息素和任務再分配時資源選擇規(guī)則，一方面使得算法能夠跟蹤資源自身運行情況并進行標記，另一方面增加蟻群算法對服務調度不成功情況的處理，減少系統不必要的開銷，縮短任務