一種基于Spark的語義推理引擎實現及應用.pdf

1、近些年在知識圖譜蓬勃發(fā)展的大背景下，與之相關的語義Web的數據規(guī)模也呈現爆發(fā)態(tài)勢。如何在大規(guī)模語義Web數據上有效地進行語義推理是研究者們面臨的棘手問題。具體來說，在大規(guī)模語義Web數據上實施語義推理時，計算量巨大、消耗時間長都是突出的問題，特別是當應用復雜規(guī)則邏輯進行推理時，情況更是如此。傳統單機環(huán)境下的語義推理引擎無法應對大規(guī)模知識圖譜下的推理，缺乏可擴展性方面的考慮，難以滿足在數據規(guī)模上日益增長的語義關聯數據的推理需求。從分布式角

2、度來看，已有的基于Hadoop MapReduce實現的語義推理框架由于欠缺推理算法相關的網絡通信和磁盤I/0等的優(yōu)化，推理效率依然較低。
　　本文針對上述問題，圍繞分布式內存計算平臺Spark，研究以下幾個方面的內容:首先設計一個良好模塊化且推理規(guī)則可配置的完整分布式推理引擎架構。接著研究現有的單機和分布式語義推理算法，基于Spark框架對相關算法進行分布式的實現，并針對Spark的原理和特點做相應的優(yōu)化。將基于Spark實現的