電商金融大數據價值提取與空間關聯挖掘應用研究.pdf

1、隨著搜索引擎、云計算、人工智能這些新興技術的成熟和普及，人類在日常中產生的數據量出現了前所未有的爆發(fā)式增長，催生了“大數據”時代的到來。在這種背景下，互聯網與傳統(tǒng)金融業(yè)的“碰撞”使得互聯網金融應運而生?；ヂ摼W金融的誕生滿足了中小微企業(yè)和大眾金融消費者的需求，彌補了傳統(tǒng)金融機構的不足，為普惠金融的發(fā)展提供新的思路。其中，以電子商務平臺為核心的電商金融在所有互聯網金融模式中影響最大，引起了整個行業(yè)和社會的高度關注。
　　電商金融行業(yè)本

2、身就是一個基于數據的產業(yè)，行業(yè)內擁有著大量的多源異構數據，一方面是自身內部電商平臺的海量歷史交易數據；另一方面是互聯網和社交媒體上的外部數據。因此，如何具備從電商金融大數據中提取和挖掘所蘊含數據價值的能力將決定未來整個電商金融行業(yè)的競爭力。
　　本文針對上述問題，在分析電商金融大數據特征及價值、國內外基于空間關聯規(guī)則的挖掘方法以及大數據挖掘研究現狀的基礎上，采用分布式搜索引擎技術，定制網絡爬蟲從電商金融行業(yè)的多源異構數據中獲取所需

3、要的銀行卡和淘寶店鋪數據，設計相應的 Spark并行算法對數據預處理，建立倒排表和二級索引文件，為后面的大數據分析平臺提供數據源。確定數據來源后，運用MECE分析法并結合行業(yè)內多位金融業(yè)務專家評分得到企業(yè)信用風險評價候選指標集及量化方法，分析指標相關性和風險定級。接著，利用大數據機器學習庫中的隨機森林算法對候選指標集特征選擇，設計基于 Hash結構的多級空間關聯規(guī)則算法來挖掘企業(yè)風險信息，構建出信用風險評估與智能預警模型。最后，將機器學

4、習、挖掘算法庫、信用風險評估與智能預警模型、大數據存儲與分布式計算能力進行封裝，搭建基于Spark on YARN的電商金融大數據分析平臺，對所研究模型的準確度和平臺實用性進行驗證。
　　以淘寶平臺某旗艦店一年的日常經營數據、銀行卡資金往來數據和管理層群體數據作為數據源，利用電商金融大數據分析平臺對店鋪進行經營行為分析，提供信用風險評估與審批授信和貸后風險預警管理服務，證明構建的信用風險評估與智能預警模型能夠達到預期要求，具有較高