基于相關(guān)性分析的配電網(wǎng)多源數(shù)據(jù)質(zhì)量提升方法

　　來(lái)源：計(jì)算機(jī)時(shí)代 2022年6期

　　作者：蒙小胖; 孫常浩; 蔡雷鳴; 施廣德; 金舒

　　單位：1. 陜西省地方電力(集團(tuán))有限公司寶雞供電分公司2. 國(guó)電南京自動(dòng)化股份有限公司

　　摘 要： 智能配電網(wǎng)采集數(shù)據(jù)來(lái)源廣、數(shù)據(jù)質(zhì)量較差，價(jià)值密度低。因此首先對(duì)配電網(wǎng)中各類系統(tǒng)采集的數(shù)據(jù)應(yīng)用K-means聚類算法進(jìn)行特征提取，結(jié)合局部異常因子(LOF)算法進(jìn)行異常檢測(cè)，篩選出異常數(shù)據(jù);隨后根據(jù)數(shù)據(jù)的多維特征運(yùn)用相關(guān)性分析結(jié)合數(shù)據(jù)特征對(duì)異常數(shù)據(jù)進(jìn)行修正;最后通過(guò)實(shí)際工程應(yīng)用，驗(yàn)證多源數(shù)據(jù)質(zhì)量提升方法的數(shù)據(jù)修正效果。

　　關(guān)鍵詞： 數(shù)據(jù)質(zhì)量; 關(guān)聯(lián)分析; 智能配電網(wǎng); 聚類算法; 多源數(shù)據(jù)

　　0 引言

　　智能配電網(wǎng)信息化和智能化的程度不斷提升，配電網(wǎng)采集數(shù)據(jù)逐步呈現(xiàn)多源、異構(gòu)的大數(shù)據(jù)特征[1]。對(duì)海量多源數(shù)據(jù)進(jìn)行整合，可以為配電網(wǎng)運(yùn)行態(tài)勢(shì)感知[2]，運(yùn)行狀態(tài)綜合評(píng)價(jià)提供重要數(shù)據(jù)支撐。

　　配電網(wǎng)數(shù)據(jù)采集終端由于數(shù)量多、分布廣并且部分終端環(huán)境惡劣，工況復(fù)雜，在采集和通信過(guò)程中經(jīng)常發(fā)生數(shù)據(jù)丟失或異常現(xiàn)象[3]。異常數(shù)據(jù)嚴(yán)重影響數(shù)據(jù)挖掘分析的效率，對(duì)缺失或者異常數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析會(huì)使得結(jié)果與實(shí)際值差別較大，影響預(yù)測(cè)精度和運(yùn)行控制決策的準(zhǔn)確性[4]。因此，如何對(duì)配電網(wǎng)采集的多源數(shù)據(jù)進(jìn)行異常檢測(cè)和數(shù)據(jù)預(yù)處理是配電網(wǎng)大數(shù)據(jù)分析的前提和基礎(chǔ)。

　　近年來(lái)，對(duì)于大數(shù)據(jù)技術(shù)在配電網(wǎng)中應(yīng)用已有很多研究成果。文獻(xiàn)[5]對(duì)大數(shù)據(jù)在電網(wǎng)中的應(yīng)用場(chǎng)景進(jìn)行了總結(jié)。文獻(xiàn)[6]提出一種基于大數(shù)據(jù)分析的配電網(wǎng)態(tài)勢(shì)感知方法，通過(guò)對(duì)配電網(wǎng)運(yùn)行歷史數(shù)據(jù)進(jìn)行分析預(yù)測(cè)電網(wǎng)運(yùn)行的趨勢(shì)。文獻(xiàn)[7]運(yùn)用大數(shù)據(jù)技術(shù)對(duì)配電網(wǎng)運(yùn)行歷史數(shù)據(jù)進(jìn)行挖掘和評(píng)估，實(shí)現(xiàn)配電網(wǎng)的風(fēng)險(xiǎn)預(yù)警。但研究成果大多集中在數(shù)據(jù)分析層面，對(duì)底層多源數(shù)據(jù)融合以及數(shù)據(jù)質(zhì)量的提升研究較少。對(duì)于配電網(wǎng)的大數(shù)據(jù)分析應(yīng)用而言，數(shù)據(jù)的多源融合是基礎(chǔ)，數(shù)據(jù)質(zhì)量的好壞，對(duì)數(shù)據(jù)挖掘效率和結(jié)果準(zhǔn)確性有重要影響。文獻(xiàn)[8]采用插值法對(duì)電網(wǎng)采集數(shù)據(jù)中缺失較少且變化較為平緩的數(shù)據(jù)進(jìn)行修正，取得較好效果;文獻(xiàn)[9]提出一種基于數(shù)據(jù)動(dòng)態(tài)治理和修復(fù)策略的配電網(wǎng)數(shù)據(jù)質(zhì)量提升管理平臺(tái)架構(gòu)。文獻(xiàn)[10]提出基于自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)模型對(duì)風(fēng)電缺失數(shù)據(jù)進(jìn)行填補(bǔ)，取得較好效果，但不適用于大面積數(shù)據(jù)缺失。以上對(duì)數(shù)據(jù)質(zhì)量提升的研究大多基于某一維度或者某一方法對(duì)數(shù)據(jù)異常進(jìn)行修正，應(yīng)對(duì)大數(shù)據(jù)量和連續(xù)、大面積的異常數(shù)據(jù)處理較為困難。配電網(wǎng)中各個(gè)系統(tǒng)采集數(shù)據(jù)之間關(guān)聯(lián)性較強(qiáng)，其多維關(guān)聯(lián)性特征不可忽視。因此，本文根據(jù)配電網(wǎng)數(shù)據(jù)的多維相關(guān)性特點(diǎn)，采用聚類算法和相關(guān)性分析結(jié)合的方法提升數(shù)據(jù)修正的效率和效果，從而提升配電網(wǎng)整體數(shù)據(jù)質(zhì)量，成為大數(shù)據(jù)分析和應(yīng)用的有力支撐。

　　1 多源數(shù)據(jù)質(zhì)量提升整體架構(gòu)

　　多源、異構(gòu)的數(shù)據(jù)場(chǎng)景給數(shù)據(jù)集成帶來(lái)困難并且使得信息系統(tǒng)產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題。針對(duì)這些問(wèn)題，本文提出一種多源融合數(shù)據(jù)質(zhì)量提升架構(gòu)如圖1所示。

　　架構(gòu)包含數(shù)據(jù)來(lái)源層，數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)質(zhì)量管理層以及數(shù)據(jù)發(fā)布層。該框架通過(guò)分析不同數(shù)據(jù)源數(shù)據(jù)特征進(jìn)行分庫(kù)存儲(chǔ);隨后通過(guò)數(shù)據(jù)質(zhì)量管理模塊對(duì)數(shù)據(jù)整體質(zhì)量進(jìn)行把控;最后將修正數(shù)據(jù)進(jìn)行整理發(fā)布，支撐智能配電網(wǎng)的大數(shù)據(jù)分析應(yīng)用。

　　2 多源數(shù)據(jù)質(zhì)量提升方法

　　系統(tǒng)數(shù)據(jù)質(zhì)量管理模塊首先對(duì)缺失數(shù)據(jù)進(jìn)行檢測(cè)，并進(jìn)行補(bǔ)0操作;隨后采用K-means聚類法對(duì)系統(tǒng)輸入數(shù)據(jù)進(jìn)行特征提取，結(jié)合LOF算法進(jìn)行異常數(shù)據(jù)篩查。數(shù)據(jù)修正模塊通過(guò)多維數(shù)據(jù)相關(guān)性特征來(lái)進(jìn)行數(shù)據(jù)修正。

　　2.1 異常數(shù)據(jù)檢測(cè)方法

　　LOF算法是一種基于數(shù)據(jù)密度對(duì)異常點(diǎn)進(jìn)行篩選的高精度算法，能夠量化數(shù)據(jù)的異常程度，在數(shù)據(jù)清洗和異常檢測(cè)中具有廣泛應(yīng)用。傳統(tǒng)LOF算法需要計(jì)算數(shù)據(jù)集合中所有數(shù)據(jù)兩點(diǎn)之間的距離，導(dǎo)致復(fù)雜度達(dá)高，難以應(yīng)對(duì)大規(guī)模數(shù)據(jù)[11]。

　　本文運(yùn)用K-means算法[12]與LOF算法結(jié)合進(jìn)行異常數(shù)據(jù)檢測(cè)，首先運(yùn)用K-means算法將相同數(shù)據(jù)特征的數(shù)據(jù)進(jìn)行聚類，隨后運(yùn)用LOF算法對(duì)每個(gè)類簇中的數(shù)據(jù)進(jìn)行異常篩查，最后將待檢測(cè)數(shù)據(jù)集篩選出異常數(shù)據(jù)。K-means算法可以用于數(shù)據(jù)特征提取，降低LOF算法復(fù)雜度，LOF算法對(duì)類簇內(nèi)異常值進(jìn)行檢測(cè)可以增強(qiáng)K-means數(shù)據(jù)特征提取的準(zhǔn)確性和效果。

　　2.1.1 K-means聚類法數(shù)據(jù)特征提取

　　配網(wǎng)系統(tǒng)采集數(shù)據(jù)具有較強(qiáng)的周期性，采用數(shù)據(jù)挖掘中的K-means聚類法對(duì)數(shù)據(jù)進(jìn)行分析，獲取采集數(shù)據(jù)的數(shù)據(jù)特征。

　　K-means算法的主要思想是將n個(gè)對(duì)象劃分為K個(gè)類簇[C1…CK]，每個(gè)類簇具有較高的相似度。算法的優(yōu)化目標(biāo)是最小化類簇的平方誤差E。

　　[E=i=1Kx∈Cix-ui22] ⑴

　　其中，[ui=1Cix∈Cix]為類簇[Ci]的聚類中心。

　　其算法流程如下。

　　⑴ 從數(shù)據(jù)集合D中選取K個(gè)初始聚類中心點(diǎn)。

　　⑵ 計(jì)算集合內(nèi)各個(gè)數(shù)據(jù)點(diǎn)到聚類中心點(diǎn)之間的歐幾里得距離(公式2)，選取最近的聚類中心點(diǎn)并納入到該類中。

　　⑶ 計(jì)算完所有數(shù)據(jù)點(diǎn)后對(duì)各個(gè)類簇重新計(jì)算聚類中心。

　　⑷ 判斷聚類中心是否發(fā)生變化，如果發(fā)生變化則返回步驟⑵，如果不發(fā)生變化則輸出結(jié)果。

　　2.1.2 LOF算法概念

　　LOF算法的核心概念有以下四點(diǎn)。

　　⑴ 第k距離鄰域：給定一個(gè)數(shù)據(jù)集合D，對(duì)于集合內(nèi)的任意一點(diǎn)p，計(jì)算其他點(diǎn)與p點(diǎn)的歐幾里得距離并從小到大排序，第k個(gè)記為該點(diǎn)的第k距離，第k距離以內(nèi)的所有點(diǎn)為第k距離鄰域，記作[Nk(p)]。其中歐幾里得距離可以表示為：

　　[distp，q][=(p1-q1)2+(p2-q2)2+…+(pn-qn)2] ⑵

　　其中，[ p]和[q]分別為n維空間中的兩個(gè)數(shù)據(jù)點(diǎn)，[dist(p，q)]為兩個(gè)點(diǎn)之間的歐幾里得距離。

　　⑵ 可達(dá)距離：空間中p點(diǎn)和o點(diǎn)之間的可達(dá)距離定義為點(diǎn)o的第k距離和[dist(p，o)]之間的最大值，記為[reach-dist(p，o)]。

　　⑶ 局部可達(dá)密度：數(shù)據(jù)點(diǎn)p的局部可達(dá)密度[lrdk(p)]為它鄰近點(diǎn)之間平均可達(dá)距離的倒數(shù)。

　　[lrdk(p)=1o∈Nk(p)reach-dist(p，o)Nk(p)] ⑶

　　⑷ 局部異常因子：局部異常因子為點(diǎn)p鄰域內(nèi)點(diǎn)的局部可達(dá)密度與點(diǎn)p的局部可達(dá)密度之比的平均值，記為[LOFk(p)]。

　　[LOFk(p)=1Nk(p)o∈Nk(p)lrdk(o)lrdk(p)] ⑷

　　根據(jù)局部異常因子的定義，[LOFk(p)]值在1左右說(shuō)明點(diǎn)p數(shù)據(jù)密度與其鄰域內(nèi)點(diǎn)的數(shù)據(jù)密度相當(dāng);當(dāng)[LOFk(p)]遠(yuǎn)大于1或者遠(yuǎn)小于1則說(shuō)明點(diǎn)p與其他點(diǎn)較為疏遠(yuǎn)，為異常點(diǎn)。

　　2.1.3 算法流程

　　基于K-means聚類和LOF算法的數(shù)據(jù)異常檢測(cè)流程如圖2所示。

　　通過(guò)兩種算法結(jié)合，我們可以提取數(shù)據(jù)集合的特征，并篩選出數(shù)據(jù)集合中的異常數(shù)據(jù)。隨后通過(guò)數(shù)據(jù)的多維相關(guān)性，來(lái)對(duì)異常數(shù)據(jù)進(jìn)行修正和填補(bǔ)。

　　2.2 多維數(shù)據(jù)相關(guān)性分析原理

　　本文相關(guān)性分析算法采用皮爾遜相關(guān)系數(shù)法[13，14]來(lái)衡量不同來(lái)源數(shù)據(jù)之間的相關(guān)性;隨后通過(guò)熵權(quán)法計(jì)算變量之間的權(quán)重關(guān)系。

　　2.2.1 皮爾遜相關(guān)系數(shù)

　　皮爾遜相關(guān)系數(shù)的計(jì)算公式如下：

　　[ρx1，x2=Cov(x1，x2)σxσx2] ⑸

　　其中，[x1，x2]分別為n維數(shù)據(jù)變量，[σx1， σx2]分別為[x1]和[x2]的標(biāo)準(zhǔn)差，[Cov(x1，x2)]兩者間協(xié)方差。協(xié)方差計(jì)算公式如下：

　　[Cov(x1，x2)=i=1nx1(i)-x1x2(i)-x2n-1] ⑹

　　皮爾遜相關(guān)系數(shù)用于評(píng)價(jià)兩個(gè)數(shù)據(jù)之間的相關(guān)性，當(dāng)相關(guān)系數(shù)大于某一特定值則認(rèn)為兩個(gè)數(shù)據(jù)具有強(qiáng)相關(guān)性。

　　2.2.2 熵權(quán)法確定權(quán)重

　　熵權(quán)法[15]通過(guò)指標(biāo)所含信息量大小來(lái)確定權(quán)重，能夠有效地利用數(shù)據(jù)，排除主觀因素影響。首先根據(jù)公式⑺計(jì)算各個(gè)變量之間的熵。

　　[Εj=i=1mρx1，x2lnρx1，x2lnm ] ⑺

　　各個(gè)變量的權(quán)重也可以由公式⑻獲得。

　　[ωj=1-Εjj=1m1-Εj ] ⑻

　　權(quán)重[ωj]體現(xiàn)了指標(biāo)信息量的大小，能夠量化指標(biāo)對(duì)于結(jié)果的影響。[j=1mωj=1]。

　　2.3 基于多維數(shù)據(jù)特征的配電網(wǎng)數(shù)據(jù)修正方法

　　配電網(wǎng)數(shù)據(jù)采集周期選定為T=24h。采集的數(shù)據(jù)集合[C={c1， c2，…，cM}]中包含有M個(gè)屬性(如電流、電壓等)。對(duì)于屬性[ci]的異常數(shù)據(jù)集合，基于多維數(shù)據(jù)特征的數(shù)據(jù)修正方法如下。

　　推薦閱讀：計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)論文如何翻譯專業(yè)