基于強(qiáng)化學(xué)習(xí)的重介質(zhì)選煤過(guò)程優(yōu)化控制

　　摘 要: 決定重介質(zhì)選煤產(chǎn)品質(zhì)量的主要影響因素是重介質(zhì)懸浮液密度。 但是由于過(guò)程復(fù)雜, 設(shè)備眾多, 呈強(qiáng)非線性特性, 導(dǎo)致對(duì)實(shí)現(xiàn)重介質(zhì)懸浮液密度的優(yōu)化控制存在難點(diǎn)。 為此, 針對(duì)重介質(zhì)選煤過(guò)程及其特性, 提出了一種基于強(qiáng)化學(xué)習(xí)的優(yōu)化控制方法, 用于在線更新密度設(shè)定值。 所提方法將策略提升和策略評(píng)價(jià)兩步迭代采用不同的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn), 建立了無(wú)模型的控制器。 最后, 在 MATLAB 仿真平臺(tái)上, 將該方法與傳統(tǒng) PI 控制方法相比較, 驗(yàn)證了所提方法的有效性。

　　關(guān)鍵詞: 重介質(zhì)選煤; 懸浮液密度; 強(qiáng)化學(xué)習(xí); 優(yōu)化控制

　　胡金良; 李彤昀; 王光輝 煤炭工程 2021-12-30

　　在我國(guó)的能源消耗中, 煤炭資源占據(jù)著很大的比例。 雖然新興能源的發(fā)展在一定程度上緩解了煤炭供給壓力, 但我國(guó)以煤炭資源為主的能源結(jié)構(gòu)仍未改變。 煤炭洗選是煤炭生產(chǎn)利用過(guò)程中的重要一環(huán), 提升煤炭洗選效率具有意義深遠(yuǎn)[1,2] 。重介質(zhì)淺槽分選是我國(guó)常用的選煤工藝, 具有分選精度高、 效率好的特點(diǎn)。 重介質(zhì)選煤過(guò)程受設(shè)備的各種工藝參數(shù)影響[3] , 但是在實(shí)際的選煤工藝中, 對(duì)精煤質(zhì)量起決定性作用的是重介質(zhì)懸浮液密度。 此外灰分是衡量重介質(zhì)選煤精煤質(zhì)量的關(guān)鍵指標(biāo)。 因此, 通過(guò)調(diào)節(jié)重介質(zhì)懸浮液密度, 實(shí)現(xiàn)對(duì)精煤灰分的控制是重介質(zhì)選煤過(guò)程優(yōu)化控制的主要方法。 因此, 諸多學(xué)者針對(duì)調(diào)節(jié)重介質(zhì)旋流器懸浮液密度, 實(shí)現(xiàn)成品煤灰分控制問(wèn)題開展了研究, 取得豐碩的成果。

　　文獻(xiàn)[4] 針對(duì)可建模的重介質(zhì)選煤過(guò)程, 提出了一種基于模型預(yù)測(cè)控制的重介質(zhì)懸浮液密度在線優(yōu)化方法, 并通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了對(duì)灰分控制的有效性。 文獻(xiàn)[5] 在模型預(yù)測(cè)控制算法中引入前饋控制環(huán)節(jié), 增強(qiáng)控制系統(tǒng)的魯棒性。 但是重介質(zhì)選煤過(guò)程動(dòng)態(tài)時(shí)變, 呈強(qiáng)非線性[6,7] , 采用上述基于模型的控制方法較難實(shí)現(xiàn)實(shí)時(shí)控制。 因而已有采用數(shù)據(jù)驅(qū)動(dòng)的方法進(jìn)行優(yōu)化控制[8] 。 文獻(xiàn)[9] 通過(guò)離線采集的歷史數(shù)據(jù), 利用時(shí)間序列的最小二乘支持向量機(jī), 建立了密度給定模型。 文獻(xiàn)[10]利用歷史數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型, 提出一種寬域運(yùn)行優(yōu)化控制方法。 但是上述方法僅考慮對(duì)已出現(xiàn)工況進(jìn)行控制設(shè)計(jì), 缺乏對(duì)未知工況自學(xué)習(xí)能力。 因此, 為了提升精煤灰分產(chǎn)量控制精度和系統(tǒng)響應(yīng)速率, 提高控制系統(tǒng)自學(xué)習(xí)能力, 本文采用基于強(qiáng)化學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)方法對(duì)重介質(zhì)選煤過(guò)程優(yōu)化控制。

　　1 重介質(zhì)選煤過(guò)程及其優(yōu)化控制問(wèn)題分析 1. 1 重介質(zhì)選煤過(guò)程

　　本文針對(duì)重介質(zhì)選煤工藝中的重介質(zhì)淺槽分選工藝進(jìn)行研究, 其主要包括混料桶、 分選槽、 排矸刮板和各種儀器儀表。 其工藝流程如圖 1 所示。

　　在實(shí)際生產(chǎn)過(guò)程中, 原煤與重介質(zhì)懸浮液混合后, 泵送入分選槽。 在排矸刮板擾動(dòng)的過(guò)程中, 高密度物(尾礦) 下降并通過(guò)排放口排出, 輕密度物(精礦)上升并從溢流堰溢出, 剩余的重介質(zhì)懸浮液將與高濃度的介質(zhì)水混合, 形成密度相對(duì)穩(wěn)定的合格介質(zhì), 并再次與新的原料混合, 重復(fù)上述過(guò)程[11,12] 。不同儀器的型號(hào)和運(yùn)行模式, 運(yùn)行狀態(tài)的各種工藝參數(shù)均或多或少影響最終的分選效果。 如排矸刮板的渦流方向, 當(dāng)其與矸石沉降方向相同時(shí), 對(duì)分選效果是有益的; 當(dāng)其與矸石沉降方向相反時(shí), 會(huì)阻礙分選[3] 。

　　1. 2 重介質(zhì)選煤過(guò)程控制難點(diǎn)

　　1) 強(qiáng)非線性。 煤炭重介質(zhì)選效果主要取決于重介質(zhì)懸浮液密度的高低, 但其與凈煤灰分并不是簡(jiǎn)單的線性關(guān)系。 又因?yàn)榛旌系V漿的流速與原煤的進(jìn)料速度也呈現(xiàn)非線性特性, 因此難以采用基于模型的優(yōu)化控制方法。

　　2) 動(dòng)態(tài)時(shí)變性。 原煤的成分并不是一成不變的, 所含有的雜質(zhì)、 粒度均持續(xù)波動(dòng)。 當(dāng)重介質(zhì)懸浮液狀態(tài)時(shí)變時(shí), 其壓力密度也會(huì)受其影響, 排矸刮板等設(shè)備運(yùn)行參數(shù)需相應(yīng)調(diào)整, 否則會(huì)使得系統(tǒng)處于非經(jīng)濟(jì)最優(yōu)狀態(tài)。

　　重介質(zhì)選煤過(guò)程的強(qiáng)非線性與動(dòng)態(tài)時(shí)變性導(dǎo)致無(wú)法建立有效的機(jī)理模型, 現(xiàn)有基于模型的優(yōu)化控制方法難以進(jìn)行實(shí)時(shí)過(guò)程優(yōu)化。 基于強(qiáng)化學(xué)習(xí)的過(guò)程優(yōu)化控制方法, 能夠根據(jù)重介質(zhì)選煤運(yùn)行的歷史數(shù)據(jù)求解最優(yōu)控制, 從而有效解決上述問(wèn)題[13,14] 。

　　2 重介質(zhì)選煤過(guò)程優(yōu)化控制 2. 1 過(guò)程優(yōu)化控制問(wèn)題

　　本文在重介質(zhì)懸浮液密度回路控制基礎(chǔ)上, 通過(guò)建立運(yùn)行優(yōu)化層實(shí)現(xiàn)對(duì)重介質(zhì)懸浮液密度設(shè)定值優(yōu)化, 從而穩(wěn)定控制精煤灰分, 保證選煤產(chǎn)品的質(zhì)量。 實(shí)際工業(yè)運(yùn)行優(yōu)化層動(dòng)態(tài)特性復(fù)雜, 以連續(xù)時(shí)間非線性系統(tǒng)模型進(jìn)行描述: r · (t) = f(r(t)) + g(t)w(t) (1) 其中, r 為實(shí)際運(yùn)行時(shí)的系統(tǒng)指標(biāo)值; w 為系統(tǒng)的輸入; f(t)和 g(t)表示運(yùn)行優(yōu)化層的動(dòng)態(tài)特性。對(duì)系統(tǒng)方程進(jìn)行離散化處理, 可得: r(k + 1) = f(r(k)) + g(r(k))w(k) (2) 為使運(yùn)行優(yōu)化層實(shí)際系統(tǒng)指標(biāo)能夠快速跟蹤期望設(shè)定值, 通過(guò)建立性能評(píng)價(jià)指標(biāo)函數(shù), 調(diào)節(jié)輸入?yún)?shù) w, 最終實(shí)現(xiàn)實(shí)際運(yùn)行指標(biāo)在理想值附近穩(wěn)定運(yùn)行。 考慮跟蹤誤差盡可能為 0 且限制控制輸入的變化浮動(dòng)不大, 從而避免設(shè)定值過(guò)大, 導(dǎo)致系統(tǒng)不穩(wěn)定, 其評(píng)價(jià)函數(shù)定義: min w(k) J(k) = ∑ ∞ i = k γ i-k ((r ∗ i - ri) TQ(r ∗ i - ri) + w T i Rwi) (3) 式中, γ 為實(shí)際運(yùn)行過(guò)程中的歷史數(shù)據(jù)對(duì)當(dāng)前運(yùn)行指標(biāo)評(píng)價(jià)影響的衰減程度, 0<γ<1; Q 和 R 分別為半正定和正定矩陣, 從而保證系統(tǒng)在期望值附近穩(wěn)定時(shí), 評(píng)價(jià)指標(biāo)將接近于定值。

　　2. 2 基于強(qiáng)化學(xué)習(xí)的設(shè)定值優(yōu)化控制策略

　　為便于求解, 定義廣義被控對(duì)象為 ζ(m+1) = r(m+1) r ∗ (m+1) é ë ê ê ù û ú ú , 將其代入式 ( 3) 可以表示為值函數(shù)形式: V(ζk) = ∑ ∞ i = k γ i-k (ζi TQ1 ζi + w T i Rwi) = def ∑ ∞ i = k γ i-kUi (4) 其中, Q1 = [I -I] TQ[I -I]。 根據(jù)式(4), 從而將求解評(píng)價(jià)函數(shù)最小值的問(wèn)題, 轉(zhuǎn)為解非線性過(guò)程的 Bellman 方程, 其方程: V(ζk) = Uk + ∑ ∞ i = k+1 γ i-kUi = Uk + γV(ζk+1 ) (5) 從而求解 LQR 問(wèn)題的 Hamilton 函數(shù): H(ζk, wk) = Uk + γV(ζk+1 ) - V(ζk) (6) 根據(jù) Bellman 原理, 最優(yōu)值函數(shù)滿足離散時(shí)間 HJB(Hamilton-Jacobi-Bellman, HJB)方程: V ∗ (ζk) =min w(k) (Uk + γV ∗ (ζk+1 )) (7) 可得求解最優(yōu)控制率需滿足[15] :