在一次工業數智化直播中，聽眾朋友留言想瞭解機理模型與統計模型的結合方法，鑒於這個話題與直播主題差別很大，當時沒有詳細展開，故寫此文兼做探討。

機理模型的范疇：定性與定量機理

很多朋友想瞭解的是深度學習與微分代數方程組（包括常微分方程、偏微分方程，或非線性方程組等）的結合方式，這個話題將在下一節討論。本節對概念范疇做簡要辨析，避免過度追求技術方法，以偏概全。從字面上講，機理模型就是描述過程機制或原理的模型。不僅僅包括定量的數學模型，也應該包括定性的描述變量間的驅動關系模型。定性機理模型和專傢規則通常都是用非數學語言刻畫的，但定性機理模型描述是變量間的驅動關系，而很多專傢規則描述是研判邏輯或處理邏輯。把通過數值計算獲得宏觀結果的仿真模型也歸為機理模型。把用微分代數方程組描述的機理模型暫稱為“數學模型”。因此，本文中的機理模型分為三類，數學模型、仿真模型和定性機理模型。機理是分層次的。以鍋爐管道結垢為例，從微觀層面上看[1]，水中的鈣鎂等鹽類受熱、分解、蒸發濃縮等變化，在受熱面上生成一層固態附著物，如圖a所示，這樣的機理對與降低結垢工藝與藥劑的研發有幫助；對於結垢成份及其特性的機理，如圖b所示，對於結垢厚度檢測裝置或除垢工藝有幫助；結垢後鍋爐狀態變化的定性機理，對於開發鍋爐狀態維修模型有幫助。從上面的討論可以看出，機理不一定是因果，或者說因果也是分層次的。應該從待解問題的工程可解性角度選擇合適的顆粒度。

圖 0‑1 不同層面的結垢機理模型

統計模型與數學模型的4種融合范式

統計模型與數學模型的融合有如下圖所示的4種方式。

圖 0‑2 分析模型與機理模型融合

（1）分析模型為機理模型做模型校準，提供參數的點估計或分佈估計，如Kalman濾波。

（2）分析模型為機理模型做後期處理或補充。例如，利用統計方法對WRF（Weather Research and Forecasting Model）天氣預報模型的結果進行修正；或者利用統計方法綜合多個機理模型，提高預測的穩定性。機理模型由於未建模因素、參數不精準造成精度低。機理模型的系統辨析需要有效激勵輸入，但實際的工業系統為瞭安全和壽命，會限制激勵信號的形式。這造成瞭機理模型與物理過程存在一定偏差。分析模型雖然是數據自適應，但在參數維度高的時候對訓練數據集要求過高，泛化能力差。通常做法是分析模型去擬合機理模型的殘差[2]。

（3）機理模型的部分結果作為分析模型的特征。例如，在風機結冰預測中，計算出風機的理論功率、理論轉速等並將其作為統計分析模型的重要特征。更進一步，就是把機理模型作為深度學習模型結構的一部分。如果使用傳統的深度學習，即使訓練數據滿足所有的物理規律，訓練好的深度網絡仍然可能違反物理規律限定，例如慣性矩陣非正定，外插無約束。深度拉格朗日網絡（Deep Lagrangian Networks, DeLaN）[3]和哈密爾頓神經網絡（Hamiltonian Neural Networks, HNNs）將力學系統作為先驗知識成為深度網絡模型的一部分，保證瞭關鍵物理量的合法性，比傳統的前饋神經網絡訓練速度更快，預測結果更物理，對新的徑跡預測也更健壯。

（4）分析模型與機理模型做集成。例如，在空氣質量預測中，WRF-CHEM、CMAQ （The Community Multiscale Air Quality Modeling System）等機理模型可及時捕獲空氣質量的全局動態演化過程，而統計模型可對空氣質量的局部穩態周期模式有較高精度的刻畫。模型集成可有效融合兩類模型各自的優勢。除瞭嚴格意義上的融合，對於計算量大的機理模型，分析模型還可以替代機理模型。例如，物理神經網絡（Physics-informed Neural Networks, PINN）[4]用來替代復雜的有限元計算，在訓練時，將微分方程或偏微分方程作為深度學習模型損失函數的一部分。物理神經網絡已經被廣泛用於解決方程求解、參數反演、模型發現、控制與優化等問題。對於基於復雜的動力學仿真的優化，強化學習可以用來學習最佳控制策略，強化學習也可以用來求解大規模組合優化問題[5]。

統計模型與仿真模型的2種融合模式

仿真模型通常用來做模擬分析（What-if Analysis），用來做設計驗證與預案設計。按照時空尺度，仿真模型可以分為如下4種類型：

①系統層級的仿真，包括機械、電子、電力、液壓、熱力學、控制系統等仿真，覆蓋瞭元件級、組件級、部件級、套件級以及機組級等不同工業系統級別。

②連續介質理論的CAE（Computer Aided Engineering）模擬，包括有限元FEM（Finite Element Method）、計算流體力學CFD（Computational Fluid Dynamics）、電磁仿真以及多物理場耦合仿真等。

③非連續介質理論或者介觀尺度的模擬方法，涉及微觀組織的演變以及缺陷、斷裂和損傷等各類問題。

④離散事件仿真，主要仿真活動過程等離散事件下的系統性能。

第③類因為涉及微觀尺度，通常缺乏大量測量數據的支撐，所以目前工業大數據和第①、②、④類仿真結合比較多。如果仿真模型結果和實際運行狀態相比有一定的可信度，仿真模型將有可能用來指導工業系統的運行控制與運維管理。這時候，仿真模型與統計模型有兩種典型融合方式。

（1）仿真作為統計模型的訓練驗證平臺。現實世界中數據的場景覆蓋度有限，故障樣本數量更有限，這對統計學習模型訓練通常是不夠的。這時候可以發揮仿真模型場景覆蓋全面的優勢，模擬在工業現場出現不瞭或極少出現的場景（如重大故障、極端工況）。仿真模型為統計模型生成訓練數據，統計模型基於這些數據進行訓練與驗證，可以驗證統計模型的技術可行性與性能。也可以用統計仿真去訓練一個基礎模型，根據實際現場數據做遷移學習。反過來，用強化學習，根據統計學習的結果調整仿真參數，讓仿真更有針對性。很多動力學問題的逆問題（根據當前狀態和目標狀態，求解最佳控制策略）比較復雜，很多時候不存在唯一解，直接求解難度大。基於仿真實驗，利用強化學習等策略去學習最佳控制策略。

圖 0‑3 仿真作為統計模型的訓練平臺

這裡需要註意，統計模型的輸入數據要素要保持和工業現場相同。仿真模型輸出大量狀態變量，但現實世界可測量隻是其中的一部分。統計模型學習的也不是整個系統機理生成式模型，而是解決某個具體問題（例如故障診斷）的模型。

（2）機器學習作為仿真加速器。很多仿真模型計算時間長，不能支撐在線生產決策或控制。可以基於離線仿真結果庫，利用統計學習的回歸分析算法（神經網絡、隨機森林等），訓練得到一個回歸預測模型。在線時利用回歸模型進行預測計算，快速得到一個相對可信的估算值。深度學習在這方面也有不少研究，前面介紹的PINN、DeLaN、HNNs等模型明確將機理或守恒關系構建為深度學習模型的損失函數或模型結構，深度學習模型訓練和仿真是獨立的兩個過程，需要大量額外存儲。還有一種方式，就是深度學習模型訓練伴隨仿真計算，不需要額外存儲中間結果數據， ModelingToolkit.jl、Modelica等系統仿真語言通常要求系統模型為微分代數方程（Differential- Algebraic Equation, DAE）形式，如果神經網絡可以表達為DAE形式，就可以實現訓練與仿真的伴隨執行，目前主要神經網絡模型包括CTESN（Continuous Time Echo State Networks，連續時間的回聲狀態網絡）[6]、隱性深度學習（Deep Implicit Layers）[7]等。回聲狀態網絡使用大規模隨機稀疏網絡（存儲池）作為信息處理媒介，將輸入信號從低維輸入空間映射到高維度狀態空間，在高維狀態空間采用線性回歸方法對網絡的非隨機連接權重進行訓練。回聲狀態網絡的優點是訓練簡單，可以作為遞歸神經網絡的簡化方法。而CTESN可以近似為DAE形式，和仿真軟件引擎有良好的融合接口。文獻[6]將CTESN作為代理模型開發JuliaSim軟件，訓練後CTESN模型可以替代仿真模型做快速推演預測。目前的深度學習是用多層顯式（explicit）非線性結構y=f(x)來實現強大的擬合能力，但其本質仍是尋找復雜系統的不變點。因此，隱性深度學習嘗試用隱性（implicit）聯合函數分佈g(x,y)=0來表達系統的不變關系，以期望以形式簡潔、內存需求量小的模型實現復雜系統不變點的表達。主要有DEQ （Deep Equilibrium Model）、Neural ODE（Ordinary Differential Equation）[7]、Differentiable Optimization，一旦表達為DAE形式，就很容易結合Modelica等系統仿真引擎去訓練深度學習模型。文獻[8]對物理信息神經網絡的應用有不錯的總結。

統計模型與定性機理模型的融合

模型的精髓在於對物理世界的合理簡化。很多復雜系統並不存在用數學語言表達的機理模型（或者需要做很強假設才有數學表達式），這時候定性機理模型也許是一種很好的模型形式。在過去的工業系統故障診斷研究中，已經提出瞭很多定性的變量驅動關系圖，如下表所示。

以磨煤機為例，其系統動力學圖如下圖所示[11]。其中可觀測的變量用框標出，67%左右的重要狀態變量並不可以直接觀測。在[12]中，我們也展示瞭靠能量守恒、物質守恒和熱力場假設建立的數學模型精度並不高，反而不如基於定性模型構建的統計模型。

圖 0‑4 磨煤機的動力與熱學系統動力學圖

定性機理模型一方面可以用於經典機器學習模型輸入變量的選擇，甚至特征變量的自動生成。另外機理模型的圖結構和圖神經網絡也可以有較好的結合[13]。

參考文獻

[1] 儀記敏. 錦91塊註汽鍋爐爐管結垢對傳熱性能影響規律數值計算[D].東北石油大學,2017.

[2] REINHART R F, SHAREEF Z, STEIL J J. Hybrid analytical and data-driven modeling for feed-forward robot control[J]. Sensors, 2017, 17(2): 311.

[3] LUTTER M, RITTER C, PETERS J. Deep lagrangian networks: Using physics as model prior for deep learning[C]//7th International Conference on Learning Representations (ICLR), 2019: 1-17.

[4] RAISSI M, PERDIKARIS P, KARNIADAKIS G E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations[J]. Journal of Computational physics, 2019, 378: 686-707.

[5] 李凱文, 張濤, 王銳,等. 基於深度強化學習的組合優化研究進展[J]. 自動化學報, 2021, 47(11): 2521-2537.

[6] RACKAUCKAS C, ANANTHARAMAN R, EDELMAN A, et al. Composing modeling and simulation with machine learning in Julia[C]//Proceedings of the 14thInternational Modelica Conference, 2021: 97-107.

[7] BAI S, KOLTER J Z, KOLTUN V. Deep equilibrium models[C]// Proceedings of the 33rd International Conference on Neural Information Processing Systems, 2019: 690-701.

[8] 李碩,劉天源,黃鋒,解鑫,張金義.工業互聯網中數字孿生系統的機理+數據融合建模方法[J].信息通信技術與政策,2022(10):52-61.

[9] SETTLES Burr, Active Learning[M]. Williston, VT: Morgan & Claypool, 2012.

[10] 趙越. 用於核電站故障診斷和規程改進的DUCG理論及應用研究[D].清華大學,2017.

[11] 田春華. 工業大數據分析算法實戰[M]. 北京：機械工業出版社, 2022.

[12] 田春華, 李闖, 劉傢揚等. 工業大數據分析實踐[M]. 北京：電子工業出版社, 2021.

[13] Wu D, Zhao J. Process topology convolutional network model for chemical process fault diagnosis[J]. Process Safety and Environmental Protection, 2021, 150: 93-109.