基于VTK 可視化引擎技術(shù)的港口起重機(jī)數(shù)字孿生系統(tǒng)研究及應(yīng)用*

　張 氫 江偉哲 秦仙蓉 孫遠(yuǎn)韜

　　同濟(jì)大學(xué)機(jī)械與能源工程學(xué)院 上海 201804

　　摘 要：隨著自動(dòng)化碼頭的興起，數(shù)字孿生系統(tǒng)在港口起重機(jī)運(yùn)行和管理具有越來(lái)越廣泛的應(yīng)用前景，類似于建筑BIM，各種信息整合在該平臺(tái)中可以進(jìn)行協(xié)同、交互式工作。針對(duì)港口起重機(jī)的動(dòng)力學(xué)特征及其數(shù)字孿生系統(tǒng)的可視化問(wèn)題，采用基于VTK 渲染引擎搭建了以孿生體物理特征實(shí)時(shí)三維可視化為主的起重機(jī)數(shù)字孿生平臺(tái)，構(gòu)建出系統(tǒng)平臺(tái)架構(gòu)。系統(tǒng)中建立的動(dòng)力學(xué)模型根據(jù)Runge-Kutta 的單步計(jì)算特點(diǎn)，實(shí)時(shí)解算得到孿生體的動(dòng)力學(xué)特征映射，并依靠高速渲染引擎對(duì)動(dòng)力學(xué)特征進(jìn)行實(shí)時(shí)三維可視化；同時(shí)，通過(guò)仿真測(cè)試手段對(duì)港口起重機(jī)數(shù)字孿生系統(tǒng)的有效性進(jìn)行了驗(yàn)證，可為數(shù)字孿生在港口機(jī)械的應(yīng)用提供理論依據(jù)和工程指導(dǎo)。

　　關(guān)鍵詞：港口起重機(jī)；數(shù)字孿生；動(dòng)力學(xué)；可視化；VTK；Runge-Kutta

　　中圖分類號(hào)：U653.921 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1001-0785（2020）17-0069-06

　　0 引言

　　數(shù)字孿生(Digital Twin) 的概念由美國(guó)密歇根大學(xué)的Michael Grieves 教授與美國(guó)國(guó)家航空航天局專家JohnVickers 在2003 年首次提出。之后Gartner 公司連續(xù)數(shù)年將數(shù)字孿生列為十大戰(zhàn)略性科技發(fā)展趨勢(shì)[1-3]。數(shù)字孿生作為新興的前沿技術(shù)，目前被廣泛應(yīng)用于制造業(yè)，其是通過(guò)現(xiàn)實(shí)世界中產(chǎn)品的運(yùn)行數(shù)據(jù)到虛擬空間中的映射來(lái)實(shí)現(xiàn)物理實(shí)體和虛擬模型之間的動(dòng)態(tài)聯(lián)系，不僅可以利用仿真技術(shù)在虛擬世界中建立產(chǎn)品的映射，模擬產(chǎn)品的全生命周期，更重要的是通過(guò)對(duì)現(xiàn)實(shí)世界的感知來(lái)指導(dǎo)物理實(shí)體準(zhǔn)確執(zhí)行其生命過(guò)程。目前數(shù)字孿生這一技術(shù)被廣泛應(yīng)用于各個(gè)行業(yè)：航空航天[4-7]、智能制造車間[8-10]、船舶制造[11，12]、地鐵運(yùn)維[13，14]、機(jī)器人控制[15] 等領(lǐng)域。我國(guó)眾多學(xué)者提出了數(shù)字孿生五維模型的概念[16]，探討了數(shù)字孿生在十大領(lǐng)域中的應(yīng)用。

　　數(shù)字孿生體作為物理實(shí)體的高維映射，包括幾何模型和物理模型。幾何模型從視覺(jué)上建立實(shí)體的可視化虛擬體，是幾何形狀的虛擬展現(xiàn)。幾何模型的三維可視化是對(duì)物理實(shí)體的視覺(jué)檢測(cè)，也是全生命周期下產(chǎn)品運(yùn)行數(shù)據(jù)的直觀表達(dá)，有助于用戶把控產(chǎn)品的實(shí)時(shí)狀態(tài)。物理模型包括動(dòng)力學(xué)模型、有限元模型等物理分析模型，物理模型的準(zhǔn)確建立可實(shí)現(xiàn)對(duì)實(shí)體物理特征的精準(zhǔn)分析。動(dòng)力學(xué)模型是描述物理實(shí)體最基本的物理模型，是宏觀上對(duì)物理實(shí)體運(yùn)行狀態(tài)的準(zhǔn)確映射，有助于分析產(chǎn)品的物理屬性，指導(dǎo)其生命過(guò)程。

　　如前所述，由于數(shù)字孿生具有高保真性，要求孿生體的動(dòng)力學(xué)特征與幾何模型的可視化一致。因此，需要對(duì)動(dòng)力學(xué)特征實(shí)時(shí)渲染，達(dá)到孿生體對(duì)物理實(shí)體的行為精準(zhǔn)映射的效果，否則會(huì)出現(xiàn)信息傳輸滯后、特征映射紊亂的現(xiàn)象。針對(duì)這一亟待解決的問(wèn)題，本文提出了基于VTK 技術(shù)融合動(dòng)力學(xué)特征實(shí)時(shí)仿真渲染的數(shù)字孿生平臺(tái)架構(gòu)，并以岸邊集裝箱起重機(jī)（以下簡(jiǎn)稱岸橋）的小車- 吊重系統(tǒng)為例進(jìn)行驗(yàn)證，說(shuō)明了方法的有效性。

　　1 基于VTK 技術(shù)的數(shù)字孿生平臺(tái)架構(gòu)

　　VTK（Visualization Toolkit）是以C++ 為內(nèi)核，基于OpenGL 的三維可視化工具庫(kù)，其包含約2 000 多個(gè)類，具有強(qiáng)大的圖像處理功能，其作為跨平臺(tái)、開(kāi)源的圖形編程函數(shù)庫(kù)不僅封裝了眾多前沿的計(jì)算機(jī)圖形學(xué)算法，還具備VTK 特有的內(nèi)存管理機(jī)制，支持并行處理。VTK 的主要應(yīng)用方向有三維計(jì)算機(jī)圖形、圖像處理及可視化。不同領(lǐng)域的研究人員( 如土木、機(jī)械、氣象、醫(yī)學(xué)) 將實(shí)驗(yàn)數(shù)據(jù)經(jīng)過(guò)VTK 渲染為可視化仿真模型，不僅為科研人員的研究帶來(lái)方便，更為研究成果帶來(lái)直觀、深刻、具有觀賞性的展示方式。

　　VTK 可視化管線如圖1 所示。在數(shù)據(jù)集的組織結(jié)構(gòu)中，幾何結(jié)構(gòu)描述了數(shù)據(jù)對(duì)象的空間位置關(guān)系，拓?fù)浣Y(jié)構(gòu)描述了數(shù)據(jù)對(duì)象間的連接構(gòu)成形式。當(dāng)幾何結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)的數(shù)據(jù)容量無(wú)法滿足需求時(shí)，屬性數(shù)據(jù)可以作為補(bǔ)充，包括標(biāo)量、矢量和張量，如空間某一點(diǎn)的運(yùn)動(dòng)方向?yàn)槭噶?，某一點(diǎn)的溫度為標(biāo)量。在本文所建系統(tǒng)中，主要以STL 作為模型數(shù)據(jù)源。STL 是描述三維物體表面幾何形狀的文件格式，數(shù)據(jù)模型被表達(dá)為由三角面片構(gòu)成的三維殼體，而STL 中存儲(chǔ)了三角面片的法向量和面片的頂點(diǎn)數(shù)據(jù)，是可被VTK 識(shí)別的多邊形數(shù)據(jù)。

　　圖1 VTK 典型可視化管線

　　本文在Windows 平臺(tái)下基于圖形界面庫(kù)Qt 與VTK，以C++ 面向?qū)ο蟮某绦蛟O(shè)計(jì)思想進(jìn)行數(shù)字孿生平臺(tái)軟件的開(kāi)發(fā)。如圖2 所示，所開(kāi)發(fā)的軟件平臺(tái)有模型管理界面、視圖界面等，與面向?qū)ο蟮脑O(shè)計(jì)思想相匹配。模型管理界面可以設(shè)置零件是否顯示、展示各構(gòu)件的體積、調(diào)節(jié)透明度和顏色。三維可視化界面將模型管理系統(tǒng)中的模型對(duì)象解析為VTK渲染管線特定的類型，并將模型對(duì)象渲染至三維主界面中。數(shù)據(jù)可視化界面將動(dòng)力學(xué)系統(tǒng)輸出的狀態(tài)參數(shù)進(jìn)行解析，將其轉(zhuǎn)化為時(shí)域下的運(yùn)行曲線，顯示在數(shù)據(jù)可視化界面中。開(kāi)發(fā)了人機(jī)交互系統(tǒng)，可通過(guò)鼠標(biāo)在屏幕上的坐標(biāo)得到所交互的模型對(duì)象，通過(guò)鍵盤可控制起重機(jī)的各機(jī)構(gòu)運(yùn)動(dòng)。

　　圖2 用戶界面

　　圖3 所示為數(shù)字孿生平臺(tái)（簡(jiǎn)化的），包括有三維可視化系統(tǒng)與動(dòng)力學(xué)系統(tǒng)建模分析功能，二者協(xié)同作用。動(dòng)力學(xué)系統(tǒng)是岸橋?qū)\生體物理特征的驅(qū)動(dòng)內(nèi)核。孿生體物理特征的描述源于對(duì)物理實(shí)體的感知，動(dòng)力學(xué)系統(tǒng)科學(xué)構(gòu)建了物理實(shí)體的真實(shí)動(dòng)力學(xué)模型，準(zhǔn)確映射了岸橋?qū)嶓w的運(yùn)行狀態(tài)。三維可視化系統(tǒng)可以直觀地監(jiān)測(cè)物理實(shí)體的行為，不僅從視覺(jué)上描述了岸橋的外形特征，進(jìn)行形態(tài)映射，還對(duì)岸橋的港口工作環(huán)境進(jìn)行可視化，完成環(huán)境映射。

　　三維可視化系統(tǒng)與動(dòng)力學(xué)系統(tǒng)是相輔相成的。動(dòng)力學(xué)系統(tǒng)作為物理特征的驅(qū)動(dòng)內(nèi)核，高速解算每一時(shí)刻孿生體的動(dòng)力學(xué)特征參數(shù)，完成動(dòng)力學(xué)特征映射，實(shí)時(shí)的參數(shù)輸出為可視化系統(tǒng)提供即時(shí)渲染條件。VTK 作為三維可視化系統(tǒng)的高速渲染引擎，將孿生體的物理特征實(shí)時(shí)渲染在可視化窗口中，孿生體的位姿跟隨動(dòng)力學(xué)特征參數(shù)的改變而變化。依靠VTK 的高速渲染能力，三維可視化系統(tǒng)將孿生體物理特征的映射結(jié)果進(jìn)行實(shí)時(shí)的可視化表達(dá)。

　　圖3 數(shù)字孿生平臺(tái)主要架構(gòu)

　　2 基于實(shí)時(shí)渲染的動(dòng)力學(xué)系統(tǒng)建模

　　通常，岸橋通過(guò)小車、鋼絲繩和吊具來(lái)吊運(yùn)貨物。小車- 吊重系統(tǒng)的動(dòng)力學(xué)分析一般是通過(guò)系統(tǒng)各構(gòu)件之間的幾何關(guān)系以及小車運(yùn)動(dòng)或受力情況建立相應(yīng)的狀態(tài)描述方程。在本孿生系統(tǒng)的動(dòng)力學(xué)模塊中，主要計(jì)算小車- 吊重系統(tǒng)的實(shí)時(shí)運(yùn)動(dòng)狀態(tài)，以Runge-Kutta 方法解算出所建立的小車- 吊重系統(tǒng)拉格朗日動(dòng)力學(xué)方程，并將狀態(tài)參數(shù)輸出至三維可視化系統(tǒng)進(jìn)行數(shù)據(jù)解析，實(shí)時(shí)更新模型對(duì)象的狀態(tài)。

　　2.1 四自由度動(dòng)力學(xué)模型

　　如圖4 所示，將鋼絲繩視為彈簧- 阻尼系統(tǒng)，起升鋼絲繩和小車牽引鋼絲繩的彈性系數(shù)與阻尼系數(shù)分別為k1、k2、c1、c2，小車和吊重的質(zhì)量分別為M、m，左、右起升鋼絲繩的長(zhǎng)度分別為l1、l2，小車的位移為x，小車上左、右起升滑輪的間距為2b，吊具上左、右起升滑輪的間距為2w，吊重的高度為2r，小車的高度為2R，等效鋼絲繩與豎直方向的夾角為α，吊重的傾角為θ。為方便計(jì)算，將l1 和l2 的吊點(diǎn)位置等效至吊具與小車的起升滑輪間距的中點(diǎn)，兩中點(diǎn)的連線視為等效鋼絲繩，其長(zhǎng)度為l。整個(gè)系統(tǒng)有4 個(gè)自由度，分別為小車水平位移x、等效繩長(zhǎng)l、等效鋼絲繩偏擺角α 和吊重傾角θ。

　　圖4 小車- 吊重系統(tǒng)動(dòng)力學(xué)模型

　　在該系統(tǒng)中，根據(jù)拉格朗日動(dòng)力學(xué)方程得式中：Δx 為當(dāng)前牽引鋼絲繩收放長(zhǎng)度與小車位移差，Δx=x´-x；Δv 為當(dāng)前時(shí)刻牽引鋼絲繩收放速度與小車運(yùn)行速度之差，Δv=x´-·x ，即牽引鋼絲繩長(zhǎng)度的變化速度。

　　2.2 實(shí)時(shí)渲染

　　在系統(tǒng)中，根據(jù)小車- 吊重系統(tǒng)各構(gòu)件之間的幾何關(guān)系建立系統(tǒng)的幾何約束條件；再根據(jù)拉格朗日方程建立小車- 吊重的動(dòng)力學(xué)模型。為模擬風(fēng)載荷作用下起重機(jī)的真實(shí)工況，動(dòng)力學(xué)模型系統(tǒng)中加入脈動(dòng)風(fēng)載荷的作用。脈動(dòng)風(fēng)載荷的時(shí)程模擬是基于Davenport 風(fēng)譜與自回歸模型(AR 模型) 的隨機(jī)過(guò)程模擬方法，自回歸模型計(jì)算量小、速度快，被廣泛用于隨機(jī)振動(dòng)和時(shí)間序列分析中[17]。在包含了脈動(dòng)風(fēng)載荷時(shí)程模擬的小車- 吊重系統(tǒng)動(dòng)力學(xué)模型中，采用四階Runge-Kutta 方法對(duì)模型進(jìn)行時(shí)域內(nèi)的分步求解。

　　求得參數(shù)后，動(dòng)力學(xué)系統(tǒng)與三維可視化系統(tǒng)進(jìn)行協(xié)同工作，實(shí)現(xiàn)實(shí)時(shí)渲染，框架如圖5 所示。

　　圖5 動(dòng)力學(xué)、三維可視化系統(tǒng)協(xié)同渲染

　　式（2）是Runge-Kutta 對(duì)式（1）在第個(gè)n 時(shí)刻的求解結(jié)果。將Vn 以浮點(diǎn)數(shù)形式存儲(chǔ)，并將指向Vn 的指針發(fā)送至三維可視化系統(tǒng)中。三維可視化系統(tǒng)通過(guò)該指針獲得Vn 中的參數(shù)，參數(shù)解析器將Vn 進(jìn)行解析，實(shí)時(shí)更新各構(gòu)件的模型參數(shù)。最后通過(guò)VTK 渲染引擎將模型實(shí)體的姿態(tài)進(jìn)行更新，展示在終端界面中。實(shí)時(shí)渲染流程如圖6 所示。

　　VTK 的渲染引擎提供高速渲染接口，其流暢的渲染管線支持對(duì)實(shí)體的位姿變化的渲染。三維可視化系統(tǒng)接收到輸入?yún)?shù)后，對(duì)其進(jìn)行快速解析，將參數(shù)映射為小車、鋼絲繩、吊重的位姿，再通過(guò)渲染管線提供的實(shí)體位姿變化接口傳入?yún)?shù)，最后依靠VTK 高速渲染引擎將實(shí)體的姿態(tài)實(shí)時(shí)渲染在用戶終端，進(jìn)行三維可視化展示。

　　圖6 三維可視化系統(tǒng)實(shí)時(shí)渲染流程

　　3 數(shù)字孿生系統(tǒng)功能測(cè)試與應(yīng)用

　　對(duì)本文所開(kāi)發(fā)的港口起重機(jī)數(shù)字孿生系統(tǒng)進(jìn)行功能測(cè)試。進(jìn)入數(shù)字孿生系統(tǒng)后，通過(guò)鼠標(biāo)交互在三維視窗中調(diào)節(jié)視角至適宜位置后，按下方向右鍵觀察小車開(kāi)始向右運(yùn)動(dòng)。此時(shí)動(dòng)力學(xué)系統(tǒng)開(kāi)始運(yùn)行，計(jì)算每一幀小車-吊重系統(tǒng)的狀態(tài)參數(shù)，并將狀態(tài)參數(shù)發(fā)送到小車、鋼絲繩和吊重的模型對(duì)象中，由三維可視化系統(tǒng)動(dòng)態(tài)刷新模型對(duì)象。運(yùn)行中的小車- 吊重系統(tǒng)如圖7、圖8 所示，渲染幀率可達(dá)30 fps。

　　圖7 小車- 吊重系統(tǒng)運(yùn)動(dòng)形態(tài)1

　　圖8 小車- 吊重系統(tǒng)運(yùn)動(dòng)形態(tài)2

　　在運(yùn)行時(shí)，數(shù)據(jù)可視化系統(tǒng)將接收到的每一幀小車-吊重系統(tǒng)狀態(tài)參數(shù)進(jìn)行解析并存儲(chǔ)至數(shù)據(jù)隊(duì)列中，并進(jìn)行實(shí)時(shí)繪制。如圖9 所示，三維可視化與數(shù)據(jù)可視化同步顯示小車- 吊重系統(tǒng)的運(yùn)行狀態(tài)。

　　圖9 三維可視化與數(shù)據(jù)可視化同步顯示

　　點(diǎn)擊界面上方工具條中的司機(jī)視角按鈕，三維可視化系統(tǒng)中會(huì)將相機(jī)移動(dòng)到小車司機(jī)室的位置( 見(jiàn)圖10)，并將二者綁定，使相機(jī)隨司機(jī)室移動(dòng)( 見(jiàn)圖11)。

　　圖10 司機(jī)視角1

　　圖11 司機(jī)視角2

　　由圖9 ～圖11 可見(jiàn)，在VTK 高速渲染引擎的作用下，三維可視化系統(tǒng)直觀而準(zhǔn)確地表現(xiàn)了岸橋?qū)\生體的動(dòng)力學(xué)特征。在三維可視化系統(tǒng)與動(dòng)力學(xué)系統(tǒng)的協(xié)同作用下，數(shù)字孿生平臺(tái)穩(wěn)定運(yùn)行。

　　4 結(jié)論

　　1) 研究了VTK 的基本數(shù)據(jù)結(jié)構(gòu)、可視化管線和STL 模型渲染技術(shù)，明確VTK 在數(shù)字孿生系統(tǒng)中的應(yīng)用，為三維可視化系統(tǒng)提供渲染引擎。

　　2) 設(shè)計(jì)開(kāi)發(fā)了以三維可視化系統(tǒng)和動(dòng)力學(xué)系統(tǒng)為主的港口起重機(jī)數(shù)字孿生平臺(tái)，包含模型管理系統(tǒng)、數(shù)據(jù)可視化系統(tǒng)和人機(jī)交互系統(tǒng)。

　　3) 研究了基于實(shí)時(shí)渲染的動(dòng)力學(xué)系統(tǒng)，通過(guò)動(dòng)力學(xué)系統(tǒng)與VTK 三維可視化系統(tǒng)的協(xié)同作用實(shí)現(xiàn)了岸橋動(dòng)力學(xué)特征的實(shí)時(shí)映射。

　　4）通過(guò)對(duì)系統(tǒng)的測(cè)試，驗(yàn)證了動(dòng)力學(xué)系統(tǒng)的實(shí)時(shí)渲染效果，為數(shù)字孿生在港口機(jī)械的應(yīng)用提供參考。

　　參考文獻(xiàn)

　　[1] Gartner.Gartner's Top10 Strategic Technology trendfor2019[EB/OL].[2018-10-15].https：//www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technologytrends- for-2019/.

　　[2] Gartner.Gartner's Top10 Strategic Technology trendfor2018[EB/OL].[2017-10-3].https：//www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technologytrends-for-2018/.

　　[3] Gartner.Gartner's Top10 Strategic Technology trendfor2017[EB/OL]. [2016-10-18].https：//www.gartner.com/smarterwithgartner/gartners-top-10-technology-trends-2017/.

　　[4] 陶飛，張萌，程江峰，等. 數(shù)字孿生車間——一種未來(lái)車間運(yùn)行新模式[J].計(jì)算機(jī)集成制造系統(tǒng)，2017，23(1)：1-9.

　　[5] 北京世冠金洋科技發(fā)展有限公司. 航天飛行器數(shù)字孿生技術(shù)及仿真平臺(tái)[J]. 軍民兩用技術(shù)與產(chǎn)品，2018(9)：26.

　　[6] 陳振，丁曉，唐健鈞，等. 基于數(shù)字孿生的飛機(jī)裝配車間生產(chǎn)管控模式探索[J]. 航空制造技術(shù)，2018，61(12)：46-50，58.

　　[7] 孫萌萌. 飛機(jī)總裝配生產(chǎn)線數(shù)字孿生系統(tǒng)若干關(guān)鍵技術(shù)研究 [D]. 杭州：浙江大學(xué)，2019.

　　[8] Ding K，Chan F T S，Zhang X，et al.Defining a Digital Twin-based Cyber-Physical Production System for autonomousmanufacturing in smart shop floors[J]. International Journal of Production Research，2019：1-20.

　　[9] 丁凱，張旭東，周光輝，等. 基于數(shù)字孿生的多維多尺度智能制造空間及其建模方法[J]. 計(jì)算機(jī)集成制造系統(tǒng)，2019，25(6)：1 491-1 504.

　　[10] Havard V，Jeanne B，Lacomblez M，et al.Digital twin and virtual reality：a co-simulation environment for design and assessment of industrial workstations[J].Production & Manufacturing Research，2019.

　　[11] 李凱，錢浩，龔夢(mèng)瑤，等. 基于數(shù)字孿生技術(shù)的數(shù)字化艦船及其應(yīng)用探索[J]. 船舶，2018，29(6)：101-108.

　　[12] 徐鵬，陳衛(wèi)彬，廖良闖，等. 基于數(shù)字孿生的船舶管加工數(shù)字化車間研究[J]. 艦船科學(xué)技術(shù)，2019，41(15)：139-144.

　　[13] 楊國(guó)偉，劉文澤，畢湘利. 基于云平臺(tái)的地鐵數(shù)字孿生運(yùn)維系統(tǒng)構(gòu)建[J]. 信息技術(shù)與信息化，2019(8)：90-92.

　　[14] 楊國(guó)偉，王菲，畢湘利，等. 數(shù)字孿生在地鐵環(huán)控系統(tǒng)中的應(yīng)用[J]. 科技與創(chuàng)新，2019(14)：33-35.

　　[15] 楊艷芳，賀煥，舒亮，等. 斷路器柔性裝配數(shù)字孿生機(jī)器人及其運(yùn)動(dòng)控制[J/OL]. 計(jì)算機(jī)集成制造系統(tǒng)：1-21，[2019-10-21].

　　[16] 陶飛，劉蔚然，張萌，等. 數(shù)字孿生五維模型及十大領(lǐng)域應(yīng)用[J]. 計(jì)算機(jī)集成制造系統(tǒng)，2019，25(1)：1-18.

　　[17] 舒新玲，周岱. 風(fēng)速時(shí)程AR 模型及其快速實(shí)現(xiàn)[J]. 空間結(jié)構(gòu)，2003(4)：27-32，46.