摘 要:近紅外光學跟蹤系統以其高精度、便捷的特點迅速發展成為手術導航中的重要組成部分。本文基于雙目視覺設計了一套高精度、低成本的光學跟蹤系統,該系統使用安裝在器械上的被動標記球(NDI Passive Sphere)作為標記,并在雙目相機鏡頭前添加近紅外濾光片,以消除環境光的干擾。首先,采用輪廓過濾算法,用于標記輪廓的提取,使用最小二乘橢圓擬合算法獲取標記投影中心的像素坐標;其次,設計了器械識別算法,使每個器械可以單獨有序儲存標記球的中心像素坐標,用于多個器械的分辨;最后,通過左右視圖對應標記中心匹配,重建其空間坐標,進而推導出器械尖端在世界坐標系中的坐標。實驗使用該系統跟蹤器械,利用器械的無規則擺放實驗驗證了器械識別算法的準確性和魯棒性,準確率達95%,平均識別時間僅需4ms。并對系統進行了穩定性、靜態定位精度、動態跟蹤等測試。結果表明,穩定性誤差可達0.13mm,靜態定位精度可達0.373mm,所提出的近紅外光學跟蹤系統具有較高的精度和穩定性,可以滿足手術導航的要求。
關鍵詞:器械識別;手術導航;光學定位;雙目視覺
王杰; 仲重亮; 朱偉東, 紅外與激光工程 發表時間:2021-11-05
0 引言
導航系統一般由軟件系統及主動或被動跟蹤定位系統組成,而光學跟蹤定位系統因其可靠、非接觸等特點在導航系統中廣泛應用。光學跟蹤定位系統一般應用在手術導航、精準焊接、工件定位、打磨拋光等領域。例如在手術導航方面,光學跟蹤定位系統可以通過實時跟蹤手術工具和患者實體,然后將手術工具與患者實體之間的相對姿態映射到虛擬導航界面,從而使手術更加便捷,而且也減少了創傷面積[1-3]。為了減少可見光的干擾,手術導航一般使用近紅外跟蹤定位系統,由兩臺高速相機搭建而成,通過跟蹤被動標記球而實時重建空間坐標,達到精準導航的目的。
跟蹤定位技術是衡量手術導航系統的關鍵因素。高精度和實時性是手術導航成功的先決條件。目前在手術導航系統中應用的主要跟蹤方法是電磁跟蹤和光學跟蹤。電磁導航系統雖然成本低,使用靈活,但對金屬物體特別是鐵磁儀器特別敏感,其精度對電磁波的干擾很敏感。光學跟蹤系統(OTS)不僅定位精度高,而且使用方便[4]。它迅速發展成為當前手術導航的主要產品,目前主流商用產品如NDI的Polaris VEGA 系列,最多可跟蹤25個工具,跟蹤精度僅為0.12 mm。
北京理工大學首先通過并行算法在FPGA中實現了三維點重建定位附著在儀器上的標記,然后根據這些標記的幾何關系估計姿勢[5]。極線約束通常用于立體匹配,但它無法確定與兩個光學中心共面的標記的正確對應,從而導致重影標記在重建3D點后生成[6]。為了解決重影標記的形成,其他改進的方法如點極線之間的幾何距離約束[7];將最大輪廓重投影一致性和極線約束結合到目標函數中[8];根據標記提供的幾何信息查找標記投影之間的對應關系,以及基于投影的大小在幀間快速跟蹤2D圖像中的標記[9] ;基于標記點幾何排列的儀器識別方法和基于標記點運動矢量的儀器跟蹤方法[10]。
對于新手外科醫生來說,計算機輔助手術的術前培訓必不可少,旨在提高外科醫生的動手實踐能力。然而,Polaris VEGA 相關產品不僅價格昂貴,而且其所依賴的技術受專利保護,不利于二次開發和定制化,因此通常用于臨床手術,不能廣泛用于培訓新手外科醫生。
本文基于雙目視覺原理,設計了一種低成本、高精度的光學跟蹤系統。在設計的光學跟蹤系統中,六個被動標記球用作安裝在器械上的標記。該系統使用兩個高速相機來捕捉標記的圖像,兩個紅外燈用作主動光源,為了增強標記亮度減弱可見光的干擾,在每個相機鏡頭前添加了近紅外濾光片。為提取標記中心的像素坐標,采用輪廓過濾方法消除干擾輪廓,然后用最小二乘橢圓擬合算法獲取中心像素坐標。這種圖像處理方法大大增強了抗干擾能力,提高了系統的精度。接下來,器械識別算法根據器械特有幾何特征對其正確識別并有序儲存器械上標記球的像素坐標序列,用于匹配左右攝像機圖像中的標記。最后,通過標記的3D坐標重建得到器械尖端的坐標,并通過實驗驗證了系統的準確性和穩定性,可以滿足手術導航的需要。
1 系統建立
一般來說,可見光相機在可見光條件下工作,但它也可以檢測近紅外光。量子效率 (QE) 是器件對各個波長靈敏度的重要表征,本系統使用的CMOS USB3.0相機,它在不同波長下QE的分布如圖1-a所示。由圖1-a可知,可見光波段的QE大于近紅外波段的QE。如果相機直接用于跟蹤器械,手術室內環境光的干擾是不可避免的,而且標記球的亮度會很暗,如圖1-b所示,這將嚴重影響器械尖端定位的準確性。
因此,在工業定焦鏡頭前添加了一個中心波長為 850 nm的窄帶通濾波器。由圖1-c可知,添加近紅外濾光片可以有效阻止可見光等進入傳感器。
整體系統如圖2所示,硬件部分使用兩臺同型號高頻黑白相機(MV-CA013-21UM,HIKROBOT,China),相機分辨率為1280×1024,最大幀率為210 fps,二者間距420 mm。相機內側為兩個中心波長為850 nm的近紅外照明燈。鏡頭采用定焦鏡頭,焦距為8 mm,鏡頭前添加有近紅外濾光片。軟件部分可以實時采集處理得出標記中心像素坐標及器械尖點在世界坐標系中的坐標。
系統原理框圖如圖3所示,當系統啟動時,近紅外光源照射固定在器械上的被動標記球的表面,雙目視覺系統收集標記球反射的光線在相機的傳感器上成像,并將圖像數據通過USB3.0接口發送到計算機,軟件可以實時顯示標記及器械尖點的世界坐標。軟件算法處理主要分為三步:首先,應用標記輪廓過濾算法得到有效輪廓并利用最小二乘橢圓擬合算法獲取標記投影中心的像素坐標,結合雙目視覺系統的內外參數,對捕獲的中心坐標進行畸變校正;其次,根據器械的幾何排列對左右視圖的器械逐一識別并有序儲存器械上標記球的像素坐標序列,為立體匹配做好基礎;最后,通過已標定的雙目相機內外參數重建標記中心的3D坐標。更重要的是,結合器械尖端在器械坐標系中的坐標,可以計算出尖端的世界坐標。從而實現對器械的實時定位和跟蹤。
2 方法
2.1 器械設計
如圖4所示,本文設計的器械安裝六個NDI公司生產的被動標記球,這種標記球對近紅外光具有高反射率,其組成一個等腰直角三角形,三角形每條邊都有三個標記球,但是處于每條邊中間的標記球的位置會不同,比如有些位于中點,而有些位于三等分點。尖點位于圖4最右側,通過尖點旋轉驗證系統抗干擾性。 D16、D14、D24這三組距離的準確性也會在動態跟蹤實驗中驗證。
2.2 相機標定與畸變校正
Zhang’s標定法[11]近年來在相機標定中得到廣泛應用,并且已經成熟。它是傳統相機標定和自標定的折衷方法,這種方法是穩健的,無需開發高精度定位參考。更重要的是,標定精度可以滿足要求,因此本文采用此方法來標定相機,標定后將得到左右相機的旋轉矩陣、平移矩陣以及每個相機的內參矩陣和畸變參數。
相機光學系統中透鏡形狀引起的畸變稱為徑向畸變,安裝過程中由于不能使透鏡和成像面嚴格平行引起的畸變稱為切向畸變。以上兩種畸變會使相機坐標系中的歸一化坐標 (( / ) ,( / ) ) X Z Y Z c c distorted c c distorted 與真實歸一化坐標 (( / ),( / )) X Z Y Z c c c c 存在偏差。二者的對應關系為: 2 4 6 11 12 13 2 2 1 2 : ( ) ( )(1 ) 2 ( )( ) ( 2( ) ) c c distorted c c c c c c c c X X Z X Z k r k r k r p X Z Y Z p r X Z ? ? ? ? ?? ? (1) 2 4 6 11 12 13 2 2 2 1 : ( ) ( )(1 ) 2 ( )( ) ( 2( ) ) c c distorted c c c c c c c c Y Y Z Y Z k r k r k r p X Z Y Z p r Y Z ? ? ? ? ?? ? (2)
其中, 2 2 2 ( ) ( ) c c c c r X Z Y Z ? ? , 11 12 13 k k k , , 為徑向畸變系數, 1 2 p p, 為切向畸變系數,五個參數均可由相機標定得到。
則投影在像素坐標系中的位置變為: 0 0 ( ) ( ) d x c c distorted d y c c distorted u f X Z u v f Y Z v ? ?? ? (3) 其中, 0 0 , , , x y f f u v 均可由相機標定的內參矩陣得到。因此,系統首先應通過畸變校正,得到畸變校正后的圖像。畸變校正一般通過迭代法解算,當前后兩次迭代的差值小于預設閾值,則終止迭代。
2.3 標記中心提取
在光學跟蹤系統中,標記中心的像素坐標提取將直接影響器械尖端世界坐標的精度。在捕獲的圖像中,標記是高亮區域,標記中心的像素坐標是高亮區域的中心,用于計算器械尖端的世界坐標。
然而,因為工作環境中其他物體的高強度反光,形成高亮區域,這種區域會對標記球輪廓的提取造成干擾,因此,本文采用輪廓過濾算法提取標記輪廓。在進行標記輪廓提取之前,必須使用圖像分割的方法提取標記邊緣。雖然閾值分割可以快速實現邊緣提取,但使用單閾值或多閾值的圖像分割方法會造成結果不穩定。而 Canny邊緣檢測器作為提取標記邊緣的常用方法[12],算法穩定性已經被多位學者驗證,因此本文使用Canny算法進行邊緣檢測。邊緣提取后使用OpenCV中輪廓檢測函數獲得輪廓集 { } d d C c ? i , d i c 表示第i個輪廓, ={ } d d i j c p ,表示第i個輪廓中的單個像素 d j p 。但這些像素值都是未經校正的,需要利用畸變參數進行校正。然而校正整個原始圖像的畸變是很耗時的,因此,只需要校正 d i c 。最后,得到校正后的輪廓 { } i j c p ?,以及校正后的最終獲得輪廓集 { } C c ? i 。
標記輪廓提取的第一步:判斷邊緣是否近似于圓。如果 i c 是一個圓,那么輪廓上的像素 j p 到質心 o 的距離 j d 與平均距離 i o 的均方根誤差很小。假設 Mi 為 i c 中的像素點個數,那么 j i d o ? 的均方根誤差(RMSE)為: 2 1 Mi j i i j i i d o o RMSE M ?? ? ?? ? ? ??? (4) 如果 RSMEi 小于閾值 r t , i c 可以被視為一個標記輪廓,如表 1 所示,分別選取 0.4000、0.3000、0.226、 0.225、0.224、0.200、0.100 等 7 個閾值分別實驗,發現在 0.100-0.225 區間中,識別數量滿足要求,本文中 r t 取值0.224。
標記輪廓提取的第二步:判斷輪廓中的像素數量是否滿足一個取值范圍,在 1.2 m 處采集到標記球的像素數量最大值為 250 個像素,2 m 處采集到標記球的像素數量為 60 個像素,因此,如果輪廓中的像素數量滿足此范圍,則該輪廓正式被視為一個標記輪廓,如若未執行此步驟,輪廓提取結果將會如圖5-a所示。
最后使用最小二乘橢圓擬合算法[13]過濾后的輪廓 i c 擬合得到投影標記中心像素坐標,最終提取結果如圖 5- b所示。
首先給出橢圓的一般表達式: 2 2 f m n ax bxy cy dx ey f ( , ) ? ? ? ? ? ? (5) 其 中 , 矢 量 m a b c d e f ? ? ? ,n x xy y x y ? ? ?1 ? ?。令 { } i j c p ?中像素點的坐標為 ( , )( 1,2, ) j j i x y j M ? , Mi 為橢圓邊界上像素點的個數。引入約束條件 2 m ? 1 ,同時建立如下的目標函數: 2 2 2 1 ( ) ( , ) ( 1) Mi j j F m f m n M m ?? ? ? ? (6) 其中, M 為 懲 罰 系 數 , 且 有 2 2 1 j j j j j j j n x x y y x y ? ? ? ? ? 。最小化目標函數 F m( ) ,求得矢量 m 的最優解。這是一個非線性最小二乘問題,可以利用牛頓-高斯法或 Levenberg-Marquardt算法求解。根據矢量,計算橢圓中心的像素坐標,公式如下: 2 2 4 c cd be x b ac ??? (7) 2 2 4 c ae bd y b ac ??? (8)
2.4 器械識別
器械識別影響立體匹配的精確性,通過器械識別,可以有序儲存器械中每個標記的坐標信息,為立體匹配做好準備。
首先,對左視圖進行標記中心提取,得出一組二維像素坐標 { , } i i u v ,然后,將像素坐標系轉換成圖像坐標系: 0 0 ( ) ( ) i i x i i y x u u d y v v d ? ?? ? (9) 式中 x y d d ?,表示像元尺寸,本文二者相等。
此時,圖像坐標系中點集 { , } i i x y 與相機坐標系中三維點集具有下述轉換關系: { , } { , , } i i i i x y x y f ? (10) { , , } i i x y f 表示圖像坐標系中的二維點集與光心之間距離為焦距 f 時的相機坐標系空間坐標。
假設空間點集的數量為 N,子集元素數目為 3的集合一共可以找出 3 CN 個組合。現找出其中的一個子集 { , , | 0,1,2} i i x y f i ?,對每個點列出空間直線方程 i i x y z t x y f ? ? ? (11) { , , | 0,1,2} i i x y f i ?對應的 t 為 1,位于圖 6 中Z f c ?平面。在 Z f c ?平面前后建立 0.5 Z f c ?與 4 Z f c ?兩個平面,因為每個點的空間直線方程一定經過相機光心,因此與 0.5 Z f c ?和 4 Z f c ?這兩個平面存在交點,如圖6所示。
如圖 6 所示,子集 { , , | 0,1,2} i i x y f i ?與光心連線的空間直線與 0.5 Z f c ?和 4 Z f c ?這兩個平面共有六個交點,然后通過這六個交點擬合平面,計算 Z f c ?平面上 { , , | 0,1,2} i i x y f i ?到該平面的距離平方和 i 012 S ?,并判斷 i 012 S ?是否小于閾值 s t ,如若滿足,則認為 { , , | 0,1,2} i i x y f i ?在擬合平面上,即該子集屬于器械的一條邊。最后將其存儲到二維向量 output 中。接下來,依次取出其他子集重復上述過程。如表 2所示,分別選取 0.012、0.011、0.010、0.009、0.008 等 5 個閾值分別實驗,發現在 0.008-0.010 區間中,識別數量滿足要求,本文 s t 取值為0.009。
當所有的子集經過上述過程后,不滿足的子集被過濾,二維向量 output 中保存的子集均為目標子集,但是子集之間并不能有效區分,因次,器械設計時對每條邊添加了對稱性屬性,使子集通過對稱性區分,分為對稱子集與非對稱子集。子集對稱性區分即:找出 output 中的一個子集,假設子集是 { , , | 0,1,2} i i x y f i ?。下面對該 子 集 執 行 對 稱 性 區 分 操 作 , 首 先 找 出 { , , | 0,1,2} i i x y f i ?中位于邊緣兩點中間的點,然后計算邊緣兩點與中間點二者空間向量的弧度值,并用較小的弧度值與較大弧度值相比,該比值記為? i?012 。如果? i?012 滿足式(12): min 012 max i ? ? ? ? ?? (12) min ? ? 0.9 ,? max =1.0 ,則認為子集 { , , | 0,1,2} i i x y f i ?為對稱子集,如圖7-a所示;如果滿足式(13):? ? ? min 012 max ? ? i? (13) ?min =0.35 ,? max =0.58 ,則認為子集 { , , | 0,1,2} i i x y f i ?為非對稱子集,如圖7-b所示;因為系統工作距離遠大于器械標記球之間的距離,所以? i?012 在對稱子集中非常接近 1.0;在非對稱子集中,? i?012 接近器械最初設計的比例,即中間點位于三等分點。
依次計算 output 中的子集,將對稱子集按照中間點、邊緣點的順序存儲到二維向量 Sym中,非對稱子集也按照中間點、邊緣點的順序存儲到二維向量 Asym 中。
output 中的子集全部處理完之后,子集被分為對稱子集與非對稱子集,分別存儲在二維向量 Sym 與 Asym 中。從二維向量 Sym中找出一個子集,然后從二維向量Asym 中找出兩組子集,如果這兩組非對稱子集滿足:存在邊緣點與對稱子集邊緣點相等,則將這三組子集存放到同一個二維向量Tool中。
目前,只是將屬于同一器械中的被動標記球中心坐標存入到二維向量 Tool中,但并沒有明確標記球之間的關系。因此,需要定義一種可以辨別標記球相互關系的方法。
本文定義的方法是以對稱子集中間點為起點,對器械 中 每 個 標 記 球 按 照 逆 時 針 順 序 編 號 1 2 3 4 5 6 { , , , , , } A A A A A A ,起點為 A1 ,兩個非對稱子集的重合點為 A4 ,這兩點可以快速確定。但是因空間旋轉的不確定性,其它點并不能確定。因此,我們利用確定的 A1 與 A4 的位置關系來確定 A2 ,相互關系如圖 8-a 所示。
由圖 8-a 可知,當 A1 與 A4 的位置確定之后, A2 的位置將唯一確定。例如 A4 的橫縱坐標均大于 A1 的橫縱坐標,則 A2 應滿足:橫坐標小于 A1 的橫坐標而縱坐標大于 A1 的縱坐標。確定 A2 之后,對稱子集已經確定了兩個點。 A3 則為屬于 A2 與 A4 那組非對稱點集中的中間點, A4 為公共點,之前已經確認。 A5 則為另外一個非對稱子集的中間點, A6 則為對稱子集的另外一個端點。至此,Tool 中的六個標記球中心坐標已經有序排列,最后將 1 2 3 4 5 6 { , , , , , } A A A A A A 按照下標由小到大的順序儲存,為下一步立體匹配做準備,器械上標記球的編號如圖8-b所示。
經過上述過程,器械中的標記球被有序存儲。對于每個器械,分別找出 2 3 4 5 6 A A A A A , , , , 計算圖 8-b 中 L L 1 2 與 L L 3 4 的比值確定器械種類,本文根據 L L 1 2 與 L L 3 4 的比值設計了三種器械,如表3所示。
最后,依次從二維向量 Sym、Asym 取出子集,重復上述過程,確定器械種類。當左視圖所有子集處理完成后,再對右視圖進行類似處理,最終得到左右視圖相同種類器械有序存儲的標記球中心坐標,為后續匹配做好準備。
2.5 三維重建
器械正確識別后,可以對左右視圖中的相同器械按照存儲的順序匹配重建。對于左相機,我們假設其坐標系的原點與世界坐標系原點重合且無旋轉,那么左相機坐標系可以表示為 o xyz ? ,圖像坐標系為 O X Y l l l ? ,焦距為 l f ,右相機坐標系可以表示為 r r r o x y z ? ,圖像坐標系為 O X Y r r r ? ,焦距為 r f 。因此,我門通過相機的透視投影關系可以得到[14]: 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 l l l l l r r r r r r r r X f x s Y f y z X f x s Y f y z ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ?? ? ? ? ? ? ????? ? ? ? ? ? ? (14) 而兩個相機之間的位置關系可以通過空間轉換矩陣 Mlr 表示:
? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (15) 對于空間中的一點 P,成像于兩個相機的點的對應關系可以用下面的等式表示: 1 2 3 4 5 6 7 8 9 = 1 1 l l r r r r r x l l l r r r r r y z zX f X f r f r f r f t zY f Y f r f r f r f t z r r r t ?? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (16) 于是,空間中的三維點可以通過上式解出: 7 8 9 1 2 3 7 8 9 4 5 6 ( ) ( ) ( ) ( ) ( ) ( ) l l l l l r x r z r l l l r l l l l r y r z r l l l r l l l zX x f zY y f f f t X t z X r X r Y f r f r X r Y f r f f t Y t Y r X r Y f r f r X r Y f r ????? ? ? ? ???? ? ? ? ? (17)
2.6 器械尖點世界坐標確定
本文使用的器械經過精密加工,器械尖點在器械坐標系中的坐標 Pins (0,214.14, 13.77) ? 已知。如圖 8-b 所示,在器械坐標系中, A1 為原點, AA1 2 方向為 x 軸正方向, AA1 4 方向為 y 軸正方向,z 軸通過右手法則得出。經過立體匹配, A1 的空間坐標 A1 P 則為世界坐標系與器械坐標系之間的平移矩陣 T ,旋轉矩陣可通過式(18)、(19)、(20)得出: 2 1 2 1 A A x A A P P n P P ??? (18) 4 1 4 1 A A y A A P P n P P ??? (19)n n n ? ? (20) 世界坐標系與器械坐標系的旋轉矩陣 R ,可以表示為 , , R n n n x y z ? ? ? ? ? 。則器械尖點在世界坐標系中的坐標 Pcl 可以表示為: P R P T cl ins = ? (21)
3 實驗驗證
為了能夠更好的測試該系統,我們進行了四組實驗,測試器械識別算法的準確性和魯棒性,并對器械進行了穩定性、定位精度、動態跟蹤等測試。
首先,器械識別實驗用于驗證算法的準確性和魯棒性,通過無規則擺放多組器械并且設置干擾進行識別得出結論;其次,穩定性測試用于驗證系統的穩定性,這是通過以尖點為圓心旋轉而重復測量尖端坐標來完成的;接下來,應用三維坐標儀來測量系統的靜態定位精度,這是通過測量由尖端坐標跟隨坐標儀移動的前后距離差值計算得出的;最后,通過不斷改變器械空間位置,并實時計算兩個標記之間的距離,與真值進行比較,用于評估該系統動態跟蹤精度。本文中,平均絕對誤差(MAE)表示程度測量值與真實值的偏差,而均方根誤差(RMSE)用于評估定位精度。它們的表達式可以表示如下:? ? 2 1 n i ref i X X RMSE n ???? (22) 1 1 n i ref i MAE X X n ?? ? ? (23)
3.1標定結果
本文使用 Matlab 相機標定箱對相機進行標定,為了提高標定的精確性,首先,分別對左右相機進行單目標定,然后再使用單目標定參數作為初始參數進行雙目標定,最終標定出左右相機的內參矩陣 , A A l r ,畸變系數 , D Dl r ,右相機相對左相機的旋轉矩陣 Rrl ,平移矩陣 Trl ,結果如下: 1751.783 0.3731 641.047 0 1749.971 495.806 0 0 1.0 A A l r ? ?? ?? ? ? ?? ? ? ? (24) 0.998 0.016 0.056 0.013 0.998 0.043 0.057 0.042 0.997 Rrl ? ? ? ?? ?? ? ? ?? ? ? ? (25) Trl ? ?429.585 4.763 2.711? (26) D e l ? ? ? ? ? ? ? 0.094 0.34 5.412 4 0.007 0.05? (27) D e e r ? ? ? ? ? ? ? ? 0.054 1.197 7.05 4 7.7 4 10.305? (28)
3.2器械識別驗證
首先,系統對表 3中的任意兩種器械識別,驗證算法是否可以識別不同種類的器械。實驗時將兩個器械無規則擺放,但沒有相互遮擋,共采集了 100張圖片。結果表明:只有 4次沒有識別成功,成功率為 96%。未識別成功的主要原因是兩個器械重合度過高,實際應用不會出現這種情況。識別成功情況如圖9-a所示。
為了驗證器械識別算法的魯棒性,還設計了干擾實驗,對需識別器械添加干擾,本實驗干擾設置為 4個無規則擺放的被動標記球,如圖 9-b 所示。在存在干擾的情況下識別器械,共采集了 100張圖片。結果表明:只有5次沒有成功識別,成功率為95% 。
圖 9-a 中紅色連線組成的器械代表 A 類器械,藍色代表 C類器械。圖 9-b中綠色連線組成的器械代表 B類器械。
本次實驗還測量了在有干擾和沒有干擾標記的器械識別所需的時間,如表 4 所示。結果表明:識別器械時間花費很少,并且不會隨著器械的數量增加而顯著增加。
3.3 穩定性驗證
光學跟蹤系統工作時,系統必須具有足夠的穩定性。如果器械尖端保持靜止,由于捕獲環境的變化和算法的穩定性,計算的尖端世界坐標可能會發生變化。
為了測試系統的穩定性,隨機選取8個不同的位置,使器械尖端在每個位置都保持靜止。對于每個位置, 采集100 組圖像。然后分別計算 X、Y 和 Z 方向的 RMSE,用于評估系統的穩定性,結果如圖10所示。
由圖10可知,8個位置的X、Y和Z方向的平均RMSE 分別為0.039625、0.024625、0.1284 mm。Z方向的RMSE誤差大于其他兩個方向,但是誤差處于可接受范圍,可能由于器械加工誤差所致。
3.4定位精度驗證
在定位精度驗證實驗中,將器械固定到三維坐標儀上,在距離光心1.2 m、1.4 m、2 m三個位置及1.6 m、 1.8 m 水平偏離光軸、1.6m 垂直偏離光軸另外三組位置進行測試。實驗中器械將在三維坐標儀上沿一個方向移動5 mm、10 mm、15 mm、20 mm,記錄尖點移動的距離如表5所示。
由表5可知,5 mm、10 mm、15 mm和20 mm的RMSE 分別為0.6195、0.9252、1.2160、1.1768 mm,MAE分別為 0.5528、0.7435、0.9411、0.9718 mm。表5中第4個位置誤差較大,對應的是距離光心2 m處的實驗結果,由第1、 3、5組位置數據可知,系統在1.2 m-1.6 m區間范圍內靜態定位精度良好,但是隨著距離的增加,誤差會逐漸增大。實際使用時應合理設置工作距離,盡量設置在1.2 m-1.6 m的范圍區間且在垂直方向不嚴重偏離光軸。由此可知,系統在1.2 m-1.6 m的范圍區間工作時,定位精度可達0.373 mm。
3.5動態跟蹤驗證
在動態跟蹤實驗中,我們在系統視場內距離左右相機中心1.2 m至1.8 m的范圍內隨機采集100組圖像,利用圖4所示器械中的三組距離D16、D14、D24驗證,結果如表6所示。
由表6可知,三組距離在1.2 m至1.8 m的范圍內RMSE 值較為接近。所有三種情況下的RMSE均小于0.53 mm,其中D24這組距離的最大誤差超過1 mm,產生此結果的原因可能是當器械在系統的工作空間中移動時,標記球位于不同的視角,標記投影的變化可能會影響定位精度。在實際應用中,應避免出現嚴重偏離光軸的情況,這可以通過術前合理設置該系統中心光軸與器械的角度改善。
4 結 語
本文提出了一種基于雙目視覺原理的低成本、高精度的光學跟蹤系統。結合輪廓過濾算法,系統可以快速消除場景中非目標輪廓干擾。自主設計的器械識別算法根據器械特有幾何特征對其正確識別并有序儲存器械上標記球的像素坐標序列。實驗結果表明,該系統具有較高的穩定性和準確性,可為缺少經驗的外科醫生的術前培訓帶來福音。但在實際應用過程中,該系統仍有改進的余地,首先,可以為器械選擇一種對近紅外光反射率比較低的材料,反射較高將影響標記中心提取的精確度;其次,可以為系統匹配處理速度更高的并行處理模塊,這將有助于系統的實時性大大提高。目前,隨著對手術導航系統越來越精確的運行要求,光學跟蹤系統的精度和穩定性需要不斷提高。
論文指導 >
SCI期刊推薦 >
論文常見問題 >
SCI常見問題 >