雙目視覺傳感器的現(xiàn)場標(biāo)定技術(shù)
1 引言
視覺檢測廣泛地應(yīng)用于工件的完整性、表面平整度的測量:微電子器件(IC芯片、PC板、BGA)等的自動檢測;軟質(zhì)、易脆零部件的檢測;各種模具三維形狀的檢測;機器人的視覺導(dǎo)引等。最具有吸引力的是由視覺傳感器陣列組成的大型物體(如白車身)空間三維尺寸多傳感器視覺檢測系統(tǒng)。這種系統(tǒng)柔性好;測量為非接觸式、動態(tài)響應(yīng)快,能滿足大量生產(chǎn)“節(jié)拍”短的要求,而且整個測量過程高度自動化。目前,在美國這種視覺檢測系統(tǒng)已逐步取代大型三坐標(biāo)測量機,對轎車車身空間三維尺寸進(jìn)行檢測,尤其是在線檢測。
雙目視覺傳感器由兩臺性能相同的面陣CCD攝像機組成,基于立體視差的原理,可完成視場內(nèi)的所有特征點的三維測量,尤其是其它類型的視覺傳感器所不能完成的測量任務(wù),如圓孔的中心、三棱頂點位置的測量等。因此,雙目視覺傳感器是多傳感器視覺檢測系統(tǒng)的主要傳感器之一。要實現(xiàn)雙目視覺傳感器直接測量大型物體關(guān)鍵點的三維測量,就必須知道傳感器的內(nèi)部參數(shù)(攝像機的參數(shù))、結(jié)構(gòu)參數(shù)(兩攝像機間的位置關(guān)系)及傳感器坐標(biāo)系與檢測系統(tǒng)的整體坐標(biāo)系的關(guān)系(即全局標(biāo)定)。因此,在實際測量之前,先要對攝像機進(jìn)行參數(shù)標(biāo)定。一般方法是,傳感器被提供給整個系統(tǒng)使用前,就離線完成傳感器的內(nèi)部參數(shù)及結(jié)構(gòu)參數(shù)的標(biāo)定,采用一標(biāo)準(zhǔn)二維精密靶標(biāo)及一維精密導(dǎo)軌,通過移動導(dǎo)軌來確定坐標(biāo)系的一個坐標(biāo),通過攝像機的像面坐標(biāo)及三個世界坐標(biāo)的對應(yīng)關(guān)系求得這些參數(shù)[1]。這種方法的缺點是:標(biāo)定過程中,需要精確調(diào)整靶標(biāo)與導(dǎo)軌的垂直關(guān)系,而且需多次準(zhǔn)確移動導(dǎo)軌;同時標(biāo)定過程的環(huán)境與實際測量的情形有差異;傳感器在安裝的過程中,易引起部分參數(shù)的變化,需多次的拆卸;攝像機還需進(jìn)行全局標(biāo)定。由此可知標(biāo)定的勞動強度大,精度難以保證。本文提出了一種現(xiàn)場雙目傳感器的標(biāo)定方法,只需先確定攝像機的部分不易變化的參數(shù),其它參數(shù)在攝像機安裝到整個系統(tǒng)后進(jìn)行標(biāo)定。該方法大大地減少了上述因素的影響,能得到滿意的標(biāo)定精度。
2 雙目視覺傳感器三坐標(biāo)數(shù)學(xué)模型
2.1 攝像機模型
假定攝像機模型為理想的針孔透視變換模型,不考慮透鏡的畸變,采用較好的光學(xué)鏡頭,獲得的精度足以滿足象白車身檢測一類的大型尺寸檢測系統(tǒng)。建立如圖2所示的攝像機模型。
設(shè)(x,y,z)是空間點P在攝像機坐標(biāo)系(定義如圖2)中的三維坐標(biāo),攝像機坐標(biāo)系定義為:中心在O點(光學(xué)中心),Z軸與光軸重合。OXY是中心在O點(光軸Z與圖像平面的交點)平行于x、y軸的圖像坐標(biāo)系。物空間點與OXY像面間構(gòu)成理想的透視對應(yīng)。圖像在計算機中的坐標(biāo)系Ofuv的單位是像素(pixels),則oxyz空間點到像面的透視變換為:
2.2 雙目視覺傳感器三坐標(biāo)測量模型
由兩臺CCD攝像機組成的空間三坐標(biāo)測量傳感器的數(shù)學(xué)模型和相應(yīng)的各種坐標(biāo)系如圖3所示。設(shè)攝像機1位于傳感器測量坐標(biāo)系oxyz的原點處且無旋轉(zhuǎn),像面坐標(biāo)系為O1X1Y1,有效焦距為f1,像面中心為(u01,v01);攝像機2坐標(biāo)系為o2x2y2z2,像面坐標(biāo)系為O2X2Y2,有效焦距為f2,像面中心為(u02,v02),攝像機模型如前所述。
3 參數(shù)標(biāo)定
3.1 橫縱像素轉(zhuǎn)換當(dāng)量比sx與圖像中心點(u0,v0)的標(biāo)定
對CCD面陣攝像機而言,CCD面陣上相鄰兩行像素的間距已知,而X方向的等效間距受時序及采樣的影響,將是不確定的。因焦距同時在X和Y方向上放縮圖像,假定垂直像素間距為1,則此時sx代表圖像的橫縱比。因此,垂直拍攝一個圓環(huán),然后計算水平方向和垂直方向上的直徑比,就可求得sx。實際X方向的等效間距為sx與Y方向?qū)嶋H像素間距的乘積。
因為攝像機CCD面陣安裝并不能保證與透鏡的光軸為中心,且圖像采集數(shù)字化的窗口的中心不一定與光學(xué)中心重合,這些因素造成了實際中心與圖象幀存中心不重合。所以對三維視覺來說,必須精確標(biāo)定攝像機的光學(xué)中心。利用激光束照射攝像機的透鏡系統(tǒng),根據(jù)激光束的反射情況調(diào)節(jié)激光束使其精確地通過光學(xué)中心,此時圖像中激光束的像(一個光點)表示出了圖像中心,這種直接的標(biāo)定方法簡便且有足夠的精度。
3.2 焦距f1,f2,旋轉(zhuǎn)矩陣R和平移矢量T的確定
由式(6)得到
(f2tx-X2tz)(r4X1+r5Y1+f1r6)
-(f2ty-Y2tz)(r1X1+r2Y1+f1r3)
=(Y2tx-X2ty)(r7X1+r8Y1+f1r9) (7)
令T=αΤ,因tx≠0,選擇α=1/tx,則有T′=(1 t′y t′z)T,利用式(6)對每個觀測點求得帶有比例因子的zi。(7)式是一個含有13個未知數(shù)f1,f2,t′y,t′z,r1~r9的非線性方程,用函數(shù)f(x)=0來表示。
其中x=(f1,f2,t′y,t′z,r1,r2,r3,r4,r5,r6,r7,r8,r9) (8)
另外,r1~r9構(gòu)成的旋轉(zhuǎn)矩陣R是正交的,具有六個正交約束條件。由此構(gòu)成如下罰函數(shù):
4 實驗結(jié)果
實驗選用由兩臺512像素×512像素的CCD攝像機(MTV-1881CB)和25mm的COMPUTAR TV鏡頭組成的雙目視覺傳感器和精密平面孔靶在現(xiàn)場進(jìn)行的。標(biāo)定靶標(biāo)如圖4所示。圖中細(xì)線為所選兩點的已知距離,該實驗選取為D=24.083mm;“+”字絲用作全局標(biāo)定時經(jīng)緯儀瞄準(zhǔn)用。我們以傳感器的左攝像機為基準(zhǔn)建立傳感器測量坐標(biāo)系,標(biāo)定時至少將靶標(biāo)擺在兩個不同位置處,對準(zhǔn)攝像機,每次的靶標(biāo)平面角度變化大于10°,至少得到7個位于兩個不同平面的觀測點,采用如前所述算法即獲得參數(shù)R,T,和兩攝像機的有效焦距。實際上每次可取24個標(biāo)定點進(jìn)行標(biāo)定。
標(biāo)定好參數(shù)后,讓靶標(biāo)任意擺放在傳感器的測量范圍內(nèi)的不同位置處,雙目傳感器測量孔靶上多個孔心坐標(biāo),然后求出孔間距離并與實際值相比較。測量比對結(jié)果如表1。實驗結(jié)果表明,本文所述標(biāo)定方法可以獲得較高精度攝像機參數(shù),測量空間三維坐標(biāo)的誤差不超過±0.05mm,足以滿足大型視覺檢測系統(tǒng)中對雙目視覺傳感器的精度要求。
表1 雙目視覺傳感器測量實驗結(jié)果 實際距離:24.083mm
序號
孔心坐標(biāo)X
孔心坐標(biāo)y
孔心坐標(biāo)z
距離
偏差
1
-23.972
-6.480
4.763
21.298
424.024
423.769
24.071
-0.012
2
31.316
14.082
-30.098
-13.346
400.159
399.652
24.039
-0.044
3
-3.978
14.014
-1.579
14.45
380.563
381.380
24.112
0.031
5 結(jié)論
本文提出了一種現(xiàn)場雙目傳感器的標(biāo)定方法,只需先確定攝像機的部分不易變化的參數(shù),其它參數(shù)在攝像機安裝到整個系統(tǒng)后進(jìn)行現(xiàn)場標(biāo)定。該方法不需精確確定調(diào)整靶標(biāo),標(biāo)定環(huán)境與實際測量環(huán)境完全相同,減少了安裝傳感器對標(biāo)定參數(shù)的影響,同時可與全局標(biāo)定一起進(jìn)行,大大地減少了勞動強度。實驗結(jié)果表明,能得到滿意的標(biāo)定精度。該標(biāo)定方法已用于轎車白車身視覺檢測系統(tǒng)的現(xiàn)場標(biāo)定過程中,并取得滿意的結(jié)果。
視覺檢測廣泛地應(yīng)用于工件的完整性、表面平整度的測量:微電子器件(IC芯片、PC板、BGA)等的自動檢測;軟質(zhì)、易脆零部件的檢測;各種模具三維形狀的檢測;機器人的視覺導(dǎo)引等。最具有吸引力的是由視覺傳感器陣列組成的大型物體(如白車身)空間三維尺寸多傳感器視覺檢測系統(tǒng)。這種系統(tǒng)柔性好;測量為非接觸式、動態(tài)響應(yīng)快,能滿足大量生產(chǎn)“節(jié)拍”短的要求,而且整個測量過程高度自動化。目前,在美國這種視覺檢測系統(tǒng)已逐步取代大型三坐標(biāo)測量機,對轎車車身空間三維尺寸進(jìn)行檢測,尤其是在線檢測。
雙目視覺傳感器由兩臺性能相同的面陣CCD攝像機組成,基于立體視差的原理,可完成視場內(nèi)的所有特征點的三維測量,尤其是其它類型的視覺傳感器所不能完成的測量任務(wù),如圓孔的中心、三棱頂點位置的測量等。因此,雙目視覺傳感器是多傳感器視覺檢測系統(tǒng)的主要傳感器之一。要實現(xiàn)雙目視覺傳感器直接測量大型物體關(guān)鍵點的三維測量,就必須知道傳感器的內(nèi)部參數(shù)(攝像機的參數(shù))、結(jié)構(gòu)參數(shù)(兩攝像機間的位置關(guān)系)及傳感器坐標(biāo)系與檢測系統(tǒng)的整體坐標(biāo)系的關(guān)系(即全局標(biāo)定)。因此,在實際測量之前,先要對攝像機進(jìn)行參數(shù)標(biāo)定。一般方法是,傳感器被提供給整個系統(tǒng)使用前,就離線完成傳感器的內(nèi)部參數(shù)及結(jié)構(gòu)參數(shù)的標(biāo)定,采用一標(biāo)準(zhǔn)二維精密靶標(biāo)及一維精密導(dǎo)軌,通過移動導(dǎo)軌來確定坐標(biāo)系的一個坐標(biāo),通過攝像機的像面坐標(biāo)及三個世界坐標(biāo)的對應(yīng)關(guān)系求得這些參數(shù)[1]。這種方法的缺點是:標(biāo)定過程中,需要精確調(diào)整靶標(biāo)與導(dǎo)軌的垂直關(guān)系,而且需多次準(zhǔn)確移動導(dǎo)軌;同時標(biāo)定過程的環(huán)境與實際測量的情形有差異;傳感器在安裝的過程中,易引起部分參數(shù)的變化,需多次的拆卸;攝像機還需進(jìn)行全局標(biāo)定。由此可知標(biāo)定的勞動強度大,精度難以保證。本文提出了一種現(xiàn)場雙目傳感器的標(biāo)定方法,只需先確定攝像機的部分不易變化的參數(shù),其它參數(shù)在攝像機安裝到整個系統(tǒng)后進(jìn)行標(biāo)定。該方法大大地減少了上述因素的影響,能得到滿意的標(biāo)定精度。
2 雙目視覺傳感器三坐標(biāo)數(shù)學(xué)模型
2.1 攝像機模型
假定攝像機模型為理想的針孔透視變換模型,不考慮透鏡的畸變,采用較好的光學(xué)鏡頭,獲得的精度足以滿足象白車身檢測一類的大型尺寸檢測系統(tǒng)。建立如圖2所示的攝像機模型。
設(shè)(x,y,z)是空間點P在攝像機坐標(biāo)系(定義如圖2)中的三維坐標(biāo),攝像機坐標(biāo)系定義為:中心在O點(光學(xué)中心),Z軸與光軸重合。OXY是中心在O點(光軸Z與圖像平面的交點)平行于x、y軸的圖像坐標(biāo)系。物空間點與OXY像面間構(gòu)成理想的透視對應(yīng)。圖像在計算機中的坐標(biāo)系Ofuv的單位是像素(pixels),則oxyz空間點到像面的透視變換為:
2.2 雙目視覺傳感器三坐標(biāo)測量模型
由兩臺CCD攝像機組成的空間三坐標(biāo)測量傳感器的數(shù)學(xué)模型和相應(yīng)的各種坐標(biāo)系如圖3所示。設(shè)攝像機1位于傳感器測量坐標(biāo)系oxyz的原點處且無旋轉(zhuǎn),像面坐標(biāo)系為O1X1Y1,有效焦距為f1,像面中心為(u01,v01);攝像機2坐標(biāo)系為o2x2y2z2,像面坐標(biāo)系為O2X2Y2,有效焦距為f2,像面中心為(u02,v02),攝像機模型如前所述。
3 參數(shù)標(biāo)定
3.1 橫縱像素轉(zhuǎn)換當(dāng)量比sx與圖像中心點(u0,v0)的標(biāo)定
對CCD面陣攝像機而言,CCD面陣上相鄰兩行像素的間距已知,而X方向的等效間距受時序及采樣的影響,將是不確定的。因焦距同時在X和Y方向上放縮圖像,假定垂直像素間距為1,則此時sx代表圖像的橫縱比。因此,垂直拍攝一個圓環(huán),然后計算水平方向和垂直方向上的直徑比,就可求得sx。實際X方向的等效間距為sx與Y方向?qū)嶋H像素間距的乘積。
因為攝像機CCD面陣安裝并不能保證與透鏡的光軸為中心,且圖像采集數(shù)字化的窗口的中心不一定與光學(xué)中心重合,這些因素造成了實際中心與圖象幀存中心不重合。所以對三維視覺來說,必須精確標(biāo)定攝像機的光學(xué)中心。利用激光束照射攝像機的透鏡系統(tǒng),根據(jù)激光束的反射情況調(diào)節(jié)激光束使其精確地通過光學(xué)中心,此時圖像中激光束的像(一個光點)表示出了圖像中心,這種直接的標(biāo)定方法簡便且有足夠的精度。
3.2 焦距f1,f2,旋轉(zhuǎn)矩陣R和平移矢量T的確定
由式(6)得到
(f2tx-X2tz)(r4X1+r5Y1+f1r6)
-(f2ty-Y2tz)(r1X1+r2Y1+f1r3)
=(Y2tx-X2ty)(r7X1+r8Y1+f1r9) (7)
令T=αΤ,因tx≠0,選擇α=1/tx,則有T′=(1 t′y t′z)T,利用式(6)對每個觀測點求得帶有比例因子的zi。(7)式是一個含有13個未知數(shù)f1,f2,t′y,t′z,r1~r9的非線性方程,用函數(shù)f(x)=0來表示。
其中x=(f1,f2,t′y,t′z,r1,r2,r3,r4,r5,r6,r7,r8,r9) (8)
另外,r1~r9構(gòu)成的旋轉(zhuǎn)矩陣R是正交的,具有六個正交約束條件。由此構(gòu)成如下罰函數(shù):
4 實驗結(jié)果
實驗選用由兩臺512像素×512像素的CCD攝像機(MTV-1881CB)和25mm的COMPUTAR TV鏡頭組成的雙目視覺傳感器和精密平面孔靶在現(xiàn)場進(jìn)行的。標(biāo)定靶標(biāo)如圖4所示。圖中細(xì)線為所選兩點的已知距離,該實驗選取為D=24.083mm;“+”字絲用作全局標(biāo)定時經(jīng)緯儀瞄準(zhǔn)用。我們以傳感器的左攝像機為基準(zhǔn)建立傳感器測量坐標(biāo)系,標(biāo)定時至少將靶標(biāo)擺在兩個不同位置處,對準(zhǔn)攝像機,每次的靶標(biāo)平面角度變化大于10°,至少得到7個位于兩個不同平面的觀測點,采用如前所述算法即獲得參數(shù)R,T,和兩攝像機的有效焦距。實際上每次可取24個標(biāo)定點進(jìn)行標(biāo)定。
標(biāo)定好參數(shù)后,讓靶標(biāo)任意擺放在傳感器的測量范圍內(nèi)的不同位置處,雙目傳感器測量孔靶上多個孔心坐標(biāo),然后求出孔間距離并與實際值相比較。測量比對結(jié)果如表1。實驗結(jié)果表明,本文所述標(biāo)定方法可以獲得較高精度攝像機參數(shù),測量空間三維坐標(biāo)的誤差不超過±0.05mm,足以滿足大型視覺檢測系統(tǒng)中對雙目視覺傳感器的精度要求。
表1 雙目視覺傳感器測量實驗結(jié)果 實際距離:24.083mm
序號
孔心坐標(biāo)X
孔心坐標(biāo)y
孔心坐標(biāo)z
距離
偏差
1
-23.972
-6.480
4.763
21.298
424.024
423.769
24.071
-0.012
2
31.316
14.082
-30.098
-13.346
400.159
399.652
24.039
-0.044
3
-3.978
14.014
-1.579
14.45
380.563
381.380
24.112
0.031
5 結(jié)論
本文提出了一種現(xiàn)場雙目傳感器的標(biāo)定方法,只需先確定攝像機的部分不易變化的參數(shù),其它參數(shù)在攝像機安裝到整個系統(tǒng)后進(jìn)行現(xiàn)場標(biāo)定。該方法不需精確確定調(diào)整靶標(biāo),標(biāo)定環(huán)境與實際測量環(huán)境完全相同,減少了安裝傳感器對標(biāo)定參數(shù)的影響,同時可與全局標(biāo)定一起進(jìn)行,大大地減少了勞動強度。實驗結(jié)果表明,能得到滿意的標(biāo)定精度。該標(biāo)定方法已用于轎車白車身視覺檢測系統(tǒng)的現(xiàn)場標(biāo)定過程中,并取得滿意的結(jié)果。
文章版權(quán)歸西部工控xbgk所有,未經(jīng)許可不得轉(zhuǎn)載。