基于魯棒特征匹配和彈性變形的高光譜圖像自動(dòng)拼接

高光譜圖像不僅包含空間信息，還包含豐富的光譜信息，目前已被廣泛應(yīng)用于農(nóng)業(yè)、城市規(guī)劃等領(lǐng)域。近年來，無人機(jī)的快速發(fā)展使高光譜在更多領(lǐng)域成為可能。無人機(jī)操控簡單、成本相對(duì)較低、使用靈活，航空高光譜拍攝示意圖如圖1所示。但是航空高光譜技術(shù)也存在一些限制，當(dāng)追求高的分辨率時(shí)，成像儀的視場(chǎng)角就會(huì)變小，從而導(dǎo)致成像區(qū)域變小。單幅圖像很難覆蓋大面積的區(qū)域，需要運(yùn)用圖像拼接技術(shù)得到一幅全景高光譜圖像。

圖1 航空高光譜拍攝示意圖

普通圖像的拼接領(lǐng)域已經(jīng)獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟。而且高光譜圖像與普通圖像存在一定的差異，高光譜圖像的拼接目前面臨了一系列的困難。高光譜圖像有幾十上百個(gè)波段，數(shù)據(jù)量非常大，直接對(duì)高光譜數(shù)據(jù)進(jìn)行拼接會(huì)產(chǎn)生很大的計(jì)算量從而導(dǎo)致拼接時(shí)間過長，降低效率。其次，用于遙感的高光譜圖像通常由機(jī)載設(shè)備拍攝，無人機(jī)拍攝的條件不穩(wěn)定，飛機(jī)振動(dòng)、曝光時(shí)飛機(jī)快速運(yùn)動(dòng)導(dǎo)致的像點(diǎn)偏移等現(xiàn)象會(huì)使拍攝得到的圖像質(zhì)量下降并且存在非剛性變換。這些情況造成特征點(diǎn)匹配時(shí)存在大量的誤匹配。除此之外，無人機(jī)的飛行高度并不高，圖像會(huì)存在視差，要得到好的高光譜拼接效果，需要解決上述挑戰(zhàn)。在此背景下，迫切需要一種高精度的高光譜圖像拼接方法。

武漢大學(xué)梅曉光副教授團(tuán)隊(duì)利用我司推掃式無人機(jī)高光譜成像系統(tǒng)（GaiaSky-mini）在300m高度拍攝的一組植物園場(chǎng)景。數(shù)據(jù)包含18 幅圖像，大小為96×1057，光譜范圍是400nm 到1000nm，共176 個(gè)波段。圖2以偽彩色圖像的形式展示了18 張高光譜圖像數(shù)據(jù)，選取的三個(gè)波段分別為第13 波段(436.5nm)，第47 波段(547.6nm)，第92 波段(700.2nm)，將圖片從左往右，從上往下依次標(biāo)號(hào)為1-18。

圖2 18幅高光譜圖像數(shù)據(jù)

首先，選取一個(gè)波段作為參考波段，得到灰度圖像后用SIFT算法提取相鄰兩幅圖像的特征點(diǎn)。本研究對(duì)比了SIFT、SURF、SS-SIFT這三種特征點(diǎn)提取的算法。其中SIFT和SURF是針對(duì)單個(gè)波段的圖像進(jìn)行特征點(diǎn)的提取，SS-SIFT是針對(duì)高光譜的算法，所提取的特征點(diǎn)具有三維信息。實(shí)驗(yàn)選取圖2中的第1、2作為圖片進(jìn)行測(cè)試，實(shí)驗(yàn)記錄了三個(gè)算法的幾個(gè)衡量指標(biāo)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 特征點(diǎn)提取的算法對(duì)比結(jié)果

從以上實(shí)驗(yàn)結(jié)果可以看出，SS-SIFT相較于SIFT和SURF需要運(yùn)行大量時(shí)間，降低了算法的效率，因此不能采用直接從高光譜圖像數(shù)據(jù)中直接提取特征點(diǎn)的方法。SIFT和SURF算法相比較，SIFT的運(yùn)行時(shí)間為10.012s，雖然沒有SURF運(yùn)行速度快，但是檢測(cè)和匹配的特征點(diǎn)的數(shù)量足夠多，使后續(xù)的圖像配準(zhǔn)更加準(zhǔn)確。

無人機(jī)拍攝的遙感圖像通常存在局部地形變化、尺度變化、旋轉(zhuǎn)、視差以及其他非剛性變化等情況，在特征點(diǎn)的匹配過程中會(huì)造成很多誤匹配現(xiàn)象。為了解決這個(gè)問題，本研究采用基于mTopKRP的算法來剔除誤匹配，得到的結(jié)果如圖3所示。

圖3 通過mTopKRP算法剔除誤匹配的結(jié)果

接下來，為了驗(yàn)證mTopKRP算法在剔除誤匹配點(diǎn)上的優(yōu)越性，我們對(duì)比了mTopKRP和其他誤匹配剔除算法VFC和LPM。我們選擇精確率（precision），召回率（recall）和F-score作為評(píng)價(jià)特征點(diǎn)匹配算法的指標(biāo)。得到的特征點(diǎn)匹配算法對(duì)比實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 特征點(diǎn)匹配算法對(duì)比實(shí)驗(yàn)結(jié)果

從以上實(shí)驗(yàn)結(jié)果中可以看出，無論是在圖像存在剛性變換還是非剛性變換時(shí)，本研究特征點(diǎn)匹配算法mTopKRP都得到了更好的F-score，證實(shí)了我們的特征點(diǎn)匹配算法的優(yōu)越性。在得到正確的匹配點(diǎn)集之后，我們需要用匹配的特征點(diǎn)來建立圖片對(duì)之間的變換關(guān)系，即計(jì)算圖片對(duì)之間的單應(yīng)性矩陣。為了避免投影變換帶來的失真，本研究采用基于魯棒彈性扭曲的算法。并將本研究采用的圖像變換模型和其他圖像變換模型ANAP，NISwGSP和ELA進(jìn)行對(duì)比，實(shí)驗(yàn)利用線性加權(quán)的圖像融合算法，分別在單個(gè)波段拼接了18幅高光譜圖像，得到圖5的結(jié)果。

圖5 圖像拼接模型對(duì)比（從左到右ANAP、NISwGSP、ELA和本研究算法）

從實(shí)驗(yàn)結(jié)果中可以看出，算法ANAP，NISwGSP 和ELA 得到結(jié)果均在邊處有明顯的形變、不規(guī)則放大或扭曲。而本研究的魯棒彈性變換模型更準(zhǔn)確地對(duì)齊圖像，在拼接后的非重疊區(qū)域消除了形變、扭曲等問題。本研究所采用的圖像變換模型得到的拼接結(jié)果中圖像清晰，沒有明顯模糊、重影的現(xiàn)象。

高光譜圖像拼接的最后一步就是進(jìn)行全波段的圖像融合。將參考波段的魯棒彈性變換模型參數(shù)運(yùn)用于其他剩余波段，這樣就可以獲得所有波段的空間信息。在單個(gè)波段的重疊部分得到光譜值之后，將融合參數(shù)應(yīng)用到其他波段，則全波段重疊部分都得到新的光譜值，非重疊部分的光譜值保留本身波段原有的光譜值。此處，將得到的高光譜全景圖像用 RGB 圖像的形式展示如圖6所示。選取的三個(gè)波段分別為第 13 波段 （436.5nm），第 47 波段（547.6nm），第 92 波段（700.2nm）。

圖6 以RGB形式展示的高光譜圖像整體拼接結(jié)果

對(duì)于圖像的光譜進(jìn)行分析可以實(shí)現(xiàn)對(duì)地物的分類和識(shí)別，所以拼接任務(wù)除了關(guān)注空間信息外，還應(yīng)對(duì)光譜曲線進(jìn)行分析。理想情況下拼接后的全景圖在重疊區(qū)域的光譜曲線應(yīng)該與參考圖像的保持一致。通過計(jì)算兩個(gè)光譜曲線的光譜角大?。⊿AD），可以判斷它們的相似程度。找出在圖1、2重疊部分的兩對(duì)典型地物（土地和植被），分別記錄為A、A′ 和B、B′，如圖7所示。由于圖像1是參考圖像，因此拼接得到的高光譜圖像的光譜曲線應(yīng)該與圖像1的光譜曲線接近。通過圖8計(jì)算得到，對(duì)于同名點(diǎn)對(duì)A、A′，圖像1和2在此點(diǎn)的光譜角為0.0894。在同名點(diǎn)B、B′，圖1與圖2 光譜角大小為0.0471。因此，可以得出結(jié)論，在原始圖像同名點(diǎn)對(duì)的光譜值有較大差異的情況下，本研究的算法得到的圖像的光譜接近于參考圖像，保證了光譜信息的一致性。

圖7 同名點(diǎn)對(duì)示意圖

圖8 光譜分析曲線

本研究提出了新的高光譜圖像拼接方法，適用于存在旋轉(zhuǎn)、尺度變化、非剛性變換的圖像集。得到的圖像清晰，無明顯錯(cuò)誤拼接和接縫，圖像的光譜曲線失真較小，適用于存在大視差的機(jī)載高光譜圖像。

通訊作者簡介：

梅曉光，博士，武漢大學(xué)電子信息學(xué)院副教授，博士生導(dǎo)師。

主要研究方向：高/超光譜應(yīng)用中的計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等相關(guān)問題的研究。

參考文獻(xiàn)：Yujie Zhang, Zhiying Wan, Xingyu Jiang and Xiaoguang Mei, in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 3145-3154, 2020, doi: 10.1109/JSTARS.2020. 3001022.