基于深度學習的高光譜和低場核磁共振法檢測鹽漬海參含水量

背景

水分含量（Moisture content, MC）在海參腌制過程中起著重要作用。較高的MC會導致膠原纖維斷裂，使海參在儲存過程中更容易受損，較低的MC會降低海參的口感和營養(yǎng)價值。準確控制海參腌制過程中MC的含量，對海參的口感品質(zhì)和商品價值具有重要意義。

大量研究使用高光譜成像（Hyperspectral imaging, HSI）和低場核磁共振（Low field nuclear magnetic resonance, LF-NMR）研究水的遷移和變化并預(yù)測MC。HSI是一種用于探測淺水表面物理和化學性質(zhì)的快速、無損監(jiān)測技術(shù)。LF-NMR是另一種流行的無創(chuàng)檢測技術(shù)，用于監(jiān)測食品中水分狀態(tài)的變化和水分遷移。低頻核磁共振之所以有效，是因為當電磁脈沖（Electromagnetic pulse, EMP）在垂直方向輻射時，氫質(zhì)子由于能量從低能級到高能級的轉(zhuǎn)變而處于不穩(wěn)定狀態(tài)，而當EMP消失時，這一過程是可逆的。對于海參淺層表面復(fù)雜的棘皮結(jié)構(gòu)和內(nèi)部復(fù)雜的腔體、體壁等結(jié)構(gòu)，HSI和LF-NMR聯(lián)合檢測可以更準確地預(yù)測MC。

深度學習（Deep learning, DL）網(wǎng)絡(luò)可以減少模型對人類經(jīng)驗的依賴，提高模型的泛化能力。CS（Cuckoo search）優(yōu)化算法通過提取數(shù)據(jù)的顯著特征實現(xiàn)降維，可以有效提高基于小樣本空間和低類間差異數(shù)據(jù)的模型性能。因此，本研究基于HSI和LF-NMR數(shù)據(jù)，采用DL網(wǎng)絡(luò)和CS優(yōu)化算法聯(lián)合構(gòu)建預(yù)測模型，對鹽漬海參的MC進行預(yù)測分析。

具體研究目標如下：（1）分別針對HSI和LF-NMR數(shù)據(jù)構(gòu)建基于變種CS算法的MC深度學習預(yù)測模型；（2）通過探索模型的性能，確定了HSI和LF-NMR的*優(yōu)模型；（3）根據(jù)*優(yōu)模型和核磁共振成像（Magnetic resonance imaging, MRI），分別基于HSI和LF-NMR數(shù)據(jù)可視化MC分布；（4）構(gòu)建基于融合數(shù)據(jù)的MC的Fusion-net DL（FDL）預(yù)測模型，并與以往基于單一數(shù)據(jù)的模型進行比較，選擇最終的*優(yōu)模型。

試驗設(shè)計

大連工業(yè)大學王慧慧教授團隊利用Image-λ-N17E近紅外高光譜成像系統(tǒng)（江蘇雙利合譜公司）獲取了510個不同腌制處理下的海參高光譜影像（圖1a）。高光譜數(shù)據(jù)由350張640×803像素的單波段光譜圖像組成，波長范圍為934.8 ~ 1710.6 nm。如圖1e所示，將鹽漬海參樣品置于核磁共振分析儀（Niumag電氣公司）中進行LF-NMR測，得到如圖1f所示的橫向松弛曲線。每個腌制周期取同一樣品進行MRI分析，通過自旋回波成像序列獲得MC在不同腌制時間的氫質(zhì)子MRI（圖1g）。

數(shù)據(jù)的強相關(guān)性可能導致“維度詛咒”，有必要對冗余的高維信息進行降維處理。使用CS算法選擇特征，如圖1h所示。針對不同的應(yīng)用領(lǐng)域，CS有不同的變體，本研究使用的三個變體分別為Traditional-CS（TCS）、Binary-CS（BCS）和Chaotic-CS（CCS）。

將降維后的數(shù)據(jù)輸入到相應(yīng)的模型中進行訓練，選擇*優(yōu)模型（圖1i），實現(xiàn)MC分布變化的可視化（圖1j）。在本文中，MC的預(yù)測模型包括基于高光譜數(shù)據(jù)的單獨DL模型、基于LF-NMR數(shù)據(jù)的單獨DL模型和基于HSI和LF-NMR數(shù)據(jù)的FDL模型。對于HSI數(shù)據(jù)，DL框架中使用了兩個1D卷積層，分別包含32個和64個卷積核，大小為1×3（圖2a）。

對于LF-NMR數(shù)據(jù)，DL框架的總體結(jié)構(gòu)與上述HSI相同。但對于LF-NMR曲線，除了縱向數(shù)值差異外，吸收峰也有明顯的橫向位移。因此，LF-NMR數(shù)據(jù)比HSI數(shù)據(jù)更復(fù)雜，需要更多的卷積核來提取潛在特征來解決這種復(fù)雜的情況。因此，如圖2b所示，將大小為1×3的64、128和256個卷積核組成的三個卷積層應(yīng)用于LF-NMR預(yù)測模型。對于HSI和LF-NMR，分別建立了基于整體和降維數(shù)據(jù)（W和DR）的MC預(yù)測深度學習模型，并討論了它們之間的性能差異。

圖2c給出了MC融合預(yù)測模型的融合策略。將約簡后的兩種特征分別放入相應(yīng)的DL框架中，在flatten層和dense層之間添加concatenate層，將兩種特征合并。

圖1 研究流程圖

圖2 多種深度學習模型?；诠庾V的深度學習模型（a）；基于LF-NMR的深度學習模型（b）；融合深度學習模型（c）。

結(jié)論

圖3為不同腌制階段樣品的光譜反射率變化圖。在圖3a中，不同腌制時間樣品的光譜反射率變化趨勢大致一致。但在1100 nm之前，0 h樣品的反射率值與其他樣品相差很大。可以得出結(jié)論，腌制過程的持續(xù)時間將是導致反射率變化的重要因素。在960 nm、1190 nm和1430 nm處可以觀察到三個明顯的吸收峰。在圖3b中，平均光譜反射率呈現(xiàn)出與腌制時間相關(guān)的變化規(guī)律，在960 nm左右，隨著腌制時間的延長，反射率顯著增加，說明樣品內(nèi)部水分有所降低。在1190 nm左右，反射率逐漸增大，說明海參樣品中的脂質(zhì)和蛋白質(zhì)含量在腌制過程中損失較慢。

圖3 不同腌制階段海參樣品的平均光譜反射率曲線

海參樣品在各腌制周期的CPMG弛豫衰減曲線和T2弛豫光譜如圖4所示。如圖4a所示，樣品中質(zhì)子的衰變速率隨著腌制時間的延長而增加，在前三個腌制階段變化較大。由此可以推斷，在腌制初期，樣品中大量水分流失，樣品中氫質(zhì)子的含量同時下降，導致質(zhì)子衰變速率明顯增加。在腌制過程后期，樣品的內(nèi)部和外部幾乎接近滲透壓平衡，導致MC變化很小。如圖4b所示，在未腌制（0 h）的海參弛豫曲線上存在3個質(zhì)子弛豫峰，分別為束縛水（T21）、不動水（T22）和游離水（T23）。腌制處理后，T21先減少后消失，T22和T23逐漸減少。隨著腌制時間的增加，海參樣品中的束縛水向右遷移，逐漸變?yōu)椴粍铀?。不動水向左移動并壓實。隨著時間的推移，游離水也會轉(zhuǎn)移到剩余的地方，很容易丟失，從而創(chuàng)造了一個抑制微生物活動的環(huán)境，這有利于海參的儲存。

圖4 LF-NMR數(shù)據(jù)

結(jié)合CS降維算法和1D-CNN DL框架，構(gòu)建了基于HSI、LF-NMR信息的MC預(yù)測模型。圖5為基于全部特征的MC估測模型精度圖。證明了DL框架適用于基于HIS以及LF-NMR數(shù)據(jù)的MC預(yù)測。將HSI中所有波長和LF-NMR中時間點對應(yīng)的數(shù)據(jù)輸入到FDL框架中進行MC計算。預(yù)測效果如圖5e和圖5f所示，可以看到W-FDL具有明顯的優(yōu)勢。這表明兩類數(shù)據(jù)在訓練中是相輔相成的，即在單一數(shù)據(jù)類型中，不可避免的會出現(xiàn)個別數(shù)據(jù)的異常導致某一樣本的預(yù)測失敗，但同一樣本的兩類數(shù)據(jù)幾乎不可能同時出現(xiàn)異常，這為預(yù)測模型的準確性提供了保證。

圖5 HSI-W-DL模型在校準集（a）和預(yù)測集（b）、LF-NMR-WDL模型在校準集（c）和預(yù)測集（d）、W-FDL模型在校準集（e）和預(yù)測集（f）的模型精度。

圖6為三種不同降維算法在HSI數(shù)據(jù)集中選擇的具體波段，用虛線表示。TCS選擇的20個波段如圖6a所示，在整個波長范圍內(nèi)分散，既提供了豐富的信息，又降低了相關(guān)性。圖6b為BCS算法選取的159個波段，雖然在1000-1050 nm、1200-1250 nm和1500-1600 nm波長范圍內(nèi)所選波段的密度高于其他地區(qū)，但其分布基本覆蓋了整個波長范圍。這意味著所有的特征都包含在選擇的波段中，BCS通過大幅減少數(shù)據(jù)量來降低計算成本，而不是消除非顯著特征，這可能不利于提高模型的泛化能力，并可能導致過擬合現(xiàn)象。圖6c顯示了CCS選擇的20個特定波段，所選波段在全波長范圍內(nèi)的分布比TCS更加離散。在優(yōu)化過程中，前20次迭代HSI-TCS-DL和HSI-CCS-DL的MSE遠小于HSI-BCS-DL，50次迭代后HSI-BCS-DL的MSE沒有減小。同時，自第10次迭代以來，HSI-CCS-DL的MSE約為HSI-TCS-DL的一半，證明混沌映射算法在尋找*優(yōu)解方面優(yōu)于隨機算法。

圖6 選自HSI-TCS-DL（a）、HSI-BCS-DL（b）、HSI-CCS-DL（c）模型的具體波段以及HSI-TCS-DL（d）、HSI-BCS-DL（e）、HSI-CCSDL（f）模型的MSE衰減。

圖7顯示了HSITCS-DL、HSI-BCS-DL和HSI-CCS-DL模型的性能。與全數(shù)據(jù)模型相比，特征約簡后的數(shù)據(jù)點更收斂于45°直線，對較低MC值的預(yù)測效果提高最為顯著。與HSI-W-DL相比，HSI-TCS-DL模型的準確性和穩(wěn)定性得到了顯著提高，表明降維后的數(shù)據(jù)更具代表性。雖然HSI-BCS-DL的性能比HSI-W-DL略有提高，但在數(shù)據(jù)適應(yīng)性和預(yù)測精度方面不如HSI-TCS-DL。與HSI-TCS-DL模型相比，HSI-CCS-DL的性能有所提升，這是因為在CCS降維算法中使用混沌序列初始化種群，有效地解決了模型因隨機初始化而陷入局部*優(yōu)解的問題。根據(jù)上述對比，在HSI數(shù)據(jù)中，選擇CCS作為*優(yōu)降維算法，確定HSI-CCS-DL模型為*優(yōu)模型。

基于HSI-CCS-DL的MC可視化如圖8所示。可以清晰地顯示樣品淺表面同一階段內(nèi)不同點的MC差異以及不同階段間的變化規(guī)律。海參沒有腌制時，基本呈藍色，說明其MC最高。隨著腌制時間的延長，中間區(qū)域的顏色由藍色變?yōu)榫G色，最終變?yōu)辄S色，同時黃色區(qū)域逐漸向邊緣擴展。

圖7 HSI-TCS-DL模型在校準集（a）和預(yù)測集（b）、HSI-BCS-DL模型在校準集（c）和預(yù)測集（d）、HSI-CCS-DL模型在校準集（e）和預(yù)測集（f）的模型精度。

圖8 基于HSI-CCS-DL模型的海參腌制過程MC分布可視化

圖9詳細描述了LF-NMR-TCS-DL、LF-NMR-BCS-DL和LF-NMR-CCS-DL的特征選擇以及MSE衰減結(jié)果。CCS算法是*優(yōu)的，BCS算法提前收斂，但三種算法的結(jié)果差異減小。對于LF-NMR數(shù)據(jù)，選擇CCS作為*優(yōu)降維算法，并確認LF-NMR-CCS-DL為*優(yōu)模型，這與HSI數(shù)據(jù)的結(jié)果一致。

圖9 利用LF-NMR-TCS-DL（a）, LF-NMR-BCS-DL（b）, LF-NMR-CCS-DL（c）模型選擇的波段以及其MSE衰減（d）。

結(jié)合HSI和LF-NMR數(shù)據(jù)的FDL框架用于海參MC預(yù)測。由于前文確定CCS降維算法效果*好，因此選擇CCS和FDL框架構(gòu)建CCS-FDL模型。如圖10所示，校正集和預(yù)測集的R2均達到0.99。在數(shù)據(jù)點的分布上，圖10a中的訓練集的數(shù)據(jù)點更加緊湊，更接近真實值，圖10b中的預(yù)測集也出現(xiàn)了同樣的情況。FDL框架的優(yōu)異性能可能是由于HSI和LF-NMR數(shù)據(jù)之間的互補優(yōu)勢，即在檢測過程中，同時使用HSI和LF-NMR數(shù)據(jù)可以大大減少單個數(shù)據(jù)不準確造成的預(yù)測偏差。各模型的比較分析結(jié)果見表1?？梢钥闯觯瑢τ贔DL框架，基于HSI和LF-NMR數(shù)據(jù)的模型的性能都得到了顯著提高，特別是在整個數(shù)據(jù)模型中，并且CCS-FDL模型使用40個特征輸入實現(xiàn)了*佳性能。

圖10 在HSI和LF-NMR數(shù)據(jù)集中使用CCS提取特征的FDL模型的預(yù)測結(jié)果

表1 基于FW、TCS、BCS和CCS的深度學習模型性能

作者信息

王慧慧，博士，大連工業(yè)大學機械工程與自動化學院教授，博士生導師。

主要研究方向：基于機器視覺的智能檢測研究、裝備數(shù)字化設(shè)計。

參考文獻：

Zeng, F., Shao, W., Kang, J., Yang, J., Zhang, X., Liu, Y., & Wang, H. (2022). Detection of moisture content in salted sea cucumbers by hyperspectral and low field nuclear magnetic resonance based on deep learning network framework. Food Res Int, 156.

https://doi.org/10.1016/j.foodres.2022.111174