原標題：“AI+X射線檢測”助力的鋁合金壓鑄件缺陷研究

鋁合金壓鑄件具有較高的比強度、比剛度、耐腐蝕性，在汽車、航天航空、 電子產品和醫療設備等領域中得到廣泛應用。實際壓鑄過程中由于原材料成分異常、模具設計不合理、工藝參數不當等綜合因素，會造成鋁合金壓鑄件內部產生氣孔、縮孔和縮松、夾渣等缺陷。這些位于壓鑄件內部的缺陷在交變應力的作用下會進一步擴張，如果不及時發現會造成嚴重的安全隱患。為了在生產過程中檢測鋁合金壓鑄件的內部缺陷，需采用X射線成像技術對其內部缺陷進行檢查。

目前有接近80%的鋁合金壓鑄件制造企業通過人工判定缺陷，采用人工判定缺陷的評價標準因人而異，很難統一，且易造成誤檢和漏檢。在判定過程中，質檢員的檢測依據除了關注缺陷面積的大小外，還需要關注壓鑄缺陷所處的位置。鋁合金壓鑄件的關鍵位置包括臺階孔、通孔、螺紋孔等。為了滿足鋁合金壓鑄件的檢測需求，鋁合金壓鑄件內部缺陷分割算法除了需要對內部缺陷進行分割外，還需要對零件中的關鍵位置進行分割。為了滿足上述需求，需要圍繞鋁合金壓鑄件X射線圖像開展基于多任務學習的分割算法研究。

近年來，深度學習在計算機視覺、自然語言處理以及推薦算法等領域得到廣泛研究和應用。基于深度學習的卷積神經網絡（Convolutional Neural Network， CNN）可以在具有大量數據的復雜場景中通過自學習的方式自動獲取任務所需特征。MERY D設計了CNN模型Xnet-Ⅱ識別鋁合金鑄件內部缺陷，提出了橢圓生成模型和對抗生成網絡來模擬鑄造缺陷擴充缺陷樣本。研究者提出了一種空間注意雙線性卷積神經網絡對鋁合金壓鑄件內部缺陷類型進行分類。提出了一種基于Mask R-CNN的鐵路鑄件X射線缺陷檢測算法，提出的模型可以較好地識別圖像中氣泡和縮松缺陷。提出了一種自適應深度和感受野選擇的鑄件內部缺陷分割網絡，在CNN中引入自適應深度選擇模塊有助于鑒別相似的缺陷類型，提出的模型可以對X射線圖像中的缺陷進行分割和分類。

基于多任務學習的語義分割算法通過將多個具有相關性的分割任務進行融合，通過設計統一的分割模型對具有相關性任務從單一數據中提取互補的特征，提高各個任務的分割精度。研究者提出了FusionNet多任務分割模型，設計了邊界感知分支對目標的邊界特征進行監督，提高模型在邊界區域的分割精度。設計了一個雙路的編碼模型，在提取邊界時引入了注意力機制模塊來提高模型在邊界的分割精度。提出了多任務分割模型來提取目標主體特征，通過設計相應的損失函數對主體特征和邊緣特征進行監督，提升模型在兩個任務中的分割性能。

鋁合金壓鑄件缺陷分割任務和關鍵位置分割任務之間不存在明顯的相關性，而在現有的多任務分割算法研究中，對于具有低相關性的多任務分割算法研究報道較少。本研究面向缺陷分割和關鍵位置分割的多任務分割算法開展研究，首先提出關鍵位置邊界感知解碼器以提高對關鍵位置的分割精度。為了提升對低相關性任務的特征提取能力，進一步設計局部共享編碼模型提高模型，最后構建交互式注意力模塊，將關鍵位置特征及其邊界特征進行自適應融合來提高兩個任務的分割精度，旨在為鋁合金壓鑄件缺陷檢測分析提供參考。

圖文結果

鋁合金壓鑄件關鍵位置及缺陷見圖1。鋁合金壓鑄件多任務分割模型（Casting Parts X-Ray Image Multi-Task Defect Segmentation Network，CXMTDS-Net）由3個模塊組成：局部共享雙路編碼模塊（Partly Parameters Sharing Two-Stream Encoder Module， PPSTSEM）、缺陷分割解碼器（Defect Segmentation Decoder，DSD）和關鍵位置解碼器（Key Location Segmentation Decoder，KLSD），見圖2。PPSTSEM模塊在淺層階段對編碼部分參數共享，在深層階段設計了針對不同任務的編碼分支用于提取兩個低相關性任務的語義特征。DSD模塊中采用解碼模型A和解碼模型B對編碼器中的特征進行分層解碼得到缺陷區域。在KLSD中提出了針對關鍵位置分割的解碼器，設計了關鍵位置邊界分割解碼器用于提高對關鍵位置的分割精度，進一步設計了交互式感知模塊，對關鍵位置特征和邊界特征進行自適應融合，提高了對邊界位置分割和邊界分割的性能。

針對鋁合金壓鑄件場景復雜且具有缺陷區域邊界的特性，提出一種基于深度學習的鋁合金壓鑄件X射線圖像缺陷分割網絡（Casting Parts X-Ray Image Defect Segmentation Network， CXDS-Net），見圖3。缺陷分割模型采用UNet架構為骨干網絡，編碼器采用ResNet101模型以提高在復雜場景中提取有效特征的能力。

圖1 鋁合金壓鑄件關鍵位置及缺陷示例

圖2 鋁合金壓鑄件多任務分割模型結構

圖3 鋁合金壓鑄件X射線圖像缺陷分割模型

由于壓鑄缺陷分割任務和鑄件關鍵位置分割任務之間的低相關性，直接在缺陷分割解碼器中引入關鍵位置分割解碼器并不能滿足分割需求。因此，設計了針對壓鑄件關鍵位置分割任務的解碼器（Key Parts Branch，KPB），見圖2。關鍵位置在X射線圖像中較為明顯，在解碼器中直接采用經過原始圖像編碼后提取的特征即可獲取充足的關鍵位置處的紋理特征和深層語義特征。在本研究中，將原始圖像編碼的各層級輸出的特征圖分別用x0~x4來表示，關鍵位置分割解碼器中的解碼模塊A和B的具體結構見圖4。雖然鋁合金壓鑄件中的關鍵位置在X射線圖像中的特征較為明顯，但是關鍵位置的外形和位置多樣，且在關鍵位置的部分邊界存在不連貫處，直接采用關鍵位置解碼器進行分割時，部分分割結果會在邊界處的分割精度較低。提出邊界感知解碼器來對關鍵位置的邊界進行分割，見圖5，根據編碼層級的不同，分別設計了3種邊界感知模塊（Edge-Aware Branch，EAB），在EAB_1中，利用編碼模塊中的淺層特征—x4特征圖像，同時進行對關鍵位置分割及其邊界進行分割。在EAB_2中，設計了3個解碼模塊分別利用編碼模塊中的x2、x3、x4特征圖同時進行語義分割和邊界分割。在EAB_3中，設計了和KPB一致的解碼器結構，充分利用了不同階段的編碼器的特征。在后續的試驗中，將對設計基于不同融合階段的EAB模型進行定量評價。

圖4 鋁合金壓鑄件關鍵位置分割模型結構

圖5 邊界感知的關鍵位置分割解碼器策略

在高相關性的多任務分割任務中，研究者廣泛采用共享編碼器的方式同時對各個任務相關的特征進行編碼，通過在多任務監督下參數共享的編碼器可以提取互補的特征，分別提高各個任務的分割精度。對于低相關性的多任務分割編碼模型而言，在淺層編碼階段，可以從圖像中提取出鋁合金壓鑄件的結構特征、邊界信息和壓鑄缺陷的紋理信息。在深層編碼階段會對不同的區域進行深度語義特征提取，在同一編碼模塊中并不能提高有效的互補語義信息，這種直接參數共享編碼的方法反而會降低兩個任務的分割精度。

在淺層特征提取階段通過參數共享的方式同時對壓鑄缺陷的紋理特征和關鍵位置的紋理信息以及邊界特征進行編碼。在提出的PPSTSEM中，新設計的深層編碼分支的卷積層參數與原始編碼對應卷積層的模型參數保持一致，根據采用深層編碼層級的不同，可以將在PPSTSEM的深層編碼分支分為3種：只采用第5_1卷積層，采用第4_1、第5_1卷積層，采用第3_1、第4_1、第5_1卷積層，見圖6，在試驗環節中將對采用不同層級的深層編碼階段進行驗證。

為了進一步提高對關鍵位置分割任務的分割精度，提出了一種交互式注意力模塊（Interactive Attention Module，IAM），見圖7，通過采用與本任務具有高相關的其他任務的特征，引入注意力機制模塊獲取本任務特征的注意力圖，對提取的注意力圖取反獲得互補的注意力圖，將互補的注意力圖與來自其他任務的特征進行像素級相乘來獲取與本任務互補的特征，進一步與原始特征進行像素級的相加來得到模塊的輸出特征。

圖6 局部參數共享雙路編碼方法

圖7 交互式感知模塊

構建了汽車鋁合金壓鑄件X射線圖像的數據集，在實際的汽車零部件檢測過程中，檢測人員將待檢測的零件放置到X射線圖像檢測系統中。X射線檢測系統由4部分組成：X射線發射源、機械傳動系統、數字平板探測器和計算機圖像處理系統。

在構建的數據集中包含3 200張X射線圖像提供了缺陷區域的人工標注結果，標注的內容主要包括：缺陷區域像素級、鋁合金壓鑄件中的關鍵位置及其邊界像素級，見圖8，其中汽車鋁合金壓鑄件中的關鍵位置主要包括待加工的孔、端面以及與其他零件配合的表面等。在鋁合金壓鑄件中，如果缺陷出現在關鍵位置時，會對下一工序的加工及零件后續的使用過程中造成較大的安全隱患。在質檢過程中，需要重點關注這類關鍵位置的缺陷分布情況。

圖8 汽車鋁合金壓鑄件X射線圖像數據集標注示例

表1 基準模型在采用不同關鍵位置邊界感知解碼器的結果

表2 基準模型在采用不同局部參數共享雙路編碼器的結果

本試驗采用 CXDS-Net+ EAB_1 模型作為基準網絡。由試驗結果可知，提出的 3 種 PPSTSEM 均可以有效地提高模型在關鍵位置分割任務上的分割精度，其中PPSTSEM_2 在mIoUK和mIoUE 指標上均達到最佳。

為了進一步在保證缺陷分割精度的同時提高關鍵位置處的分割精度，提出了一種交互式注意力模塊，在關鍵位置解碼階段，通過對關鍵位置解碼特征和關鍵位置邊界解碼特征分別通過注意力機制模塊進行互補融合來提高各自任務的分割精度。本試驗以 CXDSNet+EAB_1 模型為基準網絡，對 IAM 模型的有效性進行驗 證 ，結果見表3。可以看出，在解碼階段引入IAM后，通過對關鍵位置特征及其邊界特征進行互補融合后，模型在mIoUK和mIoUE指標上均有所提升，從而驗證了提出 IAM 對關鍵位置分割任務的有效性。進一步對驗證將各個模塊集成到基準網絡后模型的有效性，試驗結果見表4。由試驗結果可知，提出的多任務缺陷分割模型可以同時提高在缺陷分割和關鍵位置分割這兩個具有低相關性任務的分割精度，可以很好地滿足在實際質檢過程中同時對缺陷區域和關鍵位置區域分割的需求。

表3 基準模型在采用交互式注意力模塊的結果

表4 多任務分割模型消融試驗對比

圖9為CXDS-Net+KPB和提出的多任務分割模型CXMTDS-Net對關鍵位置及其邊界的分割結果示例。從分割結果可知，CXMTDS-Net模型相比于CXDS-Net+KPB對關鍵位置的分割性能有顯著提升，CXDS-Net+KPB僅在具有顯著邊界的關鍵位置的分割效果較好，而在邊界模糊的區域的分割精度需要進一步改進，而CXMTDS-Net在對關鍵位置邊界不明顯的區域具有更好的分割精度，見圖10，可見提出的模型可以實現對缺陷區域的精準分割。

圖9 關鍵位置分割結果示例

圖10 CXMTDS-Net分割結果示例

針對缺陷分割和關鍵位置分割任務提出了多任務分割模型CXMTDS-Net，可以有效提升關鍵位置分割精度。為了提升顯著性目標的分割精度，FAN D P等提出了一種反向注意力模塊（Reverse Attention Module，RAM），見圖11。通過該模塊可以挖掘分割區域與其邊界之間的內在聯系，從而提高模型對目標區域的分割精度。QIN X B等提出了一種殘差細化模塊（Residual Refinement Module，RRM），設計了一種編碼和解碼的結構對模型預測的結果進行修正，從而提高模型在邊界區域的分割精度。以CXDS-Net +EAB_2+ PPSTSEM_2為基準網絡分別將RAM和RRM方法與基準網絡融合與所提出的CXMTDS-Net模型進行定量對比，從而驗證提出的方法對提高關鍵位置分割精度的有效性，見圖12。

圖11 RAM模塊結構示意圖

圖12 解碼模塊C和RMM結構示意圖

表5 提出的CXMTDS-Net與其他方法的結果對比

結論

（1）針對鋁合金鑄件缺陷檢測，提出了關鍵位置邊界感知解碼模塊，對關鍵位置特征和邊界區域的特征分別進行監督，顯著提升關鍵位置分割精度，與基準網絡相比 mIoUK上升了 0.7。

（2）設計了局部參數共享雙路編碼器，在淺層特征提取中參數共享，在深層編碼階段構建針對不同任務的編碼分支，實現對低相關性任務的特征的高效提取，在mIoUK和mIoUE指標上分別提高了1.1和0.7。

（3）探明了關鍵位置和關鍵位置邊界特征中的交互融合機制，開發了交互式注意力模塊，引入注意力機制對關鍵位置和邊界區域的特征進行自適應融合，有效提高模型對關鍵位置的分割精度，在mIoUK和mIoUE指標上分別提高了0.4和1.8。

《鋁合金壓鑄件X射線圖像多任務分割方法研究》

杜旺哲1,2,3 劉元銘1,2,3 牛小淼1,2,3 王濤1,2,3

1.太原理工大學機械與運載工程學院；2. 太原理工大學先進金屬復合材料成形技術與裝備教育部工程研究中心；3. 太原理工大學金屬成形技術與重型裝備全國重點實驗室

本文轉載自：《特種鑄造及有色合金》雜志社