圖 1腐蝕分類器訓(xùn)練過程
Figure 1.Corrosion classifier training process
金屬腐蝕過程中,界面上存在化學(xué)和電化學(xué)多種反應(yīng)[1]。腐蝕會(huì)顯著降低金屬材料的力學(xué)性能,破壞金屬構(gòu)件的幾何形狀,縮短設(shè)備使用壽命,甚至造成災(zāi)難性事故[2]。中國(guó)工程院2015年重點(diǎn)咨詢項(xiàng)目“中國(guó)腐蝕現(xiàn)狀與控制策略研究”的研究結(jié)果表明,中國(guó)每年因腐蝕造成的經(jīng)濟(jì)損失約為21278億元,約占GDP的3.34%[3]。所以,解決金屬腐蝕問題迫在眉睫。
在研究金屬腐蝕問題的過程中,判斷金屬的腐蝕程度是不可或缺的工作。研究腐蝕發(fā)展程度對(duì)預(yù)測(cè)腐蝕行為、了解腐蝕機(jī)理和評(píng)價(jià)產(chǎn)品的可靠性有重要意義[4]。目前,對(duì)金屬材料的腐蝕等級(jí)一般采取人工判斷結(jié)合標(biāo)準(zhǔn)評(píng)價(jià)的方式。比如GJB 6461-2002《金屬基體上金屬和其他無機(jī)覆蓋層經(jīng)腐蝕試驗(yàn)后的試樣和試件的評(píng)級(jí)》中采用腐蝕面積對(duì)金屬試樣的腐蝕等級(jí)進(jìn)行評(píng)價(jià)[5]。但是,這種評(píng)價(jià)方式檢測(cè)速度慢,檢測(cè)人員工作強(qiáng)度大,專業(yè)性要求高。特別是在腐蝕發(fā)生的早期,人工很難判定腐蝕發(fā)生的具體區(qū)域,而且腐蝕區(qū)域分布不均勻、形狀復(fù)雜,面積百分比難以獲取。
在金屬腐蝕的研究過程中,會(huì)獲取大量的金屬外觀圖像。在金屬腐蝕圖像中,存在大量與腐蝕相關(guān)的信息,如腐蝕坑的分布、形狀等[6-7]。此外,近年來機(jī)器視覺技術(shù)作為一種新興技術(shù),伴隨著人工智能技術(shù)的快速發(fā)展而備受關(guān)注[8]。計(jì)算機(jī)視覺可以模擬人眼的視覺功能,并通過算法分析代替人工判斷,目前已經(jīng)被廣泛應(yīng)用于各種民用基礎(chǔ)設(shè)施的檢查與檢測(cè)任務(wù)中[9-10]。這使得基于圖像處理的金屬腐蝕檢測(cè)評(píng)估成為可能。
目前,以圖像處理的方式研究金屬腐蝕主要集中在腐蝕區(qū)域定位方面。早期的腐蝕區(qū)域定位主要采用純粹的圖像處理方式。HARALICK等[11]提出灰度共生矩陣來描述紋理特征,進(jìn)行腐蝕檢測(cè)。GUNATILAKE等[12]利用COHEN[13]提出的六階小波對(duì)飛機(jī)外殼上的腐蝕進(jìn)行檢測(cè),使用的特征是從8×8的像素區(qū)域內(nèi)獲取的能量值,腐蝕區(qū)域與未腐蝕區(qū)域采用最近鄰分類器進(jìn)行分類。ITZHAK等[14]通過圖像二值化處理技術(shù)獲取不銹鋼腐蝕圖像呈現(xiàn)的孔蝕率特性。郭建斌等[15]通過圖像識(shí)別技術(shù)對(duì)水工鋼結(jié)構(gòu)的腐蝕形貌特征及分布狀況進(jìn)行定量化研究,并通過室內(nèi)試驗(yàn)對(duì)圖像識(shí)別技術(shù)進(jìn)行驗(yàn)證。然而,隨著深度學(xué)習(xí)的發(fā)展,現(xiàn)如今的缺陷檢測(cè)已經(jīng)不僅僅局限于純粹的圖像處理,也有學(xué)者借助深度學(xué)習(xí)對(duì)缺陷區(qū)域進(jìn)行定位。陳桂娟等[16]提出了以腐蝕圖像信息為特征、支持向量機(jī)為識(shí)別器的CO2腐蝕類型識(shí)別方法。陳法法等[17]針對(duì)傳統(tǒng)方法難以精確分割出金屬構(gòu)件腐蝕區(qū)域特征的難題,構(gòu)建了一種融合雙注意力機(jī)制和U-Net深度學(xué)習(xí)網(wǎng)絡(luò)的銹蝕圖像區(qū)域分割模型,結(jié)果表明所構(gòu)建的模型能夠有效地從復(fù)雜背景圖像中分割出銹蝕區(qū)域特征。深度學(xué)習(xí)的引入大幅提高了腐蝕區(qū)域定位的準(zhǔn)確性,但是對(duì)于金屬腐蝕等級(jí)的評(píng)估,卻少有人深入探討。而且,目前基于圖像處理的腐蝕等級(jí)評(píng)價(jià)方法主要基于腐蝕面積等單一指標(biāo)進(jìn)行評(píng)價(jià),無法區(qū)分腐蝕程度不同的腐蝕區(qū)域,導(dǎo)致評(píng)價(jià)結(jié)果的準(zhǔn)確度低,魯棒性較差[4]。因此,筆者將著重探討基于圖像處理的多指標(biāo)金屬腐蝕等級(jí)快速評(píng)價(jià)方法。
本文先用基于滑動(dòng)窗口法的卷積神經(jīng)網(wǎng)絡(luò)對(duì)金屬外觀圖像中的腐蝕區(qū)域進(jìn)行定位,然后提出一種基于標(biāo)準(zhǔn)色圖譜信息表的腐蝕等級(jí)評(píng)價(jià)方法,實(shí)現(xiàn)對(duì)腐蝕特征信息的數(shù)字化和定量化。與傳統(tǒng)的人工評(píng)價(jià)方式相比,本文所采用的方法未受到評(píng)價(jià)人員經(jīng)驗(yàn)因素的影響,提高了腐蝕等級(jí)評(píng)價(jià)的準(zhǔn)確性和評(píng)價(jià)速度。同時(shí),降低了檢測(cè)人員的勞動(dòng)強(qiáng)度。此外,借助機(jī)器視覺高分辨率的特點(diǎn),也可以對(duì)腐蝕的早期圖像進(jìn)行識(shí)別,對(duì)腐蝕等級(jí)進(jìn)行精確評(píng)價(jià)。
1. 腐蝕區(qū)域定位
為了提取腐蝕區(qū)域的特征參數(shù),需要對(duì)金屬外觀圖像中的腐蝕區(qū)域進(jìn)行定位,使后續(xù)的特征提取范圍更有針對(duì)性,從而提高特征參數(shù)提取的準(zhǔn)確性。腐蝕區(qū)域定位屬于機(jī)器視覺表面缺陷檢測(cè)的應(yīng)用。機(jī)器視覺表面缺陷檢測(cè)在很多行業(yè)均有應(yīng)用,涉及印刷[18]、電子[19]等多種行業(yè)和產(chǎn)品。腐蝕區(qū)域的準(zhǔn)確定位是腐蝕等級(jí)評(píng)價(jià)結(jié)果準(zhǔn)確的重要保證。
1.1 訓(xùn)練腐蝕分類器
采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行腐蝕區(qū)域定位首先要訓(xùn)練腐蝕分類器,即輸入圖片之后,腐蝕分類器可以判定該圖片中的區(qū)域是否發(fā)生腐蝕。訓(xùn)練腐蝕分類器的過程如圖1所示。將收集到的圖片分割成小圖片,然后人工分成腐蝕和未腐蝕的類型,生成訓(xùn)練集和測(cè)試集,利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成腐蝕分類器。
1.1.1 制作數(shù)據(jù)集
基于以往環(huán)境試驗(yàn)中的金屬腐蝕圖像進(jìn)行數(shù)據(jù)集的制作,圖2為部分未腐蝕和腐蝕區(qū)域的原始圖片。
圖 2數(shù)據(jù)集的原始圖像
Figure 2.Original image of data se
將原始圖像分割成32×32像素的小圖片,作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。圖3為部分分割后的32×32像素的小圖片。對(duì)所有原始圖片進(jìn)行分割,共獲取61 981張小圖片,然后隨機(jī)挑選其中的49 983張圖片作為訓(xùn)練集,其中28 083張圖片為未腐蝕,21 900張圖片為腐蝕。其他11 998張圖片作為測(cè)試集,其中7 043張圖片為未腐蝕,4 955張為腐蝕。
圖 3分割后圖片
Figure 3.Segmented image
1.1.2 搭建卷積神經(jīng)網(wǎng)絡(luò)
由于所需的腐蝕分類器為二分類,且為了減少所需訓(xùn)練圖片的數(shù)量和加速腐蝕區(qū)域定位的速度,采用TensorFlow搭建了如圖4所示的較為簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)共包括五層,其中前兩層為卷積層,包括卷積和池化兩個(gè)步驟；后三層為全連接層。該結(jié)構(gòu)采用Relu作為激活函數(shù),最終通過Softmax函數(shù)進(jìn)行輸出,判斷輸入的圖片是否發(fā)生腐蝕。表1為該卷積神經(jīng)網(wǎng)絡(luò)每層的詳細(xì)結(jié)構(gòu)參數(shù)。
圖 4卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
Figure 4.Convolutional neural network architecture
表 1卷積神經(jīng)網(wǎng)絡(luò)每層的詳細(xì)結(jié)構(gòu)參數(shù)
Table 1.Detailed structural parameters of each layer of convolutional neural network
圖5為卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集和測(cè)試集準(zhǔn)確率和損失的折線圖。可以看出,本文選取的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)取得了很好的圖像腐蝕判定效果。經(jīng)過10次左右的訓(xùn)練之后,可以在測(cè)試集上獲取到較高的準(zhǔn)確率和較低的損失。
圖 5卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集和測(cè)試集準(zhǔn)確率和損失的折線圖
Figure 5.The line chart of accuracy (a) and loss (b) of training set and test set in the training process of convolutional neural network
1.2 滑動(dòng)窗口法取樣
圖6為滑動(dòng)窗口法取樣示意圖,取樣時(shí)采用尺寸為a×b的小窗口在原始圖像上逐步滑動(dòng)進(jìn)行取樣。取樣窗口初始位置為1,窗口以距離c逐步向右滑動(dòng)到位置2、3,每次滑動(dòng)之后對(duì)取樣窗口內(nèi)的圖像進(jìn)行取樣。當(dāng)窗口滑動(dòng)到原始圖像最右端的位置3時(shí),再以距離d向下滑動(dòng)到位置4,從左到右再次取樣,直至取樣窗口在整幅原始圖像上完成滑動(dòng)。
圖 6滑動(dòng)窗口法取樣示意圖
Figure 6.Schematic diagram of sampling by sliding window method
1.3 定位結(jié)果分析
圖7為利用腐蝕分類器和滑動(dòng)窗口法進(jìn)行腐蝕區(qū)域定位的流程。首先,采用8×8像素的滑動(dòng)窗口在金屬外觀圖像上進(jìn)行取樣,然后采用雙線性插值將其放大至32×32像素的圖像,再使用腐蝕分類器對(duì)放大后的圖像進(jìn)行腐蝕情況判定,若發(fā)生腐蝕則保留金屬外觀圖像中該小圖像對(duì)應(yīng)的區(qū)域,否則將對(duì)應(yīng)的區(qū)域轉(zhuǎn)化為黑色的背景。將整幅金屬外觀圖像的腐蝕區(qū)域定位完之后,即可得到腐蝕區(qū)域圖像。
圖 7腐蝕區(qū)域定位流程示意圖
Figure 7.Schematic diagram of process for locating corroded areas
部分金屬外觀圖像腐蝕區(qū)域定位前后的效果如表2所示,采用交并比對(duì)腐蝕區(qū)域定位的準(zhǔn)確性進(jìn)行衡量。可以看出,所有圖片的交并比均大于0.95,所以本文使用的方法不僅對(duì)腐蝕色差較為明顯的黑色金屬具有良好的腐蝕區(qū)域定位效果,對(duì)于鋁、鋅等白色腐蝕產(chǎn)物與基體色差較弱的情況同樣適用。
表 2腐蝕區(qū)域定位效果及交并比
Table 2.Corrosion area positioning effect and intersection ratio
2. 腐蝕等級(jí)評(píng)價(jià)
為了評(píng)價(jià)產(chǎn)品的耐蝕性,需要對(duì)完成環(huán)境試驗(yàn)后的金屬進(jìn)行腐蝕等級(jí)評(píng)價(jià),然后根據(jù)該結(jié)果對(duì)金屬的環(huán)境適應(yīng)性進(jìn)行評(píng)價(jià)。傳統(tǒng)的腐蝕等級(jí)評(píng)價(jià)方式多為定性的評(píng)價(jià)方法,通過單一的評(píng)價(jià)指標(biāo)如腐蝕面積、質(zhì)量變換率、腐蝕速率等進(jìn)行評(píng)價(jià),或者直接根據(jù)評(píng)價(jià)人員的個(gè)人經(jīng)驗(yàn)進(jìn)行腐蝕等級(jí)判定。因此,傳統(tǒng)人工評(píng)價(jià)方式指標(biāo)單一,主觀性強(qiáng)且準(zhǔn)確性較低。為此,本文同時(shí)根據(jù)腐蝕面積和顏色對(duì)腐蝕等級(jí)進(jìn)行評(píng)價(jià),通過腐蝕區(qū)域內(nèi)部顏色的差異進(jìn)行腐蝕程度的衡量,從而分成腐蝕程度不同的小區(qū)域,最后對(duì)整個(gè)腐蝕區(qū)域的等級(jí)進(jìn)行綜合評(píng)價(jià),使得評(píng)價(jià)結(jié)果具有較好的客觀性和準(zhǔn)確性。
2.1 顏色聚類
以往僅依靠腐蝕面積作為特征參數(shù)進(jìn)行腐蝕等級(jí)評(píng)價(jià),忽略了腐蝕區(qū)域內(nèi)各部分腐蝕程度不同的問題[20]。通常情況下,同種金屬材料腐蝕程度不同時(shí)表現(xiàn)出的顏色也有差異。所以,本文采用顏色作為特征參數(shù)對(duì)不同的腐蝕程度區(qū)域進(jìn)行表征。采用K-Means聚類算法對(duì)腐蝕區(qū)域內(nèi)部的像素進(jìn)行顏色聚類,將顏色相近的像素聚集到一個(gè)聚類中心,表征其代表的腐蝕程度相近。
2.2 訓(xùn)練標(biāo)準(zhǔn)色圖譜信息表
將所有腐蝕區(qū)域內(nèi)的像素聚類后,可以獲取數(shù)個(gè)聚類中心。為了衡量每個(gè)聚類中心的腐蝕程度,需要獲取標(biāo)準(zhǔn)色圖譜信息表,標(biāo)準(zhǔn)色圖譜信息表中的部分標(biāo)準(zhǔn)色如圖8所示。此外,每一個(gè)標(biāo)準(zhǔn)色都有一個(gè)腐蝕程度因子與之對(duì)應(yīng),腐蝕程度因子越大,該標(biāo)準(zhǔn)色對(duì)應(yīng)的腐蝕程度越大。
圖 8部分標(biāo)準(zhǔn)色
Figure 8.Partial standard color
2.2.1 選擇標(biāo)準(zhǔn)色
對(duì)標(biāo)準(zhǔn)色圖譜信息表進(jìn)行訓(xùn)練首先要進(jìn)行標(biāo)準(zhǔn)色的選擇。為了選擇出具有腐蝕代表性的標(biāo)準(zhǔn)色,本文采取直方圖結(jié)合聚類算法的方式進(jìn)行標(biāo)準(zhǔn)色選取。圖9為單張金屬腐蝕區(qū)域圖像各分量的直方圖,可以看出各分量的直方圖基本符合正態(tài)分布,因此采用分位數(shù)進(jìn)行標(biāo)準(zhǔn)色選擇。
圖 9各分量的灰度值直方圖
Figure 9.Gray value histogram of each component: (a)Rcomponent; (b)Gcomponent; (c)Bcomponent
每隔總數(shù)量的10%進(jìn)行一次標(biāo)準(zhǔn)色的選取,即選取總數(shù)量的10%、20%…90%分位數(shù)對(duì)應(yīng)的灰度值作為對(duì)應(yīng)分量的標(biāo)準(zhǔn)色。然后,隨機(jī)選取20張腐蝕區(qū)域圖片,采用直方圖分位數(shù)法選擇標(biāo)準(zhǔn)色。為了獲取可以對(duì)腐蝕區(qū)域進(jìn)行最準(zhǔn)確描述的標(biāo)準(zhǔn)色,采用顏色聚類將這20張圖片的R、G、B分量的分位數(shù)灰度值聚成9類,再以灰度值0和255作為最終的標(biāo)準(zhǔn)色,共113=1 331個(gè),如表3所示。
表 3最終選擇的標(biāo)準(zhǔn)色灰度值
Table 3.The final selection of standard color gray value
2.2.2 訓(xùn)練腐蝕程度因子
采用已經(jīng)標(biāo)定過腐蝕等級(jí)的圖片,對(duì)標(biāo)準(zhǔn)色圖譜信息表中的腐蝕程度因子進(jìn)行訓(xùn)練。具體的訓(xùn)練公式見式（1）。
式中：Fx+1為訓(xùn)練之后的腐蝕程度因子；Fx為訓(xùn)練之前的腐蝕程度因子；r為學(xué)習(xí)率,取值范圍為0~1;G0為圖片標(biāo)定的腐蝕等級(jí)；G1為按照目前的腐蝕程度因子進(jìn)行評(píng)價(jià)的腐蝕等級(jí)；P為圖片中腐蝕區(qū)域的面積百分比。
對(duì)于標(biāo)準(zhǔn)色圖譜信息表中的腐蝕程度因子隨機(jī)初始化后,采用前期使用三維形貌儀和X射線能譜分析標(biāo)定腐蝕等級(jí)的圖片,根據(jù)訓(xùn)練公式對(duì)腐蝕程度因子進(jìn)行訓(xùn)練,即可獲得最終的標(biāo)準(zhǔn)色圖譜信息表。
2.3 評(píng)價(jià)結(jié)果分析
完成腐蝕區(qū)域像素聚類和標(biāo)準(zhǔn)色圖譜信息表的訓(xùn)練之后,可進(jìn)行腐蝕等級(jí)評(píng)價(jià)。首先通過最小歐式距離尋找每個(gè)聚類中心對(duì)應(yīng)的標(biāo)準(zhǔn)色,即遍歷標(biāo)準(zhǔn)色求取與聚類中心的歐式距離,選取最小歐式距離對(duì)應(yīng)的標(biāo)準(zhǔn)色替代聚類中心顏色并進(jìn)行之后的腐蝕等級(jí)評(píng)價(jià)。歐式距離的計(jì)算公式見式（2）。
式中：r1、g1和b1均為聚類中心的顏色分量；r2、g2和b2均為標(biāo)準(zhǔn)色的顏色分量。
然后,根據(jù)公式（3）進(jìn)行腐蝕等級(jí)結(jié)果評(píng)價(jià)。
式中：G為腐蝕等級(jí)評(píng)價(jià)結(jié)果；Pi為每一個(gè)聚類中心像素?cái)?shù)量占產(chǎn)品外觀圖像像素?cái)?shù)量的百分比；Fi為距聚類中心歐氏距離最近的標(biāo)準(zhǔn)色對(duì)應(yīng)的腐蝕程度因子。
采用圖像處理的方式對(duì)本文選取50張標(biāo)定腐蝕等級(jí)的圖片進(jìn)行腐蝕等級(jí)評(píng)價(jià),部分圖片的腐蝕等級(jí)評(píng)價(jià)結(jié)果和代表性評(píng)價(jià)參數(shù)如表4所示。結(jié)果顯示,其中48張圖片的腐蝕等級(jí)評(píng)價(jià)結(jié)果與標(biāo)定等級(jí)相同,準(zhǔn)確率達(dá)到96%。因此,利用圖像處理的方式對(duì)金屬腐蝕等級(jí)進(jìn)行評(píng)價(jià)的準(zhǔn)確率較高,相較于人工評(píng)價(jià)方式效率高且客觀性強(qiáng)。
表 4腐蝕等級(jí)評(píng)價(jià)結(jié)果
Table 4.Corrosion grade evaluation results
3. 結(jié)論
提出一種多指標(biāo)評(píng)價(jià)方法,開展金屬腐蝕等級(jí)的定量化評(píng)價(jià)。該方法利用卷積神經(jīng)網(wǎng)絡(luò)和滑動(dòng)窗口法實(shí)現(xiàn)腐蝕特征分類及腐蝕區(qū)域定位,定位結(jié)果的交并比均大于0.95。此外,該方法是基于顏色聚類算法對(duì)不同腐蝕程度的腐蝕區(qū)域進(jìn)行區(qū)分的,再結(jié)合訓(xùn)練后的標(biāo)準(zhǔn)色圖譜信息表,實(shí)現(xiàn)對(duì)腐蝕等級(jí)的多指標(biāo)快速評(píng)價(jià),評(píng)價(jià)結(jié)果的準(zhǔn)確率為96%。相較于傳統(tǒng)的人工結(jié)合標(biāo)準(zhǔn)的評(píng)價(jià)方式,利用圖像處理的方式評(píng)價(jià)效率高、準(zhǔn)確性高和客觀性強(qiáng)。
文章來源——材料與測(cè)試網(wǎng)