在本文中，我們提出了一種用于從真實(shí)世界中的低質(zhì)量圖像中進(jìn)行車牌識(shí)別的算法。我們的算法建立在降噪和校正的框架上，并且每個(gè)任務(wù)都是由卷積神經(jīng)網(wǎng)絡(luò)來執(zhí)行。在先前的研究中，降噪和校正任務(wù)分別被一個(gè)神經(jīng)網(wǎng)絡(luò)來處理。不同以往，我們提出了一種可訓(xùn)練的端到端的圖像恢復(fù)網(wǎng)絡(luò)，即“單噪聲圖像降噪和校正”網(wǎng)絡(luò)（SNIDER），致力于一起解決這兩個(gè)問題。此外，我們提出了一種利用輔助任務(wù)優(yōu)化多任務(wù)訓(xùn)練損失的方法。在兩個(gè)具有挑戰(zhàn)性的LPR數(shù)據(jù)集AOLP-RP和VTLPs進(jìn)行了大量的實(shí)驗(yàn)，證明了我們提出的方法的有效性，并且在從低質(zhì)量的車牌圖像中恢復(fù)高質(zhì)量的車牌圖像時(shí)本方法優(yōu)于其他的SOAT方法。

一、研究背景

真實(shí)世界中的車牌識(shí)別（LPR）是多種智能運(yùn)輸系統(tǒng)（ITS）應(yīng)用程序，如車輛重識(shí)別，戶外場景理解，用于隱式保護(hù)的去識(shí)別等的基本問題之一。過去幾年，LPR已經(jīng)在理論，實(shí)驗(yàn)和數(shù)理方面得到了廣泛的研究，以提供魯棒的圖像特征表示。一些LPR方法可以捕獲圖像和噪聲的結(jié)構(gòu)屬性，以進(jìn)行嚴(yán)格的約束。雖然已經(jīng)取得了一些成果，但由于外觀，噪聲，角度和光照的變化，在野外進(jìn)行車牌識(shí)別仍不能取得令人滿意的效果。近年來，由于卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多計(jì)算機(jī)視覺任務(wù)取得了很大進(jìn)步例如目標(biāo)檢測，語義分割，人臉識(shí)別等。同時(shí)CNN引導(dǎo)的LPR方法也被廣泛用于解決識(shí)別現(xiàn)實(shí)世界中捕獲的車牌。然而，現(xiàn)有的LPR方法仍然無法學(xué)習(xí)到野外所有類型的樣本，這些算法實(shí)際上是將高質(zhì)量的圖像作為輸入。通常，在現(xiàn)實(shí)世界中收集的車牌可能包含質(zhì)量很低的圖像，從而導(dǎo)致LPR性能下降。因此，在真實(shí)世界場景中開發(fā)魯棒的LPR框架是必要的。

在本文中，我們基于多個(gè)輔助任務(wù)設(shè)計(jì)了一個(gè)端到端的單噪聲圖像降噪和校正網(wǎng)絡(luò)（SNIDER）以實(shí)現(xiàn)更好的LPR。Figure1展示了我們的框架，其中SNIDER和預(yù)訓(xùn)練的LPR網(wǎng)絡(luò)（這里是基于Darknet的YOLOV3網(wǎng)絡(luò)）相結(jié)合。SNIDER包括兩個(gè)子網(wǎng)絡(luò)：降噪網(wǎng)絡(luò)和校正網(wǎng)絡(luò)?；赨-Net在恢復(fù)圖像細(xì)節(jié)方面的成功，我們采用U-Net結(jié)構(gòu)作為圖像恢復(fù)骨干網(wǎng)洛，嘗試從結(jié)構(gòu)級(jí)別的細(xì)節(jié)中提取視覺內(nèi)容。在去噪子網(wǎng)絡(luò)（DSN）中，我們嘗試將低質(zhì)量的圖像直接逐像素地轉(zhuǎn)換為高質(zhì)量的圖像。DSN可以懲罰噪聲和無噪聲圖像對(duì)之間的損失，從而獲得無噪和有精細(xì)紋理的輸出圖像。但僅僅使用DSN，去噪圖像仍不能令人滿意，因?yàn)閳D像仍然具有隨機(jī)的幾何變化。因此，校正網(wǎng)絡(luò)（RSN）被提出用于校正去噪后車牌圖像的幾何畸變。此外，我們提出利用新的輔助任務(wù)進(jìn)一步優(yōu)化SNIDER的DSN和RSN網(wǎng)絡(luò)。一共有兩個(gè)輔助任務(wù)：一個(gè)文本計(jì)數(shù)模塊和一個(gè)分割預(yù)測模塊。具體來說，我們使用CNN作為編碼器來解決每個(gè)輔助模塊。計(jì)數(shù)模塊用來預(yù)測圖像中的文本數(shù)量，被當(dāng)作分類問題。在此模塊中，盡管連續(xù)文本的邊界模糊，文本計(jì)數(shù)模塊仍可區(qū)分單個(gè)文本，從而使圖像質(zhì)量更適合于文本檢測。在分割預(yù)測模塊中，我們提出了一種二值分割方法來強(qiáng)調(diào)前景而不是背景，生成的分割結(jié)果使得車牌更加干凈以進(jìn)行文本識(shí)別。最后，學(xué)習(xí)輔助任務(wù)將引導(dǎo)圖像恢復(fù)網(wǎng)絡(luò)的中間特征，從而增加幾何變化和低質(zhì)量信息等困難。更重要的是，我們引入了新的損失函數(shù)，用于訓(xùn)練SNIDER和輔助任務(wù)，為LPR提供了更高質(zhì)量的車牌數(shù)據(jù)。

Figure 1

二、相關(guān)工作

在本節(jié)中，我們簡要回顧與這項(xiàng)工作最相關(guān)的低質(zhì)量圖像恢復(fù)方法和車牌識(shí)別方法。

2.1低質(zhì)量圖像恢復(fù)

為了獲得高質(zhì)量的圖像，大多數(shù)現(xiàn)有的方法都依賴于這樣的假設(shè)：信號(hào)和噪聲都是通過手工算法從特定的統(tǒng)計(jì)規(guī)律中產(chǎn)生。此外，一些非參數(shù)模型被開發(fā)來模擬圖像噪聲，但由于有限的觀測結(jié)果，它們對(duì)野外不受約束的環(huán)境并不具有魯棒性。近來，由于深度學(xué)習(xí)的發(fā)展，大多數(shù)降噪算法都是采用深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)和數(shù)據(jù)驅(qū)動(dòng)的方法設(shè)計(jì)的，而非依靠先驗(yàn)技術(shù)。盡管文本分類器對(duì)于清晰圖像很有用，但由于文本幾何形狀不規(guī)則，因此仍難以識(shí)別。與現(xiàn)有方法不同，我們使用基于U-Net的CNN對(duì)圖像進(jìn)行去噪和校正。據(jù)我們所知，我們的研究可能是首個(gè)將上訴兩個(gè)模塊同時(shí)應(yīng)用于LPR。

2.2 車牌識(shí)別

在深度學(xué)習(xí)出現(xiàn)之前，大多數(shù)傳統(tǒng)的LPR方法都采用雙階段的處理流程，包括文本檢測和文本識(shí)別。隨著深度學(xué)習(xí)的發(fā)展，許多方法采用了單階段流程即不進(jìn)行文本檢測。Li等通過將RNN與LSTM結(jié)合來提取深層特征表示，以獲取車牌的連續(xù)特征。Bulan等基于完全卷積網(wǎng)絡(luò)估計(jì)目標(biāo)域和多個(gè)原域之間的域轉(zhuǎn)換，以產(chǎn)生具有最佳識(shí)別性能的域。但這些方法僅考慮高質(zhì)量的車牌圖像，這容易導(dǎo)致模型在現(xiàn)實(shí)場景中性能下降。而且這些方法很少努力去改善圖像樣本質(zhì)量，同時(shí)也占用了大量計(jì)算力。在我們的工作中，我們在真實(shí)場景中采用低質(zhì)量圖像恢復(fù)以提升LPR的性能。這是我們首次應(yīng)用復(fù)雜的圖像恢復(fù)技術(shù)來處理有挑戰(zhàn)的真實(shí)環(huán)境，雖然有額外恢復(fù)模塊，但我們的方法仍具有較高的計(jì)算效率和實(shí)時(shí)識(shí)別能力。

三、方法

我們提出的方法由三部分組成：1）主任務(wù)預(yù)測網(wǎng)絡(luò)包括去噪網(wǎng)絡(luò)和校正網(wǎng)絡(luò)。2）輔助任務(wù)預(yù)測網(wǎng)絡(luò)包括文本計(jì)數(shù)分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。3）用于文本檢測和分類的網(wǎng)絡(luò)LPR。整個(gè)框架可以用Figure2來表示。

Figure 2

在訓(xùn)練中，用于主任務(wù)和輔助任務(wù)的數(shù)據(jù)集可以通過簡單旋轉(zhuǎn)（用于校正）和縮小尺寸（用于降噪）獲得，如圖Figure3所示。

Figure 3具體來說，一張?jiān)紙D像通過旋轉(zhuǎn)不同的角度可以產(chǎn)生四張訓(xùn)練圖像，其中用于，用于，用于，c用于，，主任務(wù)的和網(wǎng)絡(luò)從輸入圖像恢復(fù)為高質(zhì)量圖像。然后，LPR網(wǎng)絡(luò)獲取

進(jìn)行文本檢測和識(shí)別。

3.1去噪和校正網(wǎng)絡(luò)

我們的主任務(wù)網(wǎng)絡(luò)包括兩個(gè)子網(wǎng)絡(luò)（即去噪子網(wǎng)絡(luò)和校正子網(wǎng)絡(luò)），第一個(gè)子網(wǎng)絡(luò)以低質(zhì)量圖像為輸入，輸出為恢復(fù)圖像。在本文中，我們設(shè)計(jì)了校正網(wǎng)絡(luò)對(duì)來自降噪網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行校正。圖像恢復(fù)結(jié)果［15］顯示了U-Net的有效性，因?yàn)樗梢蕴嵘龍D像中目標(biāo)的細(xì)節(jié)信息，而不會(huì)對(duì)圖像生成產(chǎn)生負(fù)面影響。因此，我們采用基于U-Net的結(jié)構(gòu)，同時(shí)添加了跳躍連接，可以共享圖像低級(jí)語義信息。

為了實(shí)現(xiàn)主任務(wù)，我們首先將輸入到網(wǎng)絡(luò)產(chǎn)生去噪后的結(jié)果。給定一對(duì)輸入圖像和未校正的去噪標(biāo)簽圖像

，的損失函數(shù)是逐像素的MSE損失，如等式（1）所示：

其中是去噪網(wǎng)絡(luò)的參數(shù)。這種損失函數(shù)讓網(wǎng)絡(luò)不僅能提取輸入圖像語義信息也能生成像素級(jí)的高質(zhì)量圖像。然后校正網(wǎng)絡(luò)從的輸出開始處理，產(chǎn)生校正后的高質(zhì)量圖像，以更有利于LPR網(wǎng)絡(luò)進(jìn)行文本識(shí)別。訓(xùn)練圖像對(duì)用

表示，網(wǎng)絡(luò)使用L1損失函數(shù)，如等式（2）所示：

其中w是校正網(wǎng)絡(luò)的參數(shù)。

和L2損失不同，像素級(jí)別的L1損失有助于保留目標(biāo)的外觀，例如圖像顏色，亮度等。因此，在校正過程中，我們只會(huì)進(jìn)行幾何變換而不會(huì)對(duì)圖像造成外觀損傷，這對(duì)識(shí)別器是有用的。

3.2輔助任務(wù)預(yù)測

由于真實(shí)環(huán)境的復(fù)雜性，如文本的幾何形態(tài)及其不規(guī)則，圖像背景很復(fù)雜等導(dǎo)致車牌的二值化信息往往存在噪聲。盡管我們希望和可以捕獲魯棒的特征來進(jìn)行圖像恢復(fù)，但是這種結(jié)構(gòu)的結(jié)果并不能總是保證有良好的圖像質(zhì)量提升輸出。因此，我們使用了兩個(gè)輔助任務(wù)，即二值分割和計(jì)數(shù)估計(jì)，這將有助于我們的主任務(wù)網(wǎng)絡(luò)產(chǎn)生更具區(qū)分性的代表特征。針對(duì)這個(gè)問題，我們將編碼器最后一層的權(quán)值相加，以指導(dǎo)輔助任務(wù)網(wǎng)絡(luò)更有效地從低質(zhì)量圖像中提取關(guān)鍵信息。

對(duì)于二值分割任務(wù)，我們介紹基于U-Net結(jié)構(gòu)的分割解碼器。的細(xì)節(jié)如Table1所示：

接收主任務(wù)編碼器求和后的特征集F并輸出車牌分割結(jié)果，每個(gè)像素位置的值代表該像素值屬于車牌區(qū)域的概率。此外，用于分割的標(biāo)簽樣本可以使用論文［4］中的OTSU算法得到，如Figure3所示。雖然［4］中的分割注釋不能完全反映圖像的實(shí)際細(xì)節(jié)，但我們的實(shí)驗(yàn)表明，這種輔助學(xué)習(xí)的策略在圖像恢復(fù)方面取得了有效的進(jìn)展。給定F和語義分割標(biāo)簽，的損失函數(shù)為二元交叉熵?fù)p失，如公式（3）所示：

其中代表是否屬于車牌區(qū)域。

同時(shí)，我們發(fā)現(xiàn)恢復(fù)的樣本通常不能區(qū)分連續(xù)的文本。所以我們增加了一個(gè)計(jì)數(shù)解碼器來預(yù)測圖像中字符的個(gè)數(shù)。因此，我們的扮演兩個(gè)角色，第一個(gè)是使得相鄰字符之間的分割更加清晰，另外一個(gè)角色是促進(jìn)每個(gè)主任務(wù)的編碼器產(chǎn)生更高質(zhì)量的圖像。的損失函數(shù)為L2損失，如公式（4）所示：

其中，是預(yù)測值，是標(biāo)簽。

最終網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)如公式（5）所示：

優(yōu)化此損失函數(shù)更新網(wǎng)絡(luò)的參數(shù)即可。

四、結(jié)果

我們在兩個(gè)大型的車牌數(shù)據(jù)集AOLP-RP和VTLPs上測試了我們的算法，我們在AOLP數(shù)據(jù)集上達(dá)到了驚人的99.18%的準(zhǔn)確率，相比于直接使用YOLOV3做檢測提升了近10個(gè)點(diǎn)，證明了我們算法的魯棒性和有效性。在兩個(gè)數(shù)據(jù)集上的測試結(jié)果如表Table3和Table4所示：

我們的算法在精度SOAT的同時(shí)，速度也可以達(dá)到實(shí)時(shí)，具有較好的實(shí)用價(jià)值。測試結(jié)果如圖Table5所示：

五、結(jié)論

本文提出了一種新的端到端的可訓(xùn)練的圖像恢復(fù)方法用于真實(shí)世界中的車牌識(shí)別。我們提出的恢復(fù)網(wǎng)絡(luò)由兩個(gè)子網(wǎng)絡(luò)組成，即去噪子網(wǎng)絡(luò)和校正子網(wǎng)絡(luò)。特別地，我們設(shè)計(jì)了使用兩個(gè)輔助任務(wù)來協(xié)助車牌圖像恢復(fù)網(wǎng)絡(luò)，從而使得恢復(fù)網(wǎng)絡(luò)提取的特征更加魯棒，以對(duì)抗現(xiàn)實(shí)場景中的幾何變化和模糊數(shù)據(jù)。此外，一個(gè)新的損失函數(shù)被引入到骨干網(wǎng)絡(luò)中，以提供正則化影響和提高恢復(fù)圖像質(zhì)量。在各種數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)證明了在車牌恢復(fù)和識(shí)別方面的卓越性能。審核編輯：郭婷