本文中將簡(jiǎn)單總結(jié)YOLO的發(fā)展歷史，YOLO是計(jì)算機(jī)視覺領(lǐng)域中著名的模型之一，與其他的分類方法，例如R-CNN不同，R-CNN將檢測(cè)結(jié)果分為兩部分求解：物體類別（分類問題），物體位置即bounding box（回歸問題）不同，YOLO將任務(wù)統(tǒng)一為一個(gè)回歸問題。也就是相對(duì)于R-CNN系列的“看兩眼”（候選框提取與分類），YOLO只需要 You Only Look Once。

目標(biāo)檢測(cè)

我們?nèi)祟愔恍枰匆谎蹐D像就能知道圖像里面包含了那些物體，能夠知道這些物體在哪里，以及他們之間的相互關(guān)系。這是人類進(jìn)行目標(biāo)檢測(cè)的過程，但是當(dāng)談到人工智能計(jì)算機(jī)視覺中的視頻和圖像分析時(shí)，目標(biāo)檢測(cè)是一個(gè)有趣和不斷發(fā)展的主題，它從圖像和視頻中提供有意義和有價(jià)值的信息，可以為醫(yī)療保健、產(chǎn)品優(yōu)化、人臉識(shí)別、自動(dòng)駕駛，衛(wèi)星圖像分析等不同領(lǐng)域提供巨大的幫助。檢測(cè)一個(gè)對(duì)象并從圖像中獲得高層次的語義或理解將通過3個(gè)步驟：

1、分類：這是一個(gè)有監(jiān)督的學(xué)習(xí)任務(wù)，它將訓(xùn)練一個(gè)模型，如支持向量機(jī)（SVM）， AdaBoost來理解一個(gè)對(duì)象是否在圖像中

2、定位：通過邊界框來區(qū)分對(duì)象圖像，顯示對(duì)象是否在圖像中（分類）

3、檢測(cè)：精確檢測(cè)物體所在的位置（物體定位）和它們所屬的組（物體分類）的過程。

下圖顯示了目標(biāo)檢測(cè)模型的結(jié)構(gòu)。像人工智能中的所有算法一樣，它從輸入層開始（輸入一個(gè)圖像），目標(biāo)檢測(cè)的兩個(gè)主要部分是Backbone和Head。Backbone的作用是提取特征，提供輸入的特征映射表示，一般都會(huì)使用ImageNet上的預(yù)訓(xùn)練模型。Head基于特征進(jìn)行訓(xùn)練，預(yù)測(cè)圖像中物體的類別及其邊界框。

在兩階段目標(biāo)檢測(cè)模型中， Faster R-CNN （Region-based Convolutional Neural Networks），使用區(qū)域建議網(wǎng)絡(luò)在第一階段和第二階段生成和選擇感興趣區(qū)域，并將區(qū)域建議向下發(fā)送并使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)分類和邊界框回歸。兩階段檢測(cè)器模型具有最高的準(zhǔn)確率，但通常較慢，因?yàn)楸仨殞?duì)每個(gè)選定區(qū)域進(jìn)行預(yù)測(cè)。因此很難將其用作實(shí)時(shí)對(duì)象檢測(cè)器。

單階段目標(biāo)檢測(cè)器，本文的YOLO（You Only Look Once），通過創(chuàng)建輸入圖像的特征圖、學(xué)習(xí)類別概率和整個(gè)圖像的邊界框坐標(biāo)，將目標(biāo)識(shí)別視為一個(gè)簡(jiǎn)單的回歸問題。算法只運(yùn)行一次。這樣的模型雖然準(zhǔn)確率稍微有所下降，但比兩階段目標(biāo)檢測(cè)器快得多，通常用于實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)。

YOLO Version 1; 統(tǒng)一的實(shí)時(shí)目標(biāo)檢測(cè)框架

YOLO 是一個(gè)簡(jiǎn)單的且不復(fù)雜的對(duì)象檢測(cè)模型，它對(duì)圖片進(jìn)行分析只需要“看一眼”，就可以預(yù)測(cè)目標(biāo)對(duì)象及其在輸入圖片上的位置。該算法將目標(biāo)檢測(cè)定義為單個(gè)回歸問題。將每個(gè)給定的圖像劃分為一個(gè) S * S 網(wǎng)格系統(tǒng)，該網(wǎng)格系統(tǒng)是圖像的子集或一部分，每個(gè)網(wǎng)格通過預(yù)測(cè)網(wǎng)格內(nèi)對(duì)象的邊界框數(shù)量來識(shí)別對(duì)象。

YOLO 執(zhí)行一個(gè)神經(jīng)卷積網(wǎng)絡(luò)來識(shí)別網(wǎng)格中的對(duì)象，預(yù)測(cè)對(duì)象周圍的邊界框以及它們屬于哪個(gè)類別的概率。概率被用作置信水平。卷積網(wǎng)絡(luò)的初始層從圖像中提取特征，全連接層預(yù)測(cè)概率。YOLO 工作流程如下圖所示：

為了識(shí)別圖像中的不同對(duì)象及其位置，使用多尺度滑動(dòng)窗口掃描整個(gè)圖像，因?yàn)閷?duì)象可以在圖像的每個(gè)部分以不同的大小顯示。提取滑動(dòng)窗口的最佳大小和數(shù)量是很重要的，而且這是計(jì)算密集型的因?yàn)椴煌瑪?shù)量的候選或不相關(guān)的候選會(huì)影響結(jié)果。通過這種方式Y(jié)OLO可以與傳統(tǒng)算法相媲美，并且速度更快。這些步驟的示例如下圖所示。

YOLO V1的優(yōu)勢(shì)：可以高速實(shí)時(shí)檢測(cè)物，能夠理解廣義對(duì)象表示，模型也不太復(fù)雜。

YOLO V1 的局限性：如果小對(duì)象以集群或組的形式出現(xiàn)，則模型效果，例如下圖所示

YOLO V1 訓(xùn)練是基于損失函數(shù)來展示檢測(cè)性能的，而損失函數(shù)沒有考慮窗口的大小，大框中的小錯(cuò)誤是顯而易見的，但其實(shí)小框中的錯(cuò)誤其實(shí)應(yīng)該更加被關(guān)注，因?yàn)樗麑?duì)交并比的影響更大，交并比是一種評(píng)估指標(biāo)，用于衡量數(shù)據(jù)集上對(duì)象檢測(cè)器模型的準(zhǔn)確性 ［6］。

YOLO Version 2；YOLO9000：更快，更好，更強(qiáng)

對(duì)象檢測(cè)模型應(yīng)該快速、準(zhǔn)確，并且可以識(shí)別各種對(duì)象類別?；谶@個(gè)想法YOLO V2 出現(xiàn)了，與 YOLO V1 相比，在速度、準(zhǔn)確性和檢測(cè)大量物體的能力方面有各種改進(jìn)。這個(gè)新版本訓(xùn)練了 9000 個(gè)新類別，所以被稱作 YOLO9000。它將不同的數(shù)據(jù)集 ImageNet 和 COCO 結(jié)合起來，以提供更大量的分類數(shù)據(jù)，擴(kuò)大檢測(cè)模型的范圍，并提高召回率 。COCO 用于目標(biāo)檢測(cè)，包含 80 個(gè)類別的 100，000 張圖像。

YOLO V2 結(jié)構(gòu)中使用Softmax 為每個(gè)邊界框提供客觀性分?jǐn)?shù)。Softmax為每一類多類分類任務(wù)分配一個(gè)在0到1之間的十進(jìn)制概率，在YOLO V2中，它也為圖像中的對(duì)象提供了多類分類的可能性。召回率則衡量正確檢測(cè)到真值對(duì)象的概率。YOLO V2 在分類和檢測(cè)數(shù)據(jù)集上聯(lián)合訓(xùn)練。該方法對(duì)圖像進(jìn)行標(biāo)記以進(jìn)行檢測(cè)，識(shí)別邊界框和對(duì)常見對(duì)象進(jìn)行分類。還是用僅具有類標(biāo)簽的圖像用于擴(kuò)展算法可以檢測(cè)的類別。YOLO V2 中一個(gè)有趣的點(diǎn)，除了試圖提供更好和準(zhǔn)確的結(jié)果外，還提供了一個(gè)比 YOLO V1 更簡(jiǎn)單的模型。

上表中看到，V2中增加了BN的操作。通過BN層對(duì)來自前一層的輸入執(zhí)行標(biāo)準(zhǔn)化和規(guī)范化，將輸入值縮放轉(zhuǎn)換。在Yolo V2中，Yolo V1的所有卷積層上添加BN，從而在Yolo V2中獲得2%以上的精度提升。BN還有助于穩(wěn)定訓(xùn)練，加速收斂，并在不過度擬合的情況下從模型中去除dropout。另一種提高準(zhǔn)確率的技術(shù)是使用更高分辨率的輸入，將輸入尺寸從224*224更改為448*448，這將提高4%的MAP（平均平均精度）。

YOLO Version 3；小改進(jìn)，大提升

在YOLO V3［9］中，只對(duì)YOLO的設(shè)計(jì)添加了一些更改，從而實(shí)現(xiàn)了更準(zhǔn)確、更好和更快的設(shè)計(jì)。在預(yù)測(cè)邊界的新結(jié)構(gòu)中，繼續(xù)使用V2的結(jié)構(gòu)，但是增加了邏輯回歸用于預(yù)測(cè)每個(gè)邊界框的得分。當(dāng)一個(gè)邊界框在與真實(shí)對(duì)象重疊之預(yù)測(cè)結(jié)果比任何其他邊界框都多時(shí)，預(yù)測(cè)結(jié)果就為 1。當(dāng)邊界框不是最佳但與真實(shí)對(duì)象重疊超過閾值時(shí)，預(yù)測(cè)則被忽略，并且還引入了Faster R -CNN的方法，在 YOLO V3 中將優(yōu)先只考慮一個(gè)邊界框。

下圖顯示了YOLO V3 上的性能對(duì)比

下圖則對(duì) YOLO v2 與 V3 的比較。很在 YOLO V3 中可以檢測(cè)到一些較小的對(duì)象，而 V2 無法檢測(cè)到。

除了準(zhǔn)確性和比較之外，Redmon 和 Farhadi 在他們的論文中提到的重要一點(diǎn)是道德和計(jì)算機(jī)視覺的使用。由于軍事研究小組非常關(guān)注這一領(lǐng)域，他們希望人們使用他們的新技術(shù)不是為了殺人，而是為了讓別人快樂，讓他們的生活更美好。這是論文中的原話：

we have a responsibility to at least consider the harm our work might be doing and think of ways to mitigate it. We owe the world that much.

這也是 Joseph Redmon 退出目標(biāo)檢測(cè)領(lǐng)域研究的原因，有興趣的可以去搜下他TED的演講。

YOLO Version 4；最佳速度和準(zhǔn)確性

目標(biāo)檢測(cè)研究的重點(diǎn)是改進(jìn)在該領(lǐng)域執(zhí)行的模型的速度。隨著時(shí)間的推移，YOLO 的應(yīng)用在全球范圍內(nèi)不斷增長(zhǎng)，研究領(lǐng)域也增加了許多新的變化，在卷積神經(jīng)網(wǎng)絡(luò) （CNN） 中，一些想法可以提高模型的準(zhǔn)確性。YOLO V4 的主要目標(biāo)是開發(fā)一種速度更快的目標(biāo)檢測(cè)器，并且具有易于訓(xùn)練和使用的并行計(jì)算能力。通過添加和組合一些新功能，例如加權(quán)殘差連接 （WRC）、跨階段部分連接 （CSP）、跨小批量標(biāo)準(zhǔn)化 （CmBN）、自我對(duì)抗訓(xùn)練 （SAT）、Mish激活函數(shù)、Mosaic 數(shù)據(jù)增強(qiáng)、DropBlock 正則化和 CIoU 損失等等，在 YOLO V4中實(shí)現(xiàn)了更好更快的模型。YOLO V4 討論的一個(gè)重要主題是一個(gè)實(shí)時(shí)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，該模型只需要傳統(tǒng) GPU 進(jìn)行訓(xùn)練，從而為使用一般 GPU 的任何人提供訓(xùn)練、測(cè)試、實(shí)現(xiàn)實(shí)時(shí)、高質(zhì)量的可能性，以及令人信服的目標(biāo)檢測(cè)模型。

下面是 YOLO V4 。這個(gè)新版本速度更快，并且表現(xiàn)出可比的性能。

在 YOLO V4 中，Alexey Bochkovskiy 等人總結(jié)了他們的主要貢獻(xiàn)：

開發(fā)了一個(gè)高效而強(qiáng)大的目標(biāo)檢測(cè)模型，這使得每個(gè)使用 1080 Ti 或 2080 Ti GPU 的人都可以訓(xùn)練和測(cè)試一個(gè)超快速、實(shí)時(shí)、準(zhǔn)確的目標(biāo)檢測(cè)模型。

他們?cè)谟?xùn)練期間驗(yàn)證了最先進(jìn)的 Bag-of-Freebies 和 Bag-of-Specials 檢測(cè)方法的影響。

修改了state-of-the-art的方法，包括（Cross-iteration batch normalization）、PAN（Path aggregation network）等，使它們更高效，更適合單GPU訓(xùn)練。

總結(jié)

如果你查看 YOLO 的結(jié)構(gòu)、源代碼和包，就會(huì)發(fā)現(xiàn)它們結(jié)構(gòu)良好、文檔齊全且免費(fèi)使用。

審核編輯：郭婷