描述

SeparAItor 是一個自主回收機器人的概念證明，它利用深度學習的力量來增強人類在一項既至關(guān)重要又嚴重未被充分利用的任務(wù)中的能力（大約 9% 的塑料廢物被回收，79% 進入垃圾填埋場或到環(huán)境）。

由于回收主要是一種分類工作，而深度學習的主要應(yīng)用之一是對不同圖像進行分類，因此這是一個非常自然的過程。Keras（在TensorFlow2中）用于機器學習部分，主要是因為它的簡單性，以及一些用于圖像預(yù)處理的OpenCV。

根據(jù)

底座由一個簡單的平移和傾斜系統(tǒng)組成，頂部有一個盒子。它通過藍牙與計算機通信，并由板載電池供電，因此執(zhí)行器部分是完全獨立的。Lazy Susan 轉(zhuǎn)盤軸承和 608zz 軸向軸承為系統(tǒng)提供了機械穩(wěn)定性。

為了簡化電子設(shè)備，使用兩個伺服系統(tǒng)來控制底座，因此搖攝伺服系統(tǒng)的齒輪與底座中的齒輪之間的比例為 2:1，以便能夠旋轉(zhuǎn) 360 度。

最后，兩個超級粘性的防滑硅膠墊（例如用于將手機固定在汽車儀表盤上的墊子）既用于支撐頂部的紙板箱，又用于將底座牢牢固定到位并防止其旋轉(zhuǎn)和移動左右滑動。

?

?

訓練

組裝好底座并設(shè)置好 cental 相機后，下一步就是數(shù)據(jù)集采集。雖然我最初從互聯(lián)網(wǎng)上下載圖像進行訓練，但這些圖像要么是渲染圖，要么是旨在銷售產(chǎn)品的具有專業(yè)外觀的圖片，通常只顯示帶有徽標的一面。因為我需要讓它與現(xiàn)實生活中的物體一起工作，所以我認為最好的方法是在真實條件下拍照。

使用“take_picture, py”腳本，我可以通過按鍵保存圖片。這些圖像首先被預(yù)處理以將它們調(diào)整到足夠的尺寸，然后去除它們的背景，只保留圖像的相關(guān)部分用于訓練。

最后，由于添加一個對象不僅會改變該部分，還會產(chǎn)生陰影并使底座傾斜，因此只有最大的單個斑點被視為對象的一部分。

?

?

由于這種以不同角度重復(fù)添加對象的方法非常耗時，我只為六個類別中的每個類別拍攝了 300 張圖像，這使得數(shù)據(jù)集非常小。為了彌補這一點，我使用預(yù)訓練的 VGG19 網(wǎng)絡(luò)作為網(wǎng)絡(luò)的卷積部分，并使用 K 折交叉驗證來更好地了解訓練過程。

最后，由于最后一種方法涉及創(chuàng)建模型的多個實例并將其加載到 GPU 中，如果以順序方式運行，后者會很快耗盡內(nèi)存，因此每個折疊都在不同的進程中運行，以便能夠釋放迭代之間的 VRAM。

?

?

排序

一旦神經(jīng)網(wǎng)絡(luò)表現(xiàn)得相當好，只需編寫一些代碼來完成系統(tǒng)。通過藍牙連接到串口后，腳本加載訓練好的模型并初始化相機。

這里也使用了MOG2背景減法器來檢測圖像中的運動，這表明添加了新的物體，一旦出現(xiàn)下降沿（之前檢測后沒有發(fā)現(xiàn)運動，物體不再運動）圖像是已處理并標識了類別以及相應(yīng)的 bin。

然后將此信息發(fā)送到基地，基地會將物品放入正確的垃圾箱中，并在完成后發(fā)送一條消息。然后更新空托盤的背景圖像，系統(tǒng)準備好進行新的檢測。

?