描述

立體視覺是通過從稍微不同的角度比較兩個圖像來推斷深度。有許多局部和全局算法用于獲得實時立體深度圖。

然而，立體聲的計算要求會根據(jù)分辨率呈指數(shù)增長。在深入研究立體視覺的實現(xiàn)之前，需要一個立體相機設(shè)置！

本系列將記錄如何從頭開始構(gòu)建立體相機設(shè)置。下一步將是嘗試立體算法

該項目將概述用于 ZYNQ FPGA SOC 的立體相機平臺的設(shè)計。ZC702 開發(fā)板將用作主 SOC，但該設(shè)計可以輕松移植到任何帶有 FMC 連接器的板上，該連接器為相機使用適當(dāng)?shù)碾妷?CMOS 電平。項目的第一部分詳細(xì)介紹了立體平臺設(shè)置的硬件設(shè)計設(shè)置和 Vivado FPGA 設(shè)計

?

在這種情況下，通過將兩個圖像源保持在相同的基線，設(shè)計將大大簡化。

兩個相機的每個對應(yīng)特征都應(yīng)該在同一級別。這稱為整改。為了簡化整改過程，兩個攝像頭將并排放置。

硬件

本項目的硬件部分由一塊ZC702開發(fā)板、兩塊OV5640攝像頭和一塊Stereo FMC板組成。

ZC702

該開發(fā)板包含一個 ZYNQ7000 XC7020。它與 PYNQ 和 Zedboard 上使用的芯片組相同，因此可以很容易地將設(shè)計移植到這些開發(fā)板上。

ZC702開發(fā)板包含XC7020 FPGA SOC。該開發(fā)板具有兩個 LPC（低引腳數(shù)）FMC（FPGA 夾層卡）連接器，可將多個引腳引出到外部世界。

默認(rèn)情況下，這些引腳設(shè)置為在 2.8V 邏輯電平下運行。

?

DVP OV5640 攝像機

對于這個項目，我選擇了 DVP 攝像機，因為它們很容易獲得。此設(shè)置允許測試立體聲算法。

立體聲 FMC 卡的原理圖如下所示。

?

?

立體聲 FMC 插入 ZC702 板的兩個 LPC FMC 母插座之一。它兼容 20 針和 22 針 DVP 攝像頭模塊，例如 OV5640、OV7670、OV2640 等。Raspberry PI 攝像頭 V1 包含一個配置有 MIPI-CSI 接口的 OV5640 傳感器。

?

?

。

?

。

?

?

?

?

VDMA

VDMA 配置為三緩沖模式。與使用單個緩沖區(qū)的情況不同，這有助于防止撕裂偽影。由于混合器 AXI4-Stream 數(shù)據(jù)總線的輸出長度為 24bit（每種顏色 8 位），因此流數(shù)據(jù)寬度配置為 24bits。行緩沖區(qū)寬度至少應(yīng)為掃描線寬度的大小。在這種情況下，對于 1280x720p 分辨率，使用了 2048 的緩沖區(qū)深度。

?

。有趣的是，IP 使用的是第 4 版，但 SDK 驅(qū)動程序使用的是第 5 版。關(guān)于此 IP，有幾個重要的注意事項。它需要外部重置，用戶指南中沒有明確提及。

SDK 驅(qū)動程序也有點錯誤，因此必須修改底層 BSP 驅(qū)動程序才能獲得工作設(shè)置。

?

VTC 配置為生成模式，分辨率為 1280x720p。

HDMI流水線

第二個版本實現(xiàn)了使用板載 HDMI 解碼器的管道。在這種情況下，必須通過使用 RGB 到 YCbCr 色度 IP (RGB -> YUV444) 來實現(xiàn)色彩空間轉(zhuǎn)換，然后將色度分量從 YUV444 重新采樣到 YUV422。

攝像頭配置

該 FMC 的主要優(yōu)點是您可以使用不同的 DVP 攝像頭（OV7670、OV2640、OV5640），甚至可以使用兩個具有 MIPI-CSI 接口的 Raspberry Pi V1 攝像頭。

作為圖像傳感器，使用了 OV5640 DVP 相機傳感器。主要原因是在通常的網(wǎng)站上可以找到幾乎開源的配置代碼。

由于攝像機使用 SCCB（I2C 的克隆）進(jìn)行配置。要配置兩臺攝像機，通常一個會使用多路復(fù)用器。但是，此 FMC 卡使用為每個攝像機分配的單獨引腳。

時鐘同步

在立體設(shè)置中，同步是處理 DVP 圖像傳感器時出現(xiàn)的另一個問題。每個傳感器都有一個主時鐘 (XCLK)。這個時鐘決定了像素輸出時鐘，但對于這些相機的 VGA 分辨率，它通常在 24Mhz 左右。

為了避免 FPGA 上出現(xiàn)額外的同步問題，F(xiàn)MC 被配置為向兩個相機提供相同的 XCLK。如果不是這種情況，則必須使用 FIFO 并手動確定從一臺攝像機到另一臺攝像機的延遲時間。

該設(shè)計由 Vivado 框圖和 SDK (Vitis) 裸機固件組成。

?

?

利用率和時間

?

。。該設(shè)計用作在 FPGA 上實現(xiàn)立體聲算法的測試平臺。