《在AI愛(ài)克斯開(kāi)發(fā)板上用OpenVINO加速YOLOv8分類模型》介紹了在AI愛(ài)克斯開(kāi)發(fā)板上使用OpenVINO開(kāi)發(fā)套件部署并測(cè)評(píng)YOLOv8的分類模型，本文將介紹在AI愛(ài)克斯開(kāi)發(fā)板上使用OpenVINO加速YOLOv8目標(biāo)檢測(cè)模型。 請(qǐng)先下載本文的范例代碼倉(cāng)，并搭建好YOLOv8的OpenVINO推理程序開(kāi)發(fā)環(huán)境。 git clone https://gitee.com/ppov-nuc/yolov8_openvino.git 導(dǎo)出YOLOv8目標(biāo)檢測(cè)OpenVINO IR模型 YOLOv8的目標(biāo)檢測(cè)模型有5種，在COCO數(shù)據(jù)集完成訓(xùn)練，如下表所示。 ? 首先使用命令：yolo?export model=yolov8n.pt format=onnx，完成yolov8n.onnx模型導(dǎo)出，如下圖所示。 ? 然后使用命令：mo -m yolov8n.onnx --compress_to_fp16，優(yōu)化并導(dǎo)出FP16精度的OpenVINO IR格式模型，如下圖所示。 ? 用benchmark_app測(cè)試yolov8目標(biāo)檢測(cè)模型的推理計(jì)算性能 benchmark_app是OpenVINOTM工具套件自帶的AI模型推理計(jì)算性能測(cè)試工具，可以指定在不同的計(jì)算設(shè)備上，在同步或異步模式下，測(cè)試出不帶前后處理的純AI模型推理計(jì)算性能。 使用命令：benchmark_app -m yolov8n.xml -d GPU，獲得yolov8n.xml模型在AI愛(ài)克斯開(kāi)發(fā)板的集成顯卡上的異步推理計(jì)算性能，如下圖所示。 ? 使用OpenVINO Python API編寫(xiě)YOLOv8目標(biāo)檢測(cè)模型推理程序 用Netron打開(kāi)yolov8n.onnx，如下圖所示，可以看到模型的輸入是形狀為[1,3,640,640]的張量，輸出是形狀為[1,84,8400]的張量，其中“84”的定義為：cx,cy,h,w和80種類別的分?jǐn)?shù)?！?400”是指YOLOv8的3個(gè)檢測(cè)頭在圖像尺寸為640時(shí)，有640/8=80, 640/16=40, 640/32=20, 80x80+40x40+20x20=8400個(gè)輸出單元格。 ? 基于OpenVINO Python API的YOLOv8目標(biāo)檢測(cè)模型的范例程序：yolov8_od_ov_sync_infer_demo.py，其核心源代碼如下所示：

# 實(shí)例化Core對(duì)象

core =Core()

# 載入并編譯模型

net =core.compile_model(f'{MODEL_NAME}.xml', device_name="AUTO")

# 獲得模型輸出節(jié)點(diǎn)

output_node =net.outputs[0] # yolov8n只有一個(gè)輸出節(jié)點(diǎn)

ir =net.create_infer_request()

cap =cv2.VideoCapture("store-aisle-detection.mp4")

whileTrue:

start =time.time()

ret, frame =cap.read()

ifnotret:

break

# 圖像數(shù)據(jù)前處理

[height, width, _] =frame.shape

length =max((height, width))

image =np.zeros((length, length, 3), np.uint8)

image[0:height, 0:width] =frame

scale =length /640

blob =cv2.dnn.blobFromImage(image, scalefactor=1/255, size=(640, 640), swapRB=True)

# 執(zhí)行推理計(jì)算

outputs =ir.infer(blob)[output_node]

# 推理結(jié)果后處理并顯示處理結(jié)果

outputs =np.array([cv2.transpose(outputs[0])])

... ...

cv2.imshow('YOLOv8 OpenVINO Infer Demo on AIxBoard', frame)

yolov8_od_ov_sync_infer_demo.py運(yùn)行結(jié)果，如下圖所示： ? 結(jié) 論 AI愛(ài)克斯開(kāi)發(fā)板借助N5105處理器的集成顯卡(24個(gè)執(zhí)行單元)和OpenVINO，可以在YOLOv8的目標(biāo)檢測(cè)模型上獲得相當(dāng)不錯(cuò)的性能。通過(guò)異步處理和AsyncInferQueue，還能進(jìn)一步提升計(jì)算設(shè)備的利用率，提高AI推理程序的吞吐量。