少妇高潮毛片免费看,少妇精品导航,亚洲av色香蕉一区二区蜜桃小说

前面文章用 Triton 開源項目提供的 image_client.py 用戶端作示范，在這個范例代碼里調(diào)用大部分 Triton 用戶端函數(shù)，并使用多種參數(shù)來配置執(zhí)行的功能，本文內(nèi)容就是簡單剖析 image_client.py 的代碼，為讀者提供撰寫 Triton 用戶端的流程。

指定通信協(xié)議

為了滿足大部分網(wǎng)路環(huán)境的用戶端請求，Triton 在服務(wù)器與用戶端之間提供 HTTP 與 gRPC 兩種通信協(xié)議，如下架構(gòu)圖所示：

當(dāng)我們啟動 Triton 服務(wù)器之后，最后狀態(tài)會停留在如下截屏的地方：

顯示的信息表示，系統(tǒng)提供 8001 端口給 gRPC 協(xié)議使用、提供 8000 端口給 HTTP 協(xié)議使用。此時服務(wù)器處于接收用戶端請求的狀態(tài)，因此“指定通信協(xié)議”是執(zhí)行 Triton 用戶端的第一個工作。

這個范例支持兩種通信協(xié)議，一開始先導(dǎo)入tritonclient.http與tritonclient.grpc兩個模塊，如下：

import tritonclient.grpc as grpcclient
import tritonclient.http as httpclient

代碼使用“-i”或“--protocal”其中一種參數(shù)指定“HTTP”或“gRPC”協(xié)議類型，如果不指定就使用“HTTP”預(yù)設(shè)值。再根據(jù)協(xié)議種類調(diào)用 httpcclient.InferenceServerClient() 或 grpcclient.InferenceServerClient() 函數(shù)創(chuàng)建 triton_client 對象，如下所示：

try:
        if FLAGS.protocol.lower() == "grpc":
            # Create gRPC client for communicating with the server
            triton_client = grpcclient.InferenceServerClient(
                url=FLAGS.url, verbose=FLAGS.verbose)
        else:
            # Specify large enough concurrency to handle the
            # the number of requests.
            concurrency = 20 if FLAGS.async_set else 1
            triton_client = httpclient.InferenceServerClient(
                url=FLAGS.url, verbose=FLAGS.verbose, concurrency=concurrency)

最后啟用 triton_client.infer() 函數(shù)對 Triton 服務(wù)器發(fā)出推理要求，當(dāng)然得將所需要的參數(shù)提供給這個函數(shù)，如下所示：

responses.append(
   triton_client.infer(FLAGS.model_name,
                  inputs,
                  request_id=str(sent_count),
                  model_version=FLAGS.model_version,
                  outputs=outputs))

不過 image_client.py 代碼中并未設(shè)定 gRPC 所需要的 8001 端口，因此使用這個通訊協(xié)議時，需要用“-u”參數(shù)設(shè)定“IP:端口”，例如下面指令：

$  python3 image_client.py  -m  inception_graphdef  -s  INCEPTION VGG  ${HOME}/images/mug.jpg  -i  GRPC  -u  <服務(wù)器IP>:8001

?在 examples 范例目錄下還有20 個基于 gRPC 協(xié)議的范例以及 10 個基于 HTTP 協(xié)議的范例，則是在代碼內(nèi)直接指定個別通信協(xié)議與端口號的范例，讀者可以根據(jù)需求去修改特定的范例代碼。

調(diào)用異步模式（async mode）與數(shù)據(jù)流（streaming）

大部分讀者比較熟悉的并行計算模式，就是在同一個時鐘脈沖（clock puls）讓不同計算核執(zhí)行相同的工作，也就是所謂的 SIMD（單指令多數(shù)據(jù)）并行計算，通常適用于數(shù)據(jù)量大而且持續(xù)的密集型計算任務(wù)。

對 Triton 推理服務(wù)器而言，并不能確認(rèn)所收到的推理要求是否為密集型的計算。事實上很大比例的推理要求是屬于零碎型計算，這種狀況下調(diào)用“異步模式”會讓系統(tǒng)更加有效率，因為它允許不同計算核（線程）在同一個時鐘脈沖段里執(zhí)行不同指令，這樣能大大提高執(zhí)行彈性進(jìn)而優(yōu)化計算性能。

當(dāng) Triton 服務(wù)器端啟動之后，就能接收來自用戶端的“異步模式”請求，不過在 HTTP 協(xié)議與 gRPC 協(xié)議的處理方式不太一樣。

在代碼中用 httpclient.InferenceServerClient() 函數(shù)創(chuàng)建 HTTP 的 triton_client 對象時，需要給定“concurrnecy（并發(fā)數(shù)量）”參數(shù)，而創(chuàng)建 gRPC 的用戶端時就不需要這個參數(shù)。

調(diào)用異步模式有時會需要搭配數(shù)據(jù)流（stream）的處理器（handle），因此在實際推理的函數(shù)就有 triton_client.async_infer() 與 triton_client.async_stream_infer() 兩種，使用 gRPC 協(xié)議創(chuàng)建的 triton_client，在調(diào)用無 stream 模式的 async_infer() 函數(shù)進(jìn)行推理時，需要提供 partial(completion_callback, user_data) 參數(shù)。

由于異步處理與數(shù)據(jù)流處理有比較多底層線程管理的細(xì)節(jié)，初學(xué)者只需要范例目錄下的代碼，包括 image_client.py 與兩個 simple_xxxx_async_infer_client.py 的代碼就可以，細(xì)節(jié)部分還是等未來更熟悉系統(tǒng)之后再進(jìn)行深入。

使用共享內(nèi)存（share memory）

如果發(fā)起推理請求的 Triton 用戶端與 Triton 服務(wù)器在同一臺機(jī)器時，就可以使用共享內(nèi)存的功能，這包含一般系統(tǒng)內(nèi)存與 CUDA 顯存兩種，這項功能可以非常高效地降低數(shù)據(jù)傳輸?shù)拈_銷，對提升推理性能有明顯的效果。

在 image_client.py 范例中并未提供這項功能，在 Python 范例下有 6 個帶有“shm”文件名的代碼，就是支持共享內(nèi)存調(diào)用的范例，其中 simple_http_shm_client.py 與 simple_grpc_shm_client.py 為不同通信協(xié)議提供了使用共享系統(tǒng)內(nèi)存的代碼，下面以 simple_grpc_shm_client.py 內(nèi)容為例，簡單說明一下主要執(zhí)行步驟：

# 1.為兩個輸入張量創(chuàng)建數(shù)據(jù)：第1個初始化為一整數(shù)、第2個初始化為所有整數(shù)
    input0_data = np.arange(start=0, stop=16, dtype=np.int32)
    input1_data = np.ones(shape=16, dtype=np.int32)


    input_byte_size = input0_data.size * input0_data.itemsize
    output_byte_size = input_byte_size


# 2. 為輸出創(chuàng)建共享內(nèi)存區(qū)域，并存儲共享內(nèi)存管理器
    shm_op_handle = shm.create_shared_memory_region("output_data",
                                                    "/output_simple",
                                                    output_byte_size * 2)


# 3.使用Triton Server注冊輸出的共享內(nèi)存區(qū)域
    triton_client.register_system_shared_memory("output_data", "/output_simple",
                                                output_byte_size * 2)


# 4. 將輸入數(shù)據(jù)值放入共享內(nèi)存
    shm_ip_handle = shm.create_shared_memory_region("input_data",
                                                    "/input_simple",
                                                    input_byte_size * 2)


# 5. 將輸入數(shù)據(jù)值放入共享內(nèi)存
    shm.set_shared_memory_region(shm_ip_handle, [input0_data])
    shm.set_shared_memory_region(shm_ip_handle, [input1_data],
                                 offset=input_byte_size)


# 6. 使用Triton Server注冊輸入的共享內(nèi)存區(qū)域
    triton_client.register_system_shared_memory("input_data", "/input_simple",
                                                input_byte_size * 2)


# 7. 設(shè)置參數(shù)以使用共享內(nèi)存中的數(shù)據(jù)
    inputs = []
    inputs.append(grpcclient.InferInput('INPUT0', [1, 16], "INT32"))
    inputs[-1].set_shared_memory("input_data", input_byte_size)


    inputs.append(grpcclient.InferInput('INPUT1', [1, 16], "INT32"))
    inputs[-1].set_shared_memory("input_data",
                                 input_byte_size,
                                 offset=input_byte_size)


    outputs = []
    outputs.append(grpcclient.InferRequestedOutput('OUTPUT0'))
    outputs[-1].set_shared_memory("output_data", output_byte_size)


    outputs.append(grpcclient.InferRequestedOutput('OUTPUT1'))
    outputs[-1].set_shared_memory("output_data",
                                  output_byte_size,
                                  offset=output_byte_size)


    results = triton_client.infer(model_name=model_name,
                                  inputs=inputs,
                                  outputs=outputs)


# 8. 從共享內(nèi)存讀取結(jié)果
output0=results.get_output("OUTPUT0")

至于范例中有兩個 simple_xxxx_cudashm_client.py 這是針對 CUDA 顯存共享的返利代碼，主要邏輯與上面的代碼相似，主要將上面“shm.”開頭的函數(shù)改成“cudashm.”開頭的函數(shù)，當(dāng)然處理流程也更加復(fù)雜一些，需要有足夠 CUDA 編程基礎(chǔ)才有能力駕馭，因此初學(xué)者只要大致了解流程就行。

以上就是 Triton 用戶端會用到的基本功能，不過缺乏足夠的說明文件，因此其他功能函數(shù)的內(nèi)容必須自行在開源文件內(nèi)尋找，像 C++ 版本的功能得在 src/c++/library 目錄下的 common.h、grpc_client.h 與 http_client.h 里找到細(xì)節(jié)，Python 版本的函數(shù)分別在 src/python/library/triton_client 下的 grpc、http、utils 下的 __init__.py 代碼內(nèi)，獲取功能與函數(shù)定義的細(xì)節(jié)。

推薦閱讀

NVIDIA Jetson Nano 2GB 系列文章（1）：開箱介紹

NVIDIA Jetson Nano 2GB 系列文章（2）：安裝系統(tǒng)

NVIDIA Jetson Nano 2GB 系列文章（3）：網(wǎng)絡(luò)設(shè)置及添加 SWAPFile 虛擬內(nèi)存

NVIDIA Jetson Nano 2GB 系列文章（4）：體驗并行計算性能

NVIDIA Jetson Nano 2GB 系列文章（5）：體驗視覺功能庫

NVIDIA Jetson Nano 2GB 系列文章（6）：安裝與調(diào)用攝像頭

NVIDIA Jetson Nano 2GB 系列文章（7）：通過 OpenCV 調(diào)用 CSI/USB 攝像頭

NVIDIA Jetson Nano 2GB 系列文章（8）：執(zhí)行常見機(jī)器視覺應(yīng)用

NVIDIA Jetson Nano 2GB 系列文章（9）：調(diào)節(jié) CSI 圖像質(zhì)量

NVIDIA Jetson Nano 2GB 系列文章（10）：顏色空間動態(tài)調(diào)節(jié)技巧

NVIDIA Jetson Nano 2GB 系列文章（11）：你應(yīng)該了解的 OpenCV

NVIDIA Jetson Nano 2GB 系列文章（12）：人臉定位

NVIDIA Jetson Nano 2GB 系列文章（13）：身份識別

NVIDIA Jetson Nano 2GB 系列文章（14）：Hello AI World

NVIDIA Jetson Nano 2GB 系列文章（15）：Hello AI World 環(huán)境安裝

NVIDIA Jetson Nano 2GB 系列文章（16）：10行代碼威力

NVIDIA Jetson Nano 2GB 系列文章（17）：更換模型得到不同效果

NVIDIA Jetson Nano 2GB 系列文章（18）：Utils 的 videoSource 工具

NVIDIA Jetson Nano 2GB 系列文章（19）：Utils 的 videoOutput 工具

NVIDIA Jetson Nano 2GB 系列文章（20）：“Hello AI World” 擴(kuò)充參數(shù)解析功能

NVIDIA Jetson Nano 2GB 系列文章（21）：身份識別

NVIDIA Jetson Nano 2GB 系列文章（22）：“Hello AI World” 圖像分類代碼

NVIDIA Jetson Nano 2GB 系列文章（23）：“Hello AI World 的物件識別應(yīng)用

NVIDIAJetson Nano 2GB 系列文章（24）: “Hello AI World” 的物件識別應(yīng)用

NVIDIAJetson Nano 2GB 系列文章（25）: “Hello AI World” 圖像分類的模型訓(xùn)練

NVIDIAJetson Nano 2GB 系列文章（26）: “Hello AI World” 物件檢測的模型訓(xùn)練

NVIDIAJetson Nano 2GB 系列文章（27）: DeepStream 簡介與啟用

NVIDIAJetson Nano 2GB 系列文章（28）: DeepStream 初體驗

NVIDIAJetson Nano 2GB 系列文章（29）: DeepStream 目標(biāo)追蹤功能

NVIDIAJetson Nano 2GB 系列文章（30）: DeepStream 攝像頭“實時性能”

NVIDIAJetson Nano 2GB 系列文章（31）: DeepStream 多模型組合檢測-1

NVIDIAJetson Nano 2GB 系列文章（32）: 架構(gòu)說明與deepstream-test范例

NVIDIAJetsonNano 2GB 系列文章（33）: DeepStream 車牌識別與私密信息遮蓋

NVIDIA Jetson Nano 2GB 系列文章（34）: DeepStream 安裝Python開發(fā)環(huán)境

NVIDIAJetson Nano 2GB 系列文章（35）: Python版test1實戰(zhàn)說明

NVIDIAJetson Nano 2GB 系列文章（36）: 加入USB輸入與RTSP輸出

NVIDIAJetson Nano 2GB 系列文章（37）: 多網(wǎng)路模型合成功能

NVIDIAJetson Nano 2GB 系列文章（38）: nvdsanalytics視頻分析插件

NVIDIAJetson Nano 2GB 系列文章（39）: 結(jié)合IoT信息傳輸

NVIDIAJetson Nano 2GB 系列文章（40）: Jetbot系統(tǒng)介紹

NVIDIAJetson Nano 2GB 系列文章（41）: 軟件環(huán)境安裝

NVIDIAJetson Nano 2GB 系列文章（42）: 無線WIFI的安裝與調(diào)試

NVIDIAJetson Nano 2GB 系列文章（43）: CSI攝像頭安裝與測試

NVIDIAJetson Nano 2GB 系列文章（44）: Jetson的40針引腳

NVIDIAJetson Nano 2GB 系列文章（45）: I2C總線與Pi OLED

NVIDIAJetson Nano 2GB 系列文章（46）: 機(jī)電控制設(shè)備的安裝

NVIDIAJetson Nano 2GB 系列文章（47）: 組裝過程的注意細(xì)節(jié)

NVIDIAJetson Nano 2GB 系列文章（48）: 用鍵盤與搖桿控制行動

NVIDIAJetson Nano 2GB 系列文章（49）: 智能避撞之現(xiàn)場演示

NVIDIAJetson Nano 2GB 系列文章（50）: 智能避障之模型訓(xùn)練

NVIDIAJetson Nano 2GB 系列文章（51）: 圖像分類法實現(xiàn)找路功能

NVIDIAJetson Nano 2GB 系列文章（52）: 圖像分類法實現(xiàn)找路功能

NVIDIAJetson Nano 2GB 系列文章（53）: 簡化模型訓(xùn)練流程的TAO工具套件

NVIDIA Jetson Nano 2GB 系列文章（54）：NGC的內(nèi)容簡介與注冊密鑰

NVIDIA Jetson Nano 2GB 系列文章（55）：安裝TAO模型訓(xùn)練工具

NVIDIA Jetson Nano 2GB 系列文章（56）：啟動器CLI指令集與配置文件

NVIDIA Jetson Nano 2GB 系列文章（57）：視覺類腳本的環(huán)境配置與映射

NVIDIA Jetson Nano 2GB 系列文章（58）：視覺類的數(shù)據(jù)格式

NVIDIA Jetson Nano 2GB 系列文章（59）：視覺類的數(shù)據(jù)增強(qiáng)

NVIDIA Jetson Nano 2GB 系列文章（60）：圖像分類的模型訓(xùn)練與修剪

NVIDIA Jetson Nano 2GB 系列文章（61）：物件檢測的模型訓(xùn)練與優(yōu)化

NVIDIA Jetson Nano 2GB 系列文章（62）：物件檢測的模型訓(xùn)練與優(yōu)化-2

NVIDIA Jetson Nano 2GB 系列文章（63）：物件檢測的模型訓(xùn)練與優(yōu)化-3

NVIDIA Jetson Nano 2GB 系列文章（64）：將模型部署到Jetson設(shè)備

NVIDIA Jetson Nano 2GB 系列文章（65）：執(zhí)行部署的 TensorRT 加速引擎

NVIDIA Jetson 系列文章（1）：硬件開箱

NVIDIA Jetson 系列文章（2）：配置操作系統(tǒng)

NVIDIA Jetson 系列文章（3）：安裝開發(fā)環(huán)境

NVIDIA Jetson 系列文章（4）：安裝DeepStream

NVIDIA Jetson 系列文章（5）：使用Docker容器的入門技巧

NVIDIA Jetson 系列文章（6）：使用容器版DeepStream

NVIDIA Jetson 系列文章（7）：配置DS容器Python開發(fā)環(huán)境

NVIDIA Jetson 系列文章（8）：用DS容器執(zhí)行Python范例

NVIDIA Jetson 系列文章（9）：為容器接入USB攝像頭

NVIDIA Jetson 系列文章（10）：從頭創(chuàng)建Jetson的容器（1）

NVIDIA Jetson 系列文章（11）：從頭創(chuàng)建Jetson的容器（2）

NVIDIA Jetson 系列文章（12）：創(chuàng)建各種YOLO-l4t容器

NVIDIA Triton系列文章（1）：應(yīng)用概論

NVIDIA Triton系列文章（2）：功能與架構(gòu)簡介

NVIDIA Triton系列文章（3）：開發(fā)資源說明

NVIDIA Triton系列文章（4）：創(chuàng)建模型倉

NVIDIA Triton 系列文章（5）：安裝服務(wù)器軟件

NVIDIA Triton 系列文章（6）：安裝用戶端軟件

NVIDIA Triton 系列文章（7）：image_client 用戶端參數(shù)

原文標(biāo)題：NVIDIA Triton 系列文章（8）：用戶端其他特性

文章出處：【微信公眾號：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴

英偉達(dá)

英偉達(dá)

+關(guān)注

關(guān)注
22

文章
3952

瀏覽量
93741

原文標(biāo)題：NVIDIA Triton 系列文章（8）：用戶端其他特性

文章出處：【微信號：NVIDIA-Enterprise，微信公眾號：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

亚洲av成人精品日韩一区,97久久久精品综合88久久,玩弄japan白嫩少妇hd,亚洲av片不卡无码久久,玩弄人妻少妇500系列

搜索歷史

NVIDIA Triton 系列文章（8）：用戶端其他特性

評論