ChatGPT的人性口語(yǔ)化回復(fù)相信許多人已體驗(yàn)過(guò)，也因此掀起一波大型語(yǔ)言模型（Large Language Model, LLM）熱潮，LLM即ChatGPT背后的主運(yùn)作技術(shù)，但LLM運(yùn)作需要龐大運(yùn)算力，因此目前多是在云端（Cloud）上執(zhí)行。

然而在云端執(zhí)行也有若干缺點(diǎn)，一是Internet斷線時(shí)無(wú)法使用；二是或多或少會(huì)泄漏個(gè)資隱私；三是上傳的話語(yǔ)內(nèi)容會(huì)被審查，但審查標(biāo)準(zhǔn)難以捉摸，且已有諸多矯枉過(guò)正的案例；四是因?yàn)槟Ｐ鸵逊旁谠贫伺c人共享，也可能已被他人誤導(dǎo)，俗稱模型被教壞了。

所以有些人也希望LLM能在本地端（Local）、本機(jī)端執(zhí)行，如此就不怕斷線、泄漏隱私、內(nèi)容審查、誤導(dǎo)等缺點(diǎn)。但要能在本地端執(zhí)行，其LLM就不能太大，目前已經(jīng)有諸多信息技術(shù)專家提出各種嘗試，期望能將云端的LLM輕量化、減肥減肥，以便能在運(yùn)算力有限的本機(jī)端執(zhí)行。

全世界最簡(jiǎn)單的類GPT語(yǔ)音助理

對(duì)此已有創(chuàng)客發(fā)起項(xiàng)目，項(xiàng)目名就叫World’s Easiest GPT-like Voice Assistant，即世界上最簡(jiǎn)單的類GPT語(yǔ)音助理，以此實(shí)現(xiàn)完全在本機(jī)端執(zhí)行的GPT語(yǔ)音服務(wù)，不需要任何Internet聯(lián)機(jī)。

至于具體技術(shù)作法，首先是找一片樹(shù)莓派單板計(jì)算機(jī)，例如RPi 4，然后裝上麥克風(fēng)與喇叭，成為語(yǔ)音互動(dòng)對(duì)話的輸入輸出，而后安裝Whisper這套軟件，可以將麥克風(fēng)接收到的語(yǔ)音轉(zhuǎn)成文字，文字喂給LLM。

LLM接收輸入后進(jìn)行推論處理，處理后的結(jié)果以文字輸出，輸出的文字則透過(guò)另一個(gè)安裝軟件進(jìn)行轉(zhuǎn)化，即eSpeak，把文字轉(zhuǎn)成語(yǔ)音后，再透過(guò)喇叭發(fā)聲回復(fù)。

用TinyLlama-1.1B模型來(lái)實(shí)現(xiàn)類GPT語(yǔ)音助理項(xiàng)目

麥克風(fēng)與喇叭只是末梢，重點(diǎn)是在LLM，哪來(lái)的輕量型、本機(jī)端執(zhí)行的LLM？答案是llamafile項(xiàng)目，這個(gè)項(xiàng)目將LLM打包成單一個(gè)檔案，如此可方便地分發(fā)（分發(fā)distribute，通俗而言指可以輕易地下載文件、傳遞分享檔案）與執(zhí)行，項(xiàng)目發(fā)起者運(yùn)用llamafile項(xiàng)目中的TinyLlama-1.1B模型來(lái)實(shí)現(xiàn)類GPT語(yǔ)音助理。

圖3 llamafile項(xiàng)目官網(wǎng)畫(huà)面（圖片來(lái)源：GitHub）

TinyLlama-1.1B確實(shí)是一個(gè)嬌小的LLM，以GPT-3而言就有175B，B即Billion指的是10億，LLM的大小通常以參數(shù)數(shù)目為準(zhǔn)，1,750億個(gè)參數(shù)的LLM已相當(dāng)龐大，需要對(duì)應(yīng)強(qiáng)大的運(yùn)算力才能順暢執(zhí)行。

其他龐大的LLM還有MT-NLG，有5,300億個(gè)參數(shù)，或5,400億個(gè)的PaLM等，都難以下放到本機(jī)端執(zhí)行，本機(jī)端很難有對(duì)應(yīng)強(qiáng)大的運(yùn)算力來(lái)跑模型。而TinyLlama-1.1B顧名思義只有11億個(gè)參數(shù)，參數(shù)大大減少下，本機(jī)端是有足夠運(yùn)算力執(zhí)行該模型。

圖4 llamafile項(xiàng)目提供多種預(yù)訓(xùn)練模型，目前以TinyLlama-1.1B最小，僅760MB（圖片來(lái)源：GitHub）

當(dāng)然，上述所言均是預(yù)訓(xùn)練模型（Pre-Train Model），或近期常稱為基礎(chǔ)模型（Foundation Model, FM），后續(xù)還是可以依據(jù)個(gè)人需要再行訓(xùn)練與調(diào)整，以便有更精準(zhǔn)、更切合需求的推論結(jié)果。

這個(gè)類GPT語(yǔ)音助理項(xiàng)目完成上述后，實(shí)際測(cè)試的結(jié)果是，多數(shù)的發(fā)話詢問(wèn)后需要15秒左右的時(shí)間才能回復(fù)，復(fù)雜的詢問(wèn)則要更久的時(shí)間。有人可以等或覺(jué)得這時(shí)間還可以，若覺(jué)得太慢或許可以改用運(yùn)算力更強(qiáng)的RPi 5單板計(jì)算機(jī)，可能可以快一點(diǎn)。

值得注意的是，這個(gè)項(xiàng)目不是用語(yǔ)音關(guān)鍵詞（如Hey! Siri或OK! Google）來(lái)喚醒助理，而是設(shè)置一個(gè)按鈕，按下去后才讓樹(shù)莓派開(kāi)始接收語(yǔ)音詢問(wèn)。

另外，這整個(gè)項(xiàng)目用的都是開(kāi)放源代碼及免授權(quán)費(fèi)的軟件與模型，所以實(shí)現(xiàn)成本大概只有單板計(jì)算機(jī)、喇叭、麥克風(fēng)、按鈕等硬件而已。

其他技術(shù)細(xì)節(jié)包含llamafile與Raspberry Pi OS不兼容，所以在樹(shù)莓派上是改安裝Ubuntu Linux，更具體而言是64位的Ubuntu Server 22.04.3 LTS。另外，當(dāng)然也要安裝Python才能操控樹(shù)莓派的GPIO接腳，從而能讀取按鈕狀態(tài)（是否被按下）。

小結(jié)

最后，這肯定不是第一個(gè)也不是最后一個(gè)LLM本地端化的嘗試，各種嘗試正前仆后繼地進(jìn)行著，有的是提供壓縮工具將原本肥大的LLM加以縮小，有的干脆是原生訓(xùn)練出輕量的LLM，現(xiàn)階段可謂是百家爭(zhēng)鳴。

而筆者個(gè)人的看法，1.1B的LLM已經(jīng)很小，或許未來(lái)可以更小，但現(xiàn)階段可能改用更強(qiáng)的硬件會(huì)更務(wù)實(shí)，例如使用有GPU的桌面計(jì)算機(jī)，或給樹(shù)莓派加裝AI硬件加速器等，以便讓類GPT語(yǔ)音助理更快速響應(yīng)。

審核編輯：劉清