鼎鼎大名的 Bert 算法相信大部分同學(xué)都聽(tīng)說(shuō)過(guò)，它是Google推出的NLP領(lǐng)域“王炸級(jí)”預(yù)訓(xùn)練模型，其在NLP任務(wù)中刷新了多項(xiàng)記錄，并取得state of the art的成績(jī)。

但是有很多深度學(xué)習(xí)的新手發(fā)現(xiàn)BERT模型并不好搭建，上手難度很高，普通人可能要研究幾天才能勉強(qiáng)搭建出一個(gè)模型。

沒(méi)關(guān)系，今天我們介紹的這個(gè)模塊，能讓你在3分鐘內(nèi)基于BERT算法搭建一個(gè)問(wèn)答搜索引擎。它就是 bert-as-service 項(xiàng)目。這個(gè)開(kāi)源項(xiàng)目，能夠讓你基于多GPU機(jī)器快速搭建BERT服務(wù)（支持微調(diào)模型），并且能夠讓多個(gè)客戶端并發(fā)使用。

1.準(zhǔn)備

開(kāi)始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒(méi)有，可以訪問(wèn)這篇文章：超詳細(xì)Python安裝指南 進(jìn)行安裝。

**(可選1) **如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內(nèi)置了Python和pip.

**(可選2) **此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點(diǎn)：Python 編程的最好搭檔—VSCode 詳細(xì)指南。

請(qǐng)選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環(huán)境 打開(kāi) Cmd (開(kāi)始-運(yùn)行-CMD)。
2. MacOS 環(huán)境 打開(kāi) Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install bert-serving-server # 服務(wù)端
pip install bert-serving-client # 客戶端

請(qǐng)注意，服務(wù)端的版本要求： Python >= 3.5 ，Tensorflow >= 1.10 。

此外還要下載預(yù)訓(xùn)練好的BERT模型，在 https://github.com/hanxiao/bert-as-service#install 上可以下載。

也可在Python實(shí)用寶典后臺(tái)回復(fù) bert-as-service 下載這些預(yù)訓(xùn)練好的模型。

下載完成后，將 zip 文件解壓到某個(gè)文件夾中，例如 /tmp/english_L-12_H-768_A-12/

2.Bert-as-service 基本使用

安裝完成后，輸入以下命令啟動(dòng)BERT服務(wù)：

bert-serving-start -model_dir /tmp/english_L-12_H-768_A-12/ -num_worker=4

-num_worker=4 代表這將啟動(dòng)一個(gè)有四個(gè)worker的服務(wù)，意味著它最多可以處理四個(gè)并發(fā)請(qǐng)求。超過(guò)4個(gè)其他并發(fā)請(qǐng)求將在負(fù)載均衡器中排隊(duì)等待處理。

下面顯示了正確啟動(dòng)時(shí)服務(wù)器的樣子：

使用客戶端獲取語(yǔ)句的編碼

現(xiàn)在你可以簡(jiǎn)單地對(duì)句子進(jìn)行編碼，如下所示：

from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['First do it', 'then do it right', 'then do it better'])

作為 BERT 的一個(gè)特性，你可以通過(guò)將它們與 |||（前后有空格）連接來(lái)獲得一對(duì)句子的編碼，例如

bc.encode(['First do it ||| then do it right'])

遠(yuǎn)程使用 BERT 服務(wù)

你還可以在一臺(tái) (GPU) 機(jī)器上啟動(dòng)服務(wù)并從另一臺(tái) (CPU) 機(jī)器上調(diào)用它，如下所示：

# on another CPU machine
from bert_serving.client import BertClient
bc = BertClient(ip='xx.xx.xx.xx') # ip address of the GPU machine
bc.encode(['First do it', 'then do it right', 'then do it better'])

3.搭建問(wèn)答搜索引擎

我們將通過(guò) bert-as-service 從FAQ 列表中找到與用戶輸入的問(wèn)題最相似的問(wèn)題，并返回相應(yīng)的答案。

FAQ列表你也可以在 Python實(shí)用寶典后臺(tái)回復(fù) bert-as-service 下載。

首先，加載所有問(wèn)題，并顯示統(tǒng)計(jì)數(shù)據(jù)：

prefix_q = '##### **Q:** '
with open('README.md') as fp:
    questions = [v.replace(prefix_q, '').strip() for v in fp if v.strip() and v.startswith(prefix_q)]
    print('%d questions loaded, avg. len of %d' % (len(questions), np.mean([len(d.split()) for d in questions])))
    # 33 questions loaded, avg. len of 9

一共有33個(gè)問(wèn)題被加載，平均長(zhǎng)度是9.

然后使用預(yù)訓(xùn)練好的模型：uncased_L-12_H-768_A-12 啟動(dòng)一個(gè)Bert服務(wù)：

bert-serving-start -num_worker=1 -model_dir=/data/cips/data/lab/data/model/uncased_L-12_H-768_A-12

接下來(lái)，將我們的問(wèn)題編碼為向量：

bc = BertClient(port=4000, port_out=4001)
doc_vecs = bc.encode(questions)

最后，我們準(zhǔn)備好接收用戶的查詢，并對(duì)現(xiàn)有問(wèn)題執(zhí)行簡(jiǎn)單的“模糊”搜索。

為此，每次有新查詢到來(lái)時(shí)，我們將其編碼為向量并計(jì)算其點(diǎn)積 ** doc_vecs **然后對(duì)結(jié)果進(jìn)行降序排序，返回前N個(gè)類似的問(wèn)題：

while True:
    query = input('your question: ')
    query_vec = bc.encode([query])[0]
    # compute normalized dot product as score
    score = np.sum(query_vec * doc_vecs, axis=1) / np.linalg.norm(doc_vecs, axis=1)
    topk_idx = np.argsort(score)[::-1][:topk]
    for idx in topk_idx:
        print(' > %st%s' % (score[idx], questions[idx]))

完成！ 現(xiàn)在運(yùn)行代碼并輸入你的查詢，看看這個(gè)搜索引擎如何處理模糊匹配：

完整代碼如下，一共23行代碼（在后臺(tái)回復(fù)關(guān)鍵詞也能下載）：

上滑查看完整代碼

import numpyas np
from bert_serving.clientimport BertClient
from termcolorimport colored

prefix_q ='##### **Q:** '
topk =5

with open('README.md')as fp:
    questions = [v.replace(prefix_q,'').strip()for vin fpif v.strip()and v.startswith(prefix_q)]
    print('%d questions loaded, avg. len of %d' % (len(questions), np.mean([len(d.split())for din questions])))

with BertClient(port=4000, port_out=4001)as bc:
    doc_vecs = bc.encode(questions)

while True:
        query = input(colored('your question: ','green'))
        query_vec = bc.encode([query])[0]
# compute normalized dot product as score
        score = np.sum(query_vec * doc_vecs, axis=1) / np.linalg.norm(doc_vecs, axis=1)
        topk_idx = np.argsort(score)[::-1][:topk]
        print('top %d questions similar to "%s"' % (topk, colored(query,'green')))
for idxin topk_idx:
            print(' > %st%s' % (colored('%.1f' % score[idx],'cyan'), colored(questions[idx],'yellow')))

夠簡(jiǎn)單吧？當(dāng)然，這是一個(gè)基于預(yù)訓(xùn)練的Bert模型制造的一個(gè)簡(jiǎn)單QA搜索模型。

你還可以微調(diào)模型，讓這個(gè)模型整體表現(xiàn)地更完美，你可以將自己的數(shù)據(jù)放到某個(gè)目錄下，然后執(zhí)行 run_classifier.py 對(duì)模型進(jìn)行微調(diào)，比如這個(gè)例子：

https://github.com/google-research/bert#sentence-and-sentence-pair-classification-tasks