摘要：隨著科學(xué)技術(shù)的發(fā)展，身份識(shí)別的方式逐漸多樣化，聲紋識(shí)別技術(shù)憑借無需接觸、識(shí)別成本低廉、聲紋提取便捷等優(yōu)點(diǎn)逐漸在智能安防領(lǐng)域展開應(yīng)用，但聲紋識(shí)別技術(shù)也面臨著復(fù)雜環(huán)境影響識(shí)別準(zhǔn)確性的問題。聲紋識(shí)別技術(shù)應(yīng)著力拓展應(yīng)用領(lǐng)域，與公安實(shí)踐、人機(jī)交互、平安校園等緊密結(jié)合，與智慧城市建設(shè)同步發(fā)展。

1、引言

近年來，以指紋、聲紋、人臉、虹膜等生理特征為識(shí)別對象的生物識(shí)別技術(shù)發(fā)展迅速，在眾多領(lǐng)域獲得了應(yīng)用。例如，智能手機(jī)運(yùn)用指紋和人臉識(shí)別替代密鑰，許多門禁系統(tǒng)也應(yīng)用了人臉和指紋相結(jié)合的認(rèn)證技術(shù)。這是因?yàn)橹讣y、聲紋、人臉、虹膜等人體生理特征具有穩(wěn)定性和唯一性，識(shí)別率高，是智慧城市建設(shè)中實(shí)現(xiàn)精準(zhǔn)身份認(rèn)證的重要手段。

然而移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來，給生產(chǎn)和生活帶來便利的同時(shí)，身份冒用等安全問題也層出不窮。針對此類虛擬性強(qiáng)、隱蔽性高、犯罪成本低、傳播范圍廣的非接觸式犯罪，能夠?qū)崿F(xiàn)遠(yuǎn)程身份識(shí)別的技術(shù)僅有人臉識(shí)別和聲紋識(shí)別，而在電話場景等無法獲取面部信息的情況下，僅有聲紋技術(shù)能實(shí)現(xiàn)身份識(shí)別。相比而言，聲紋識(shí)別技術(shù)識(shí)別方式簡便、移動(dòng)性好、安全性高，能夠滿足遠(yuǎn)程采集和識(shí)別的需求，這些特點(diǎn)是其它生物識(shí)別技術(shù)所不具備的。

目前，聲紋識(shí)別技術(shù)滲透到越來越多的應(yīng)用場景，諸如公安取證、刑偵破案、銀行交易、身份證與信用卡的認(rèn)證等，除此之外，基于人工智能的聲紋識(shí)別技術(shù)還與其它高新技術(shù)融合，極大提升了識(shí)別的準(zhǔn)確性。在新冠疫情爆發(fā)的形勢下，全世界的人民都戴上了口罩，通過人臉識(shí)別進(jìn)行身份認(rèn)證的準(zhǔn)確率極大降低，更多的行業(yè)和場景中需要超遠(yuǎn)場音視同步監(jiān)控來解決實(shí)際問題。聲紋識(shí)別技術(shù)可以無視口罩阻礙，無需接觸便能完成身份認(rèn)證，彌補(bǔ)了人臉識(shí)別身份認(rèn)證的不足，與智能視頻監(jiān)控結(jié)合，解決現(xiàn)有智慧城市建設(shè) “眼強(qiáng)耳弱”的問題，有效維護(hù)社會(huì)公共安全，帶動(dòng)國家智慧城市全面感知的智慧化建設(shè)。

2、聲紋識(shí)別技術(shù)

2.1聲紋識(shí)別技術(shù)的概念

聲紋(Voiceprint)，是用電聲學(xué)儀器顯示的攜帶言語信息的聲波頻譜，是由波長、頻率以及強(qiáng)度等百余種特征維度組成的生物特征，具有穩(wěn)定性、可測量性、唯一性等特點(diǎn)。

人類語言的產(chǎn)生是人體語言中樞與發(fā)音器官之間一個(gè)復(fù)雜的生理物理過程，發(fā)聲器官–舌、牙齒、喉頭、肺、鼻腔在尺寸和形態(tài)方面每個(gè)人的差異很大，所以任何兩個(gè)人的聲紋圖譜都有差異，主要體現(xiàn)在如下方面：

1)共鳴方式特征：咽腔共鳴、鼻腔共鳴和口腔共鳴

2)嗓音純度特征：不同人的嗓音，純度一般是不一樣的，粗略地可分為高純度（明亮）、低純度（沙?。┖椭械燃兌热齻€(gè)等級

3)平均音高特征：平均音高的高低就是一般所說的嗓音是高亢還是低沉

4)音域特征：音域的高低就是通常所說的聲音飽滿還是干癟

不同人的聲音在語譜圖中共振峰的分布情況不同，聲紋識(shí)別正是通過比對兩段語音的說話人在相同音素上的發(fā)聲來判斷是否為同一個(gè)人，從而實(shí)現(xiàn)“聞聲識(shí)人”的功能。

聲紋識(shí)別技術(shù)生物識(shí)別技術(shù)的一種，也稱為說話人識(shí)別，是從說話人發(fā)出的語音信號(hào)中提取聲紋信息。

從技術(shù)應(yīng)用上可分為說話人辨認(rèn)和說話人確認(rèn)兩種：

? 說話人辨認(rèn)(Speaker Identification)：用以判斷某段語音是若干人中的哪一個(gè)所說的，是“多選一”問題；

?說話人確認(rèn)(Speaker Verification)：用以確認(rèn)某段語音是否是指定的某個(gè)人所說的，是“一對一判別”問題。

從待識(shí)別語音的文本內(nèi)容，聲紋識(shí)別可以分為文本無關(guān)、文本相關(guān)和文本提示三種。

2.2聲紋識(shí)別技術(shù)的原理

圖2-1 聲紋識(shí)別框架

聲紋識(shí)別通常分為聲紋注冊和聲紋識(shí)別兩個(gè)部分，如圖2-1所示。在這兩個(gè)階段中，均是從候選說話人的音頻提取聲學(xué)特征，通常采用梅爾頻率倒譜系數(shù)MFCC、感知線性預(yù)測系數(shù)PLP、濾波器組系數(shù)F-Bank等聲學(xué)特征，然后通過映射模型將幀特征映射到表征說話人身份的段特征矢量（GMM-UBM、i-vector、d-vector、x-vector等），最后通過后處理對相似度打分做出判決。

聲紋識(shí)別中最重要的兩個(gè)模塊是特征映射模型和模式判決模塊。

圖2-2 基于x-vector的說話人識(shí)別訓(xùn)練網(wǎng)絡(luò)

特征映射模型的訓(xùn)練以目前主流的x-vector為例進(jìn)行說明，如圖2-2所示。將聲學(xué)特征映射到更有區(qū)分能力的段級別說話人身份嵌入矢量x-vector，可以將不同時(shí)長的語音映射到固定維度的度量矢量上。為了得到非線性映射關(guān)系，在訓(xùn)練階段，幀級別網(wǎng)絡(luò)采用5層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，前三層采用延時(shí)神經(jīng)網(wǎng)絡(luò)（TDNN），可以更好的結(jié)合前后幀上下文的聯(lián)系，后兩層采用全連接神經(jīng)網(wǎng)絡(luò)；段級別網(wǎng)絡(luò)首先對幀級別的網(wǎng)絡(luò)輸出進(jìn)行統(tǒng)計(jì)量池化操作，分別計(jì)算所有時(shí)間幀的均值μ：

（式2-1）

和標(biāo)準(zhǔn)差σ：

（式2-2）

并將之拼接，得到段級別的特征輸入：

（式2-3）

段級別采用兩層全連接網(wǎng)絡(luò)，根據(jù)經(jīng)驗(yàn)將第一層全連接網(wǎng)絡(luò)的輸出作為嵌入會(huì)得到更好的效果。

模式判決模塊中，對神經(jīng)網(wǎng)絡(luò)嵌入進(jìn)行長度規(guī)整、中心化、白化、LDA變換、PLDA打分等步驟后，根據(jù)打分結(jié)果進(jìn)行判決。長度規(guī)整可以消除不同嵌入之間幅度差異，LDA變化后說話人在判別空間中滿足類間距離變大、類間距離變小，PLDA可以補(bǔ)償信道差異所產(chǎn)生的影響。在PLDA訓(xùn)練時(shí)，第i個(gè)說話人的第j段語音的嵌入特征可以表示成：

? ? ? ? ? ? ? ? ? ? （式2-4）? ? ? ? ? ? ? ? ?? ?

其中u是和說話人及信道無關(guān)的成分，F(xiàn)是說話人空間，G·wij+εij是說話人類內(nèi)差異，屬于干擾部分，則有

其中N[α,Β]表示均值為α，方差為Β的高斯分布。由于存在兩個(gè)隱變量hi和wij，因此需要采用期望最大化（EM）算法求解。最后采用訓(xùn)練好的PLDA模型進(jìn)行打分，計(jì)算兩條語音的對數(shù)似然比進(jìn)行判決：

（式2-8）

兩條測試語音來自同一說話人的假設(shè)為Hs，來自不同說話人的假設(shè)為Hd，得分score越高，兩條語音屬于同一說話人的概率越大。

3、聲紋識(shí)別技術(shù)的現(xiàn)狀與挑戰(zhàn)

聲紋識(shí)別技術(shù)最早是在40年代末由貝爾實(shí)驗(yàn)室開發(fā)，主要用于軍事情報(bào)領(lǐng)域。隨著該項(xiàng)技術(shù)的逐步發(fā)展，60年代末后期在美國的法醫(yī)鑒定、法庭證據(jù)等領(lǐng)域都使用了該項(xiàng)技術(shù)，從1967年到現(xiàn)在，美國至少5000多個(gè)案件包括謀殺、強(qiáng)奸、敲詐勒索、走私毒品、賭博，政治腐敗等都通過聲紋識(shí)別技術(shù)提供了有效的線索和有力的證據(jù)。

隨著60年代貝爾實(shí)驗(yàn)室提出了基于模式匹配和概率統(tǒng)計(jì)方差分析的說話人識(shí)別方法，聲紋識(shí)別技術(shù)得到快速發(fā)展，從單模板模型發(fā)展到多模板模型，從模板模型發(fā)展到矢量量化模型、高斯混合模型、隱馬爾可夫模型，再到人工智能神經(jīng)網(wǎng)絡(luò)等三個(gè)重要發(fā)展階段。

第一階段：基于模板匹配的的聲紋識(shí)別技術(shù)，該方法通常要求比對雙方的內(nèi)容相同。同人臉識(shí)別一樣，聲紋識(shí)別也要先做注冊，再做驗(yàn)證，注冊時(shí)說的內(nèi)容要和驗(yàn)證時(shí)是一樣的，應(yīng)用上有諸多限制。

第二階段：基于高斯混合模型的聲紋識(shí)別技術(shù)，該方法是基于統(tǒng)計(jì)學(xué)習(xí)理論的方法，采用大量數(shù)據(jù)為每個(gè)說話人訓(xùn)練模型，使用高斯混合模型驗(yàn)證已經(jīng)與文本無關(guān)了。但該方法所需注冊語音的時(shí)間比較長，而且聲紋識(shí)別準(zhǔn)確性會(huì)受到噪聲、干擾等影響。

第三階段：基于深度學(xué)習(xí)的聲紋識(shí)別技術(shù)，該方法可以在大量樣本中學(xué)習(xí)到高度抽象的說話人特征，并對噪聲有很強(qiáng)的免疫力。

雖然近年來聲紋識(shí)別技術(shù)發(fā)展迅速，并在許多領(lǐng)域得以應(yīng)用，但實(shí)際應(yīng)用中的復(fù)雜場景對聲紋識(shí)別系統(tǒng)提出了巨大的挑戰(zhàn)。

（1）噪音及混響

在實(shí)際環(huán)境中總是包含各種各樣的噪音，比如空調(diào)風(fēng)扇的聲音、音樂聲、開關(guān)門的聲音等，這些噪音不僅在一定程度上淹沒了語音信號(hào)中所蘊(yùn)含的說話人信息，還使得聲紋識(shí)別系統(tǒng)無法準(zhǔn)確獲取說話人的聲紋特征。Mitchell McLaren提出了噪聲對不同模型的聲紋識(shí)別的性能存在影響，混響和噪聲對各類模型和方法都有非常大的影響，這和人類似，嘈雜環(huán)境中確實(shí)很難分辨出某個(gè)人的聲音。

（2）遠(yuǎn)場應(yīng)用

在實(shí)際應(yīng)用場景中，無接觸式的聲紋識(shí)別更需要遠(yuǎn)場的應(yīng)用，但聲音的傳輸隨著距離的二次方反比例衰減，同時(shí)實(shí)際應(yīng)用的復(fù)雜環(huán)境中有各種噪音的疊加影響，會(huì)嚴(yán)重影響目標(biāo)聲音的信噪比，對聲紋識(shí)別的性能產(chǎn)生嚴(yán)重的影響。

（3）跨信道識(shí)別

在實(shí)際應(yīng)用中，語音信號(hào)可通過各種不同錄音設(shè)備進(jìn)行獲取，如手機(jī)、固定電話、錄音筆、專業(yè)采集設(shè)備、VOIP等，不同的錄音獲取方式會(huì)導(dǎo)致語音信號(hào)傳輸信道的變化，使得語音信號(hào)發(fā)生頻譜畸變，進(jìn)而影響聲紋特征，降低了聲紋識(shí)別系統(tǒng)的識(shí)別性能。

（4）短語音

語音時(shí)長對聲紋識(shí)別的性能有著直接的影響，短語音測試條件下，測試語音所包含的說話人信息不均衡，導(dǎo)致訓(xùn)練與識(shí)別的匹配性嚴(yán)重下降；此外，短語音條件下測試語音中的信息量太少，不足以提供充分的區(qū)分性信息，使得聲紋識(shí)別的混淆度變大。

4、聲紋識(shí)別直擊智慧城市需求痛點(diǎn)

4.1聲紋識(shí)別助力公安“凈網(wǎng)行動(dòng)”

當(dāng)今社會(huì)，互聯(lián)網(wǎng)、智能手機(jī)、智能軟件大范圍普及，涉及聲紋鑒定與識(shí)別的相關(guān)語音案件也日益增多，遏制網(wǎng)絡(luò)詐騙犯罪高趨勢、切實(shí)維護(hù)人民群眾的合法權(quán)益是中央政法委提出的重大要求。聲紋識(shí)別技術(shù)在反電信詐騙上有著無可替代的地位，是公安應(yīng)對新形勢下聲紋識(shí)別、鑒定以及布控需求的關(guān)鍵。公安領(lǐng)域聲紋解決方案包含聲紋采集設(shè)備、智能音頻分析平臺(tái)、云計(jì)算管理平臺(tái)等，提供從聲紋數(shù)據(jù)采集、存儲(chǔ)分析到應(yīng)用管理全方位一體化方案，可實(shí)現(xiàn)室內(nèi)半開放復(fù)雜聲場環(huán)境下的高保真語音及聲紋采集、聲紋識(shí)別、多語言語音轉(zhuǎn)錄。

圖4-1 公檢法解決方案架構(gòu)圖

智能音頻分析平臺(tái)由聲紋數(shù)據(jù)庫、聲紋識(shí)別引擎、語音識(shí)別引擎及語音轉(zhuǎn)錄引擎組成，聲紋數(shù)據(jù)庫集聲紋數(shù)據(jù)管理、清洗、比對于一身，是引擎實(shí)現(xiàn)聲紋識(shí)別、語音識(shí)別與轉(zhuǎn)錄功能的基礎(chǔ)，而高性能的聲紋數(shù)據(jù)采集系統(tǒng)是獲取高質(zhì)量聲紋數(shù)據(jù)的關(guān)鍵，對提高聲紋識(shí)別的準(zhǔn)確性有著舉足輕重的作用?，F(xiàn)有的聲紋數(shù)據(jù)采集系統(tǒng)能實(shí)現(xiàn)自適應(yīng)降噪，多通道采集及聲源分離，在復(fù)雜場景下達(dá)到高保真拾音。

圖4-2 聲紋數(shù)據(jù)采集系統(tǒng)

云計(jì)算管理平臺(tái)可靈活對接公安聲紋實(shí)戰(zhàn)平臺(tái)、聲紋鑒定平臺(tái)、司法審訊平臺(tái)等。聲紋實(shí)戰(zhàn)平臺(tái)以聲紋識(shí)別系統(tǒng)為核心，聯(lián)合海量數(shù)據(jù)庫，針對公安領(lǐng)域深度優(yōu)化，提供聲紋大數(shù)據(jù)檢索核心功能，通過聲紋比對，有效鎖定嫌疑人員，在重點(diǎn)人員監(jiān)控、反電信詐騙、案件偵破、身份核驗(yàn)等場景發(fā)揮重大作用。

圖4-3 聲紋實(shí)戰(zhàn)平臺(tái)

基于音素檢索技術(shù)、聲紋識(shí)別技術(shù)及關(guān)鍵詞檢索技術(shù)的聲紋鑒定平臺(tái)，是結(jié)合公共安全及司法鑒定領(lǐng)域身份鑒定業(yè)務(wù)需求，定制開發(fā)出的一套完整的軟硬件一體的專業(yè)產(chǎn)品。利用人工智能技術(shù)和專業(yè)的數(shù)字化頻譜，輔助聲紋識(shí)別專家，快速比對檢材和樣本的聲紋信息，實(shí)現(xiàn)對語音文件說話人的識(shí)別認(rèn)定，為聲紋的實(shí)時(shí)識(shí)別和快速鑒定提供了極為可靠的技術(shù)基礎(chǔ)。

聲紋識(shí)別技術(shù)能夠?yàn)楣残袠I(yè)帶來戰(zhàn)法上的突破，助力科技強(qiáng)警，為案件偵破過程提供新的線索和證據(jù)，對于提高辦案效率，優(yōu)化辦案方式，提高辦案質(zhì)量，提升案件偵破能力起到積極的推動(dòng)作用，在維護(hù)國家安全、打擊犯罪工作中具有非常重要的意義。

4.2聲紋識(shí)別實(shí)現(xiàn)自然友好人機(jī)交互

隨著人工智能技術(shù)的發(fā)展，基于人工智能技術(shù)的語音識(shí)別、聲紋識(shí)別技術(shù)也取得了重大進(jìn)展，人機(jī)交互正由傳統(tǒng)的以機(jī)器為中心轉(zhuǎn)向以人為中心的自然交互，自然語言交互必定是實(shí)現(xiàn)自然交互的關(guān)鍵突破口。從信息文明走向智能文明，機(jī)器需要更好的適應(yīng)人類的自然語言體系來完成指令。聲紋識(shí)別技術(shù)能夠提取每個(gè)人獨(dú)一無二的聲音特征，為人機(jī)交互注入智能屬性，實(shí)現(xiàn)“聞聲識(shí)人”，機(jī)器不僅能識(shí)別多人身份信息，更能從中準(zhǔn)確分辨出管理員身份。

在實(shí)際使用場景中，多個(gè)聲源和環(huán)境干擾聲相疊加，而聲紋識(shí)別技術(shù)能在復(fù)雜場景下增強(qiáng)機(jī)器聽覺，讓智能機(jī)器人準(zhǔn)確識(shí)別“主人身份”，從而順利完成一系列指令任務(wù)，大大提高機(jī)器安全性與隱私性。

圖4-5 智能機(jī)器人解決方案

目前現(xiàn)有的機(jī)器聽覺解決方案集遠(yuǎn)場麥克風(fēng)陣列技術(shù)，深度神經(jīng)網(wǎng)絡(luò)技術(shù)于一體，可靈活對接第三方語音識(shí)別引擎，進(jìn)行聲源定位、噪聲抑制、回聲消除、聲紋識(shí)別、語音喚醒等，實(shí)現(xiàn)復(fù)雜聲學(xué)場景下自然友好的語音交互能力。保證機(jī)器在運(yùn)動(dòng)狀態(tài)下也能準(zhǔn)確聆聽真實(shí)環(huán)境下的人聲，在充滿干擾聲和多人同時(shí)說話的場景中，仍然能保持識(shí)別準(zhǔn)確率，同時(shí)處理多人聲紋身份識(shí)別的問題，過濾陌生人信息，識(shí)別出已錄入系統(tǒng)的管理員聲紋身份，精準(zhǔn)快速響應(yīng)“主人”的指令。用戶可在不同場景下通過遠(yuǎn)場聲紋識(shí)別，與機(jī)器進(jìn)行自然語言交互，享受科技給生活帶來的便利。

在未來全面智能化、萬物互聯(lián)的生活中，如何推進(jìn)更自然、更智能、更人性化的人機(jī)交互，讓人工智能更好的服務(wù)人類，將是聲紋識(shí)別技術(shù)需要進(jìn)一步努力的方向所在。

4.3聲紋識(shí)別構(gòu)建多維感知智慧城市

基于人工智能視覺技術(shù)和智能視頻處理技術(shù)的企業(yè)近幾年發(fā)展迅速，智能視頻監(jiān)控和視覺識(shí)別技術(shù)得到充分發(fā)展，智慧城市視頻數(shù)據(jù)建設(shè)日趨成熟，但音頻數(shù)據(jù)以及其他維度數(shù)據(jù)嚴(yán)重缺失，無法滿足智慧城市多維感知、全息感知的需求。語音感知和聲紋識(shí)別技術(shù)是智慧城市感知體系的重要組成部分，促進(jìn)智慧城市建設(shè)從“眼強(qiáng)耳弱”轉(zhuǎn)化為音視結(jié)合、全面互聯(lián)、深入智能化的智慧城市發(fā)展新模式。

智慧城市機(jī)器聽覺解決方案采用特殊設(shè)計(jì)的全向聲學(xué)雷達(dá)、定向聲學(xué)雷達(dá)，配合麥克風(fēng)陣列與AI技術(shù)，與網(wǎng)絡(luò)攝像機(jī)進(jìn)行音視頻時(shí)間聯(lián)動(dòng)，依靠聲學(xué)雷達(dá)采集的高保真聲音，通過聲紋數(shù)據(jù)庫秒級檢索比對聲紋信息，進(jìn)行準(zhǔn)確身份辨認(rèn)，實(shí)現(xiàn)復(fù)雜場景下的“聞聲識(shí)人”。整個(gè)方案能保證雷達(dá)在室外的各種環(huán)境噪聲的干擾下也能360°精準(zhǔn)聆聽，準(zhǔn)確獲取說話人的清晰語音，不受遠(yuǎn)場聲音傳輸衰減的影響。系統(tǒng)可以設(shè)置身份黑名單，當(dāng)識(shí)別到黑名單上的聲紋信息時(shí)，系統(tǒng)將在1s內(nèi)告警，同時(shí)配合網(wǎng)絡(luò)攝像頭定位目標(biāo)位置，為公安、司法等部門提供執(zhí)法證據(jù)。

圖4-6 智慧城市機(jī)器聽覺解決方案架構(gòu)圖

聲紋識(shí)別應(yīng)與安防布控更緊密結(jié)合，為頂層業(yè)務(wù)應(yīng)用提供更多有價(jià)值語音數(shù)據(jù)信息，實(shí)現(xiàn)全面感知、寬泛互聯(lián)和智能融合的應(yīng)用，形成以音視結(jié)合為支撐的新型城市形態(tài)。

5、結(jié)語

聲紋識(shí)別技術(shù)作為科技前沿技術(shù)之一，在社會(huì)治安防控體系中進(jìn)行應(yīng)用，輔助打擊違法犯罪，有利于智能安防行業(yè)的進(jìn)步和發(fā)展，對智慧城市建設(shè)的穩(wěn)步推進(jìn)，以及社會(huì)公共安全的維護(hù)具有非常重要的意義。

目前，聲紋識(shí)別技術(shù)應(yīng)用仍處于起步階段，其實(shí)際應(yīng)用覆蓋范圍并不廣，未來還需加速推廣聲紋實(shí)戰(zhàn)應(yīng)用，進(jìn)一步擴(kuò)大聲紋在智慧城市中的布控范圍，為聲紋識(shí)別技術(shù)在公檢法、平安城市、平安校園、智能機(jī)器人等領(lǐng)域的應(yīng)用注入新動(dòng)力，為保障社會(huì)公共安全做出更多貢獻(xiàn)，提供更便捷、更安全的服務(wù)，協(xié)助創(chuàng)建多維感知、全面智能的智慧城市。

原文標(biāo)題：聲紋識(shí)別助力“全面感知”智慧城市建設(shè)

文章出處：【微信公眾號(hào)：深圳微納研究院】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq