近日，計(jì)算語(yǔ)言學(xué)與自然語(yǔ)言處理領(lǐng)域全球頂級(jí)會(huì)議ACL 2025及語(yǔ)音研究領(lǐng)域旗艦會(huì)議INTERSPEECH 2025相繼公布論文錄用結(jié)果。思必馳-上海交大聯(lián)合實(shí)驗(yàn)室表現(xiàn)亮眼，共有13篇論文被兩大會(huì)議收錄！

ACL是中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類頂級(jí)國(guó)際學(xué)術(shù)會(huì)議，代表著計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域的最高水平。INTERSPEECH由國(guó)際語(yǔ)音通信協(xié)會(huì)（ISCA）主辦，是全球最大、最綜合性的語(yǔ)音信號(hào)處理領(lǐng)域科技盛會(huì)。

本次收錄的論文成果涵蓋了大模型檢索增強(qiáng)生成、語(yǔ)音編解碼與表示學(xué)習(xí)、低延遲語(yǔ)音合成、低資源語(yǔ)音識(shí)別、可靠音頻語(yǔ)言模型等前沿方向，在多模態(tài)檢索增強(qiáng)生成、說(shuō)話人解耦低比特率編碼、高效非自回歸語(yǔ)音合成、大規(guī)模低資源語(yǔ)料庫(kù)構(gòu)建與自訓(xùn)練、模型可靠性增強(qiáng)等關(guān)鍵技術(shù)上取得重要突破。這些研究共同推動(dòng)高效、可靠、低資源友好的智能語(yǔ)音語(yǔ)言技術(shù)發(fā)展，為思必馳的全鏈路語(yǔ)音語(yǔ)言核心技術(shù)實(shí)力以及業(yè)務(wù)創(chuàng)新能力帶來(lái)多重增益。以下為部分成果介紹：

面向長(zhǎng)文檔問答的大模型可靠檢索

NeuSym-RAG: Hybrid Neural Symbolic Retrieval with Multiview Structuring for PDF Question Answering

NeuSym-RAG在自建數(shù)據(jù)集AIRQA-Real上以17.3%絕對(duì)優(yōu)勢(shì)超越經(jīng)典RAG，通過(guò)神經(jīng)與符號(hào)檢索協(xié)同、多視角結(jié)構(gòu)化解析，讓企業(yè)級(jí)大模型在處理海量半結(jié)構(gòu)化文檔時(shí)保持高可靠性與可擴(kuò)展性，同時(shí)兼具成本可控能力。

論文簡(jiǎn)介：基于大語(yǔ)言模型（LLM）的檢索增強(qiáng)生成（RAG）技術(shù)在自動(dòng)問答任務(wù)中展現(xiàn)出廣闊前景，但現(xiàn)有方法往往將神經(jīng)檢索與符號(hào)檢索割裂處理，未能充分發(fā)揮二者的互補(bǔ)優(yōu)勢(shì)。此外，傳統(tǒng)的單視角文本切分方式忽略了PDF文檔中豐富的結(jié)構(gòu)與版面信息，如章節(jié)、表格等。為此，本文提出NeuSym-RAG，一種神經(jīng)-符號(hào)融合的混合式檢索框架，在智能體與知識(shí)庫(kù)的交互中結(jié)合兩種檢索范式。該方法通過(guò)多視角元素切分與基于數(shù)據(jù)庫(kù)模式的解析，將半結(jié)構(gòu)化PDF中的內(nèi)容同時(shí)組織進(jìn)關(guān)系型數(shù)據(jù)庫(kù)與向量庫(kù)中，使得大模型智能體能夠迭代式地檢索上下文，直至獲取足夠信息以生成答案。在三個(gè)基于完整 PDF 的問答數(shù)據(jù)集（包括一個(gè)自建的學(xué)術(shù)問答集 AIRQA-REAL）上的實(shí)驗(yàn)表明，NeuSym-RAG 穩(wěn)定優(yōu)于僅基于向量的RAG方法和多種結(jié)構(gòu)化基線，證明了其在統(tǒng)一檢索機(jī)制與多視角利用方面的優(yōu)勢(shì)。

低碼率語(yǔ)音傳輸

LSCodec: Low-Bitrate and Speaker-Decoupled Discrete Speech Codec

LSCodec 提出了一種超低比特率且說(shuō)話人解耦的離散語(yǔ)音編解碼器，在保證聽感的前提下顯著壓縮語(yǔ)音編碼，并把說(shuō)話人信息與內(nèi)容徹底分離，讓云端或邊緣設(shè)備都能以更低帶寬、更小模型安全傳輸和生成高品質(zhì)語(yǔ)音。

論文簡(jiǎn)介：盡管離散語(yǔ)音標(biāo)記在基于語(yǔ)言模型的語(yǔ)音生成方面展現(xiàn)出強(qiáng)大潛力，但其高比特率和冗余的音色信息限制了此類模型的發(fā)展。在這項(xiàng)工作中，我們提出了LSCodec，一種兼具低比特率和說(shuō)話人解耦能力的離散語(yǔ)音編解碼器。LSCodec采用多階段無(wú)監(jiān)督訓(xùn)練框架并結(jié)合說(shuō)話人擾動(dòng)技術(shù)。首先建立一個(gè)連續(xù)信息瓶頸，然后通過(guò)向量量化生成一個(gè)離散的說(shuō)話人解耦空間。最后，一個(gè)離散標(biāo)記聲碼器從LSCodec中細(xì)化聲學(xué)細(xì)節(jié)。通過(guò)重建評(píng)估，LSCodec在僅使用單個(gè)碼本和比基線更小的詞匯量的情況下，展現(xiàn)出卓越的可懂度和音頻質(zhì)量。語(yǔ)音轉(zhuǎn)換和說(shuō)話人探測(cè)實(shí)驗(yàn)證明了LSCodec出色的說(shuō)話人解耦能力，消融研究驗(yàn)證了所提出訓(xùn)練框架的有效性。

低延遲語(yǔ)音合成

Unlocking Temporal Flexibility: Neural Speech Codec with Variable Frame Rate

提出TFC（時(shí)序靈活編碼）技術(shù)，首次將可變幀率（VFR）引入神經(jīng)語(yǔ)音編解碼器，讓語(yǔ)音編碼“按需給幀”，在保持音質(zhì)的同時(shí)顯著縮短傳輸/推理序列，實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音服務(wù)的更快響應(yīng)和更低云成本。

論文簡(jiǎn)介：大多數(shù)神經(jīng)語(yǔ)音編解碼器通過(guò)幀內(nèi)機(jī)制（例如碼本丟棄）在恒定幀率（CFR）下實(shí)現(xiàn)比特率調(diào)整。然而，語(yǔ)音段本身具有時(shí)變的信息密度（例如靜音區(qū)間與有聲段）。這一特性使得CFR在比特率和詞元序列長(zhǎng)度方面并非最優(yōu)，影響了實(shí)時(shí)應(yīng)用的效率。在本工作中，我們提出了一種時(shí)序靈活編碼（Temporally Flexible Coding, TFC）技術(shù)，首次將可變幀率（VFR）引入神經(jīng)語(yǔ)音編解碼器。TFC支持無(wú)縫調(diào)整平均幀率，并基于時(shí)序熵動(dòng)態(tài)分配幀率。實(shí)驗(yàn)結(jié)果表明，采用TFC的編解碼器能以高度靈活性實(shí)現(xiàn)最優(yōu)重建質(zhì)量，并在較低幀率下保持競(jìng)爭(zhēng)力。該方法有望與其他低幀率神經(jīng)語(yǔ)音編解碼技術(shù)結(jié)合，為下游任務(wù)提供更高效的解決方案。

長(zhǎng)期以來(lái)，思必馳深度參與國(guó)內(nèi)外學(xué)術(shù)前沿研究，在ICASSP、INTERSPEECH、ACL、EMNLP、AAAI、ICML等頂級(jí)學(xué)術(shù)會(huì)議上屢獲佳績(jī)，持續(xù)產(chǎn)出高質(zhì)量科研成果。思必馳-上海交大聯(lián)合實(shí)驗(yàn)室憑借一系列高水平論文，彰顯了在人工智能語(yǔ)音語(yǔ)言關(guān)鍵技術(shù)領(lǐng)域的深度探索和重大突破，為行業(yè)的發(fā)展注入了強(qiáng)大動(dòng)力。思必馳秉持科研與產(chǎn)業(yè)應(yīng)用緊密結(jié)合的理念，未來(lái)也將持續(xù)探索科技成果的應(yīng)用轉(zhuǎn)化。

作為專業(yè)的對(duì)話式人工智能平臺(tái)型企業(yè)，思必馳具有源頭技術(shù)創(chuàng)新和應(yīng)用創(chuàng)新的能力，自2022年7月獲國(guó)家科技部批準(zhǔn)建設(shè)“語(yǔ)言計(jì)算國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)”以來(lái)，接連于2023-2024年獲批組建蘇州市、江蘇省、長(zhǎng)三角三級(jí)創(chuàng)新聯(lián)合體，并于2025年攜手上海交通大學(xué)、蘇州大學(xué)，牽頭組建“江蘇省語(yǔ)言計(jì)算及應(yīng)用重點(diǎn)實(shí)驗(yàn)室”，成為國(guó)家人工智能戰(zhàn)略科技力量的重要組成部分。

思必馳承擔(dān)了包括國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家發(fā)改委“互聯(lián)網(wǎng)+”重大工程和人工智能創(chuàng)新發(fā)展工程、國(guó)家工信部人工智能與實(shí)體經(jīng)濟(jì)深度融合項(xiàng)目、長(zhǎng)三角科技創(chuàng)新共同體聯(lián)合攻關(guān)計(jì)劃項(xiàng)目等十余項(xiàng)國(guó)家級(jí)、省部級(jí)項(xiàng)目，展現(xiàn)出卓越的科研實(shí)力與項(xiàng)目落地能力。

思必馳深耕語(yǔ)音語(yǔ)言領(lǐng)域，憑借自主研發(fā)的核心技術(shù)多次在國(guó)際研究機(jī)構(gòu)評(píng)測(cè)中奪得冠軍；曾三度斬獲國(guó)內(nèi)人工智能最高獎(jiǎng)“吳文俊獎(jiǎng)”，榮獲中國(guó)專利優(yōu)秀獎(jiǎng)，以及信通院車載智能語(yǔ)音交互系統(tǒng)最高級(jí)別認(rèn)證等重要榮譽(yù)。技術(shù)創(chuàng)新能力備受全球矚目，被高盛全球人工智能報(bào)告列為關(guān)鍵參與者，也被Gartner評(píng)為東亞五大明星AI公司之一。

截至2024年年底，思必馳擁有近100項(xiàng)全球獨(dú)創(chuàng)技術(shù)，已授權(quán)知識(shí)產(chǎn)權(quán)1597件，其中已授權(quán)發(fā)明專利633項(xiàng)，參與了71項(xiàng)國(guó)家/行業(yè)/團(tuán)體標(biāo)準(zhǔn)，獲得23項(xiàng)國(guó)家級(jí)的產(chǎn)品認(rèn)證。近期，大模型人機(jī)對(duì)話技術(shù)創(chuàng)新與產(chǎn)業(yè)賦能發(fā)展提速，思必馳堅(jiān)持自主的大模型技術(shù)路線，即“構(gòu)建可靠性優(yōu)先的1+N分布式智能體系統(tǒng)：1 個(gè)中樞大模型+ N 個(gè)垂域模型及全鏈路交互組件組成全功能系統(tǒng)”，以任務(wù)型交互為核心，結(jié)合智能硬件感知優(yōu)勢(shì)，構(gòu)建垂域大模型和中樞大模型系統(tǒng)，服務(wù)企業(yè)客戶。