專家解讀GPT 2.0 VS BERT!GPT 2.0到底做了什么

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過，過程參考上圖，簡述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語言模型GPTnlp 1.0萬 0

GPT2.0究竟是做什么的？有哪些優(yōu)勢和不足？未來發(fā)展趨勢如何？

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過，過程參考上圖，簡述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語言模型GPTnlp 8396 0

深度分析NLP中的注意力機(jī)制

注意力機(jī)制越發(fā)頻繁的出現(xiàn)在文獻(xiàn)中，因此對注意力機(jī)制的學(xué)習(xí)、掌握與應(yīng)用顯得十分重要。本文便對注意力機(jī)制做了較為全面的綜述。

2019-02-17 標(biāo)簽：自然語言NLP 4189 0

終于有了！大規(guī)模中文NLP語料庫！

基于#2和#3，我們會在測試集上做測試，并報(bào)告測試集上的準(zhǔn)確率；只提供了#1和#2的隊(duì)伍，驗(yàn)證集上的成績依然可以被顯示出來，但會被標(biāo)記為未驗(yàn)證。

2019-02-14 標(biāo)簽：自然語言處理nlp 15.5萬 0

如何利用20萬條客戶咨詢消息，打造一款功能定制化的自動聊天應(yīng)答機(jī)器人？

集群與意圖：這里需要對這兩個(gè)概念作一個(gè)區(qū)分。集群是一組具有相似語義的句子。比如可以確定10個(gè)句子，內(nèi)容似乎都是關(guān)于購買房產(chǎn)的。但是因?yàn)檫@是一種無監(jiān)督的機(jī)...

2019-01-25 標(biāo)簽：微軟機(jī)器人nlp 3098 0

NLP技術(shù)為什么這么難落地其中有什么困難

AI 很火，但是 AI 的門檻也很高，普通的開發(fā)者想要搭上這波 AI 紅利依然困難。近期，人工智能公司推出了新一代智能 Bot 開放平臺，它整合了小i機(jī)...

2019-02-03 標(biāo)簽：機(jī)器人AINLP 4523 0

回顧2018自然語言處理NLP最全的應(yīng)用與合作

2018年見證了 NLP 許多新的應(yīng)用發(fā)展。Elvis Saravia 是計(jì)算語言學(xué)專家，也是2019 計(jì)算語言學(xué)會年度大會北美分部的項(xiàng)目委員之一。

2019-01-13 標(biāo)簽：阿里云NLP 4972 0

探析自然語言處理中的深度遷移學(xué)習(xí)

展示幾種最先進(jìn)的通用句子嵌入編碼器，特別是在遷移學(xué)習(xí)任務(wù)的少量數(shù)據(jù)上與 Word embedding 模型相比的情況下，它們往往會給出令人驚訝的良好性能。

2018-12-13 標(biāo)簽：深度學(xué)習(xí)nlp 3348 0

為何說Bert是近年來NLP重大進(jìn)展的集大成者？

這么做有幾個(gè)好處，首先，如果手頭任務(wù) C 的訓(xùn)練集合數(shù)據(jù)量較少的話，現(xiàn)階段的好用的 CNN 比如 Resnet/Densenet/Inception 等...

2018-11-21 標(biāo)簽：圖像神經(jīng)元NLP 1.1萬 0

NLP-Progress庫NLP的最新數(shù)據(jù)集、論文和代碼

方向是自然語言處理的同學(xué)們有福啦，為了跟蹤自然語言處理(NLP)的進(jìn)展，有大量仁人志士在 Github 上維護(hù)了一個(gè)名為 NLP-Progress 的庫...

2018-11-17 標(biāo)簽：代碼數(shù)據(jù)集NLP 2801 0

BERT的官方代碼終于來了

預(yù)訓(xùn)練（Pre-training）的成本是相當(dāng)昂貴的（需要4到16個(gè)Cloud TPU訓(xùn)練4天），但是對于每種語言來說都只需訓(xùn)練一次（目前的模型僅限英語...

2018-11-05 標(biāo)簽：谷歌代碼NLP 1.3萬 0

NLP領(lǐng)域取得最重大突破！BERT模型開啟了NLP的新時(shí)代！

BERT 提出一種新的預(yù)訓(xùn)練目標(biāo)：遮蔽語言模型（masked language model，MLM），來克服上文提到的單向性局限。MLM 的靈感來自 C...

2018-10-18 標(biāo)簽：編碼器NLP 4820 0

自然語言處理研究的基本問題及發(fā)展趨勢

自然語言處理（NLP）是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。隨著深度學(xué)習(xí)在圖...

2018-09-21 標(biāo)簽：機(jī)器學(xué)習(xí)NLP 8920 0

用NLP技術(shù)分析了一位出名卻也具有爭議的嘻哈歌手——Drake創(chuàng)作的歌詞

有兩種將 LDA 模型進(jìn)行可視化的方法。第一個(gè)是通過寫一個(gè)函數(shù)，輸出為每個(gè)主題中最突出的單詞。這個(gè)結(jié)果似乎很有意思，但它只能提供了少量的信息。例如下圖中...

2018-10-04 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)算法NLP 5188 0

困擾NLP領(lǐng)域的這三座大山究竟是什么？

曾經(jīng)被視為科幻的場景現(xiàn)在變?yōu)榱爽F(xiàn)實(shí)，但為了維持真正的人機(jī)關(guān)系，機(jī)器必須能夠與人進(jìn)行更直觀、理解上下文和自然的對話--這仍然是一個(gè)挑戰(zhàn)。我致力于研究NLP...

2018-09-05 標(biāo)簽：智能機(jī)器人NLP 4574 0