基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

面向產(chǎn)業(yè)和消費(fèi)互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時有信息資源庫，通過搜索引擎把兩者橋接起來。

2023-02-01 標(biāo)簽：QPSSCWSLMR 1350 0

大型語言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開來的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語言模型nlp 1334 0

多維度剖析視覺-語言訓(xùn)練的技術(shù)路線

視覺-語言 (Vision-Language, VL) 是計算機(jī)視覺和自然語言處理這兩個研究領(lǐng)域之間形成的交叉領(lǐng)域，旨在賦予 AI 系統(tǒng)從多模態(tài)數(shù)據(jù)中學(xué)...

2023-02-23 標(biāo)簽：AI計算機(jī)視覺nlp 1331 0

文本分類中處理樣本不均衡和提升模型魯棒性的trick

文本分類看似簡單，但實則里面有好多門道。作者水平有限，只能將平時用到的方法和trick在此做個記錄和分享，并且盡可能提供給出簡潔、清晰的代碼實現(xiàn)。希望各...

2022-10-11 標(biāo)簽：模型代碼nlp 1329 0

預(yù)訓(xùn)練模型在搜索中使用的思路和方案

當(dāng)然了，和往常的文章一樣，我不會復(fù)述這一篇文章，而是聊聊里面的一些關(guān)鍵點(diǎn)和一些有意思的內(nèi)容，拿出來和大家討論一下。

2022-09-19 標(biāo)簽：編碼nlp訓(xùn)練模型 1317 0

自然語言處理技術(shù)的原理的應(yīng)用

自然語言處理（Natural Language Processing, NLP）作為人工智能（AI）領(lǐng)域的一個重要分支，旨在使計算機(jī)能夠理解和處理人類自...

2024-07-02 標(biāo)簽：人工智能自然語言處理nlp 1317 0

GPT-4發(fā)布后，你的NLP研究發(fā)生了怎樣的變化？

舉Parsing的例子主要是想說，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多dalao都是做Parsing起家，那他們?yōu)槭裁船F(xiàn)在不做...

2023-03-27 標(biāo)簽：算法GPTnlp 1274 0

介紹幾篇EMNLP'22的語言模型訓(xùn)練方法優(yōu)化工作

來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作分別是： 針對檢索優(yōu)化語言模型 ：優(yōu)化語言模型訓(xùn)練過...

2022-12-22 標(biāo)簽：算法nlp 1261 0

自然語言處理模式的優(yōu)點(diǎn)

自然語言處理（Natural Language Processing，簡稱NLP）是人工智能領(lǐng)域的一個重要分支，它致力于使計算機(jī)能夠理解、生成和處理人類...

2024-07-03 標(biāo)簽：計算機(jī)人工智能自然語言處理 1255 0

如何讓Transformer在征程5上跑得既快又好？以SwinT部署為例的優(yōu)化探索

摘要：SwinT是目前視覺transformer模型中的典型代表，在常見視覺任務(wù)，如分類、檢測、分割都有非常出色的表現(xiàn)。雖然在相同計算量的模型指標(biāo)上，S...

2023-03-03 標(biāo)簽：gpu模型Transformer 1251 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對比自然語言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個單詞有一定的含義，可能指代某個實體；

2022-10-20 標(biāo)簽：圖像處理CTRnlp 1222 0

nlp神經(jīng)語言和NLP自然語言的區(qū)別和聯(lián)系

神經(jīng)語言（Neuro-Linguistic Programming，NLP） 神經(jīng)語言是一種心理學(xué)方法，它研究人類思維、語言和行為之間的關(guān)系。NLP的核...

2024-07-09 標(biāo)簽：計算機(jī)人工智能自然語言 1197 0

ChatGPT語言模型核心技術(shù)之Transformer

Transformer的主要優(yōu)點(diǎn)是它可以并行地處理輸入序列中的所有位置，因此在訓(xùn)練和推理時都有著很好的效率。此外，Transformer沒有使用循環(huán)結(jié)構(gòu)...

2023-03-08 標(biāo)簽：TransformernlpChatGPT 1197 0

NLP類別不均衡問題之loss大集合

　　NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題，花了些時間梳理并實踐了下類別不均衡問題的解決方式，...

2023-01-31 標(biāo)簽：數(shù)據(jù)代碼GitHub 1187 0